Llama-Adapter

Llama-Adapter 是一种专为将 Llama 转换为指令遵循模型而设计的 PEFT 方法。Llama 模型被冻结，只学习一组附加在输入指令词元前的适应性提示。由于随机初始化的模块插入模型中可能导致模型丢失部分现有知识，Llama-Adapter 使用零初始化的注意力和零门控来逐步将指令提示添加到模型中。

论文摘要如下：

我们提出了 LLaMA-Adapter，一种轻量级的适配方法，用于高效地将 LLaMA 微调为指令遵循模型。使用 52K 条自指令演示，LLaMA-Adapter 在冻结的 LLaMA 7B 模型上仅引入了 1.2M 个可学习参数，在 8 个 A100 GPU 上的微调成本不到一小时。具体来说，我们采用一组可学习的适配提示，并将它们前置到较高 Transformer 层的输入文本词元中。然后，提出了一种带有零门控的零初始化注意力机制，它自适应地将新的指令性线索注入 LLaMA，同时有效地保留其预训练知识。通过高效训练，LLaMA-Adapter 生成高质量的响应，与完全微调了 7B 参数的 Alpaca 相当。此外，我们的方法可以简单地扩展到多模态输入，例如图像，用于图像条件的 LLaMA，它在 ScienceQA 上实现了卓越的推理能力。我们在 https://github.com/ZrrSkywalker/LLaMA-Adapter 发布了我们的代码。.

AdaptionPromptConfig

class peft.AdaptionPromptConfig

< 源码 >

( task_type: typing.Union[str, peft.utils.peft_types.TaskType, NoneType] = None peft_type: typing.Union[str, peft.utils.peft_types.PeftType, NoneType] = None auto_mapping: typing.Optional[dict] = None base_model_name_or_path: typing.Optional[str] = None revision: typing.Optional[str] = None inference_mode: bool = False target_modules: str = None adapter_len: int = None adapter_layers: int = None )