PEFT

🤗 PEFT (Parameter-Efficient Fine-Tuning，参数高效微调) 是一个库，用于将大型预训练模型高效地应用于各种下游任务，而无需微调模型的所有参数，因为这会耗费巨大的成本。PEFT 方法仅微调少量（额外的）模型参数——显著降低了计算和存储成本——同时能产生与完全微调模型相当的性能。这使得在消费级硬件上训练和存储大型语言模型（LLM）变得更加容易。

PEFT 与 Transformers、Diffusers 和 Accelerate 库集成，提供了一种更快、更简单的方式来加载、训练和使用大型模型进行推理。

快速入门

如果您是 🤗 PEFT 的新手，请从这里开始，以了解该库的主要功能以及如何使用 PEFT 方法训练模型。

操作指南

实用的指南，演示如何在不同类型的任务（如图像分类、因果语言建模、自动语音识别等）中应用各种 PEFT 方法。了解如何将 🤗 PEFT 与 DeepSpeed 和完全分片数据并行脚本结合使用。

概念指南

更好地从理论上理解 LoRA 和各种软提示方法如何帮助减少可训练参数的数量，从而使训练更加高效。

参考

关于 🤗 PEFT 类和方法工作原理的技术性描述。

< > 在 GitHub 上更新