LLM 课程文档
微调,搞定!
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
微调,搞定!
这很全面!在前面两章中,你学习了模型和分词器,现在你知道如何使用现代最佳实践为自己的数据微调它们。总结一下,在本章中你:
- 学习了 Hub 上的数据集和现代数据处理技术
- 学习了如何高效加载和预处理数据集,包括使用动态填充和数据整理器
- 使用最新的功能,通过高级
Trainer
API 实现了微调和评估 - 从头开始使用 PyTorch 实现了一个完整的自定义训练循环
- 使用 🤗 Accelerate 使你的训练代码在多个 GPU 或 TPU 上无缝运行
- 应用了现代优化技术,如混合精度训练和梯度累积
🎉 恭喜! 你已经掌握了 Transformer 模型微调的基础知识。你现在已经准备好处理实际的机器学习项目了!
📖 继续学习:探索这些资源以深化你的知识
- 🤗 Transformers 任务指南,针对特定的 NLP 任务
- 🤗 Transformers 示例,提供全面的 Jupyter Notebook
🚀 下一步
- 尝试使用你学到的技术在自己的数据集上进行微调
- 尝试使用 Hugging Face Hub 上提供的不同模型架构
- 加入 Hugging Face 社区,分享你的项目并获得帮助
这只是你使用 🤗 Transformers 旅程的开始。在下一章中,我们将探讨如何与社区分享你的模型和分词器,并为不断增长的预训练模型生态系统做出贡献。
你在这里培养的技能——数据预处理、训练配置、评估和优化——是任何机器学习项目的基础。无论你是在进行文本分类、命名实体识别、问答,还是任何其他 NLP 任务,这些技术都将对你大有裨益。
💡 成功秘诀
- 在实现自定义训练循环之前,始终使用
Trainer
API 从一个强大的基线开始 - 使用 🤗 Hub 寻找接近你任务的预训练模型,以获得更好的起点
- 使用适当的评估指标监控你的训练,别忘了保存检查点
- 利用社区——分享你的模型和数据集,以帮助他人并获得关于你工作的反馈