LLM 课程文档

微调,搞定!

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

微调,搞定!

Ask a Question

这很全面!在前面两章中,你学习了模型和分词器,现在你知道如何使用现代最佳实践为自己的数据微调它们。总结一下,在本章中你:

  • 学习了 Hub 上的数据集和现代数据处理技术
  • 学习了如何高效加载和预处理数据集,包括使用动态填充和数据整理器
  • 使用最新的功能,通过高级 Trainer API 实现了微调和评估
  • 从头开始使用 PyTorch 实现了一个完整的自定义训练循环
  • 使用 🤗 Accelerate 使你的训练代码在多个 GPU 或 TPU 上无缝运行
  • 应用了现代优化技术,如混合精度训练和梯度累积

🎉 恭喜! 你已经掌握了 Transformer 模型微调的基础知识。你现在已经准备好处理实际的机器学习项目了!

📖 继续学习:探索这些资源以深化你的知识

🚀 下一步

  • 尝试使用你学到的技术在自己的数据集上进行微调
  • 尝试使用 Hugging Face Hub 上提供的不同模型架构
  • 加入 Hugging Face 社区,分享你的项目并获得帮助

这只是你使用 🤗 Transformers 旅程的开始。在下一章中,我们将探讨如何与社区分享你的模型和分词器,并为不断增长的预训练模型生态系统做出贡献。

你在这里培养的技能——数据预处理、训练配置、评估和优化——是任何机器学习项目的基础。无论你是在进行文本分类、命名实体识别、问答,还是任何其他 NLP 任务,这些技术都将对你大有裨益。

💡 成功秘诀

  • 在实现自定义训练循环之前,始终使用 Trainer API 从一个强大的基线开始
  • 使用 🤗 Hub 寻找接近你任务的预训练模型,以获得更好的起点
  • 使用适当的评估指标监控你的训练,别忘了保存检查点
  • 利用社区——分享你的模型和数据集,以帮助他人并获得关于你工作的反馈
< > 在 GitHub 上更新