LLM 课程文档
引言
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
简介
在第2章中，我们探讨了如何使用分词器和预训练模型进行预测。但是，如果你想微调一个预训练模型来解决特定的任务呢？这正是本章的主题！你将学习到：
- 如何使用最新的🤗 Datasets特性从Hub准备一个大型数据集
- 如何使用高级别的
TrainerAPI以现代最佳实践微调模型 - 如何实现带有优化技术的自定义训练循环
- 如何利用🤗 Accelerate库轻松地在任何设置上运行分布式训练
- 如何应用当前微调的最佳实践以获得最大性能
📚 重要资源：开始之前，你可能需要查阅🤗 Datasets文档以了解数据处理。
本章还将作为对🤗 Transformers库之外的一些Hugging Face库的介绍！我们将看到像🤗 Datasets、🤗 Tokenizers、🤗 Accelerate和🤗 Evaluate这样的库如何帮助你更高效、更有效地训练模型。
本章的每个主要部分都将教你不同的东西：
- 第2节：学习现代数据预处理技术和高效的数据集处理
- 第3节：掌握强大的Trainer API及其所有最新功能
- 第4节：从头开始实现训练循环，并理解使用Accelerate进行分布式训练
在本章结束时，你将能够使用高级API和自定义训练循环在自己的数据集上微调模型，并应用该领域的最新最佳实践。
🎯 你将构建什么：在本章结束时，你将微调一个BERT模型用于文本分类，并了解如何将这些技术应用于你自己的数据集和任务。
本章只专注于PyTorch，因为它已成为现代深度学习研究和生产的标准框架。我们将使用Hugging Face生态系统中的最新API和最佳实践。
要将你训练好的模型上传到Hugging Face Hub，你需要一个Hugging Face账户：创建一个账户
< > 在 GitHub 上更新