LLM 课程文档
引言
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
简介
在第三章中，你了解了如何微调模型以进行文本分类。在本章中，我们将解决以下常见语言任务，这些任务对于使用传统NLP模型和现代LLM都至关重要：
- 词元分类
- 掩码语言建模（如BERT）
- 摘要
- 翻译
- 因果语言建模预训练（如GPT-2）
- 问答
这些基本任务构成了大型语言模型（LLM）工作的基础，理解它们对于有效使用当今最先进的语言模型至关重要。
为此，你需要运用在第三章中学到的关于Trainer API和🤗 Accelerate库的所有知识，在第五章中学到的🤗 Datasets库的知识，以及在第六章中学到的🤗 Tokenizers库的知识。我们还将像在第四章中那样，将结果上传到模型中心，所以本章真的是所有知识汇集之处！
每个部分都可以独立阅读，并且会向你展示如何使用Trainer API或使用你自己的训练循环（使用🤗 Accelerate）来训练模型。你可以随意跳过任何一部分，专注于你最感兴趣的部分：Trainer API非常适合微调或训练你的模型，而无需担心幕后发生的事情，而使用Accelerate的训练循环将让你更容易自定义任何你想要的部分。
如果你按顺序阅读这些部分，你会注意到它们有相当多的共同代码和散文。这种重复是故意的，以便你可以（或稍后回来）深入了解任何你感兴趣的任务，并找到一个完整的可运行示例。