LLM 课程文档
介绍
加入 Hugging Face 社区
并获得增强的文档体验
开始
介绍
在第 3 章中，您学习了如何微调模型以进行文本分类。在本章中，我们将探讨以下常见的语言任务，这些任务对于使用传统 NLP 模型和现代 LLM 都至关重要
- Token 分类
- 掩码语言建模（如 BERT）
- 摘要
- 翻译
- 因果语言建模预训练（如 GPT-2）
- 问答
这些基本任务构成了大型语言模型 (LLM) 工作原理的基础，理解它们对于有效地使用当今最先进的语言模型至关重要。
为此，您需要利用在第 3 章中学习的关于 Trainer API 和 🤗 Accelerate 库、在第 5 章中学习的 🤗 Datasets 库以及在第 6 章中学习的 🤗 Tokenizers 库的所有知识。我们还将像在第 4 章中所做的那样，将结果上传到 Model Hub，所以本章真的是所有知识融会贯通的一章！
每个部分都可以独立阅读，并将向您展示如何使用 Trainer API 或您自己的训练循环（使用 🤗 Accelerate）来训练模型。您可以随意跳过任何部分，专注于您最感兴趣的部分：Trainer API 非常适合微调或训练您的模型，而无需担心幕后发生的事情，而使用 Accelerate 的训练循环将让您更轻松地自定义任何部分。
如果您按顺序阅读这些部分，您会注意到它们有很多共同的代码和文字。这种重复是故意的，目的是让您可以深入了解（或稍后返回）任何您感兴趣的任务，并找到一个完整的可工作示例。