简介

正如您在第一章中看到的，Transformer 模型通常非常庞大。它们拥有数百万到数十亿个参数，训练和部署这些模型是一项复杂的任务。此外，新模型几乎每天都在发布，每个模型都有自己的实现方式，尝试所有这些模型并非易事。

🤗 Transformers 库的创建就是为了解决这个问题。它的目标是提供一个单一的 API，通过它任何 Transformer 模型都可以加载、训练和保存。该库的主要特点是：

• 易于使用：只需两行代码即可下载、加载和使用最先进的 NLP 模型进行推理。
• 灵活性：本质上，所有模型都是简单的 PyTorch nn.Module 类，可以像其各自的机器学习 (ML) 框架中的任何其他模型一样处理。
• 简洁性：库中几乎没有任何抽象。“所有内容都在一个文件中”是一个核心概念：模型的正向传播完全在一个文件中定义，因此代码本身易于理解和修改。

最后一个特点使得 🤗 Transformers 与其他 ML 库截然不同。模型并非基于跨文件共享的模块构建；相反，每个模型都有自己的层。除了使模型更易于理解和使用之外，这还允许您轻松地对一个模型进行实验而不会影响其他模型。

本章将从一个端到端示例开始，我们将使用模型和分词器来重现第一章中介绍的 pipeline() 函数。接下来，我们将讨论模型 API：我们将深入探讨模型和配置类，并向您展示如何加载模型以及它如何处理数字输入以输出预测。

然后，我们将研究分词器 API，它是 pipeline() 函数的另一个主要组成部分。分词器负责处理文本到神经网络数字输入以及必要时将数字输入转换回文本的初始和最终处理步骤。最后，我们将向您展示如何通过准备好的批次将多个句子发送通过模型，然后通过更深入地了解高级 tokenizer() 函数来总结所有内容。