快速入门

Transformers 的设计宗旨是快速且易于使用，以便每个人都可以开始学习或构建 Transformer 模型。

面向用户的抽象数量仅限于三个用于实例化模型的类，以及两个用于推理或训练的 API。本快速入门向您介绍 Transformers 的主要功能，并向您展示如何

加载预训练模型
使用 Pipeline 运行推理
使用 Trainer 微调模型

设置

首先，我们建议您创建一个 Hugging Face 帐户。帐户允许您在 Hugging Face Hub 上托管和访问版本控制的模型、数据集和 Spaces，Hugging Face Hub 是一个用于发现和构建的协作平台。

创建用户访问令牌并登录您的帐户。

from huggingface_hub import notebook_login

notebook_login()

安装机器学习框架。

PyTorch

TensorFlow

然后从 Hugging Face 生态系统安装最新版本的 Transformers 和一些额外的库，用于访问数据集和视觉模型、评估训练以及优化大型模型的训练。

!pip install -U transformers datasets evaluate accelerate timm

预训练模型

每个预训练模型都继承自三个基础类。

类	描述
PretrainedConfig	一个文件，用于指定模型的属性，例如注意力头的数量或词汇表大小。
PreTrainedModel	由配置文件中的模型属性定义的模型（或架构）。预训练模型仅返回原始隐藏状态。对于特定任务，请使用适当的模型头将原始隐藏状态转换为有意义的结果（例如，LlamaModel 与 LlamaForCausalLM）。
预处理器	一个用于将原始输入（文本、图像、音频、多模态）转换为模型数值输入的类。例如，PreTrainedTokenizer 将文本转换为张量，而 ImageProcessingMixin 将像素转换为张量。

我们建议使用 AutoClass API 加载模型和预处理器，因为它会根据预训练权重和配置文件的名称或路径，自动推断每个任务和机器学习框架的适当架构。

使用 from_pretrained() 从 Hub 将权重和配置文件加载到模型和预处理器类中。

PyTorch

TensorFlow

跳到 Trainer 部分以了解如何微调模型。

Pipeline

Pipeline 类是使用预训练模型进行推理的最便捷方式。它支持许多任务，例如文本生成、图像分割、自动语音识别、文档问答等等。

有关可用任务的完整列表，请参阅 Pipeline API 参考。

创建一个 Pipeline 对象并选择一个任务。默认情况下，Pipeline 会下载并缓存给定任务的默认预训练模型。将模型名称传递给 model 参数以选择特定模型。

文本生成

图像分割

自动语音识别

Trainer

Trainer 是 PyTorch 模型的完整训练和评估循环。它抽象出了通常手动编写训练循环中涉及的大量样板代码，因此您可以更快地开始训练并专注于训练设计选择。您只需要一个模型、数据集、预处理器和数据整理器，即可从数据集构建数据批次。

使用 TrainingArguments 类自定义训练过程。它为训练、评估等提供了许多选项。尝试训练超参数和功能，如批次大小、学习率、混合精度、torch.compile 等，以满足您的训练需求。您也可以使用默认训练参数快速生成基线。

加载用于训练的模型、分词器和数据集。

from transformers import AutoModelForSequenceClassification, AutoTokenizer
from datasets import load_dataset

model = AutoModelForSequenceClassification.from_pretrained("distilbert/distilbert-base-uncased")
tokenizer = AutoTokenizer.from_pretrained("distilbert/distilbert-base-uncased")
dataset = load_dataset("rotten_tomatoes")

创建一个函数来对文本进行分词并将其转换为 PyTorch 张量。使用 map 方法将此函数应用于整个数据集。

def tokenize_dataset(dataset):
    return tokenizer(dataset["text"])
dataset = dataset.map(tokenize_dataset, batched=True)

加载数据整理器以创建数据批次并将分词器传递给它。

from transformers import DataCollatorWithPadding

data_collator = DataCollatorWithPadding(tokenizer=tokenizer)

接下来，使用训练功能和超参数设置 TrainingArguments。

from transformers import TrainingArguments

training_args = TrainingArguments(
    output_dir="distilbert-rotten-tomatoes",
    learning_rate=2e-5,
    per_device_train_batch_size=8,
    per_device_eval_batch_size=8,
    num_train_epochs=2,
    push_to_hub=True,
)

最后，将所有这些单独的组件传递给 Trainer 并调用 train() 以启动。

from transformers import Trainer

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=dataset["train"],
    eval_dataset=dataset["test"],
    tokenizer=tokenizer,
    data_collator=data_collator,
)

trainer.train()

使用 push_to_hub() 将您的模型和分词器共享到 Hub。

trainer.push_to_hub()

恭喜，您刚刚使用 Transformers 训练了您的第一个模型！

TensorFlow

并非所有预训练模型都可在 TensorFlow 中使用。请参阅模型 API 文档以检查是否支持 TensorFlow 实现。

Trainer 不适用于 TensorFlow 模型，但您仍然可以使用 Keras 训练在 TensorFlow 中实现的 Transformers 模型。Transformers TensorFlow 模型是标准的 tf.keras.Model，它与 Keras 的 compile 和 fit 方法兼容。

加载用于训练的模型、分词器和数据集。

from transformers import TFAutoModelForSequenceClassification, AutoTokenizer

model = TFAutoModelForSequenceClassification.from_pretrained("distilbert/distilbert-base-uncased")
tokenizer = AutoTokenizer.from_pretrained("distilbert/distilbert-base-uncased")

创建一个函数来对文本进行分词并将其转换为 TensorFlow 张量。使用 map 方法将此函数应用于整个数据集。

def tokenize_dataset(dataset):
    return tokenizer(dataset["text"])
dataset = dataset.map(tokenize_dataset)

Transformers 提供了 prepare_tf_dataset() 方法来整理和批处理数据集。

tf_dataset = model.prepare_tf_dataset(
    dataset["train"], batch_size=16, shuffle=True, tokenizer=tokenizer
)

最后，调用 compile 来配置模型以进行训练，并调用 fit 来启动。

from tensorflow.keras.optimizers import Adam

model.compile(optimizer="adam")
model.fit(tf_dataset)

后续步骤

既然您对 Transformers 及其提供的功能有了更好的了解，那么现在是时候继续探索和学习您最感兴趣的内容了。

基础类：了解有关配置、模型和处理器类的更多信息。这将帮助您了解如何创建和自定义模型、预处理不同类型的输入（音频、图像、多模态）以及如何共享您的模型。
推理：进一步探索 Pipeline、与 LLM、代理进行推理和聊天，以及如何使用您的机器学习框架和硬件优化推理。
训练：更详细地研究 Trainer，以及分布式训练和在特定硬件上优化训练。
量化：通过量化减少内存和存储需求，并通过使用更少的位来表示权重来加速推理。
资源：正在寻找关于如何为特定任务训练和推理模型的端到端食谱？查看任务食谱！

< > 在 GitHub 上更新