使用 Trainer API 微调模型

🤗 Transformers 提供了一个 Trainer 类，以帮助您在您自己的数据集上微调它提供的任何预训练模型。一旦您完成了上一节中的所有数据预处理工作，您只需几个步骤即可定义 Trainer。最困难的部分可能是准备运行 Trainer.train() 的环境，因为它在 CPU 上运行会非常缓慢。如果您没有设置 GPU，您可以在 Google Colab 上访问免费的 GPU 或 TPU。

以下代码示例假定您已经执行了上一节中的示例。这是一个简短的摘要，回顾了您需要的内容

from datasets import load_dataset
from transformers import AutoTokenizer, DataCollatorWithPadding

raw_datasets = load_dataset("glue", "mrpc")
checkpoint = "bert-base-uncased"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)


def tokenize_function(example):
    return tokenizer(example["sentence1"], example["sentence2"], truncation=True)


tokenized_datasets = raw_datasets.map(tokenize_function, batched=True)
data_collator = DataCollatorWithPadding(tokenizer=tokenizer)

训练

在我们定义 Trainer 之前的第一步是定义一个 TrainingArguments 类，它将包含 Trainer 将用于训练和评估的所有超参数。您必须提供的唯一参数是保存训练模型以及沿途检查点的目录。对于其余部分，您可以保留默认值，这对于基本微调应该效果很好。

from transformers import TrainingArguments

training_args = TrainingArguments("test-trainer")

第二步是定义我们的模型。与上一章中一样，我们将使用 AutoModelForSequenceClassification 类，带有两个标签

from transformers import AutoModelForSequenceClassification

model = AutoModelForSequenceClassification.from_pretrained(checkpoint, num_labels=2)

您会注意到，与第 2 章不同，在实例化此预训练模型后，您会收到警告。这是因为 BERT 尚未在句子对分类上进行预训练，因此预训练模型的头部已被丢弃，并添加了适合序列分类的新头部。警告表明某些权重未被使用（对应于丢弃的预训练头部的权重），而另一些权重被随机初始化（新头部的权重）。最后，它鼓励您训练模型，这正是我们现在要做的。

一旦我们有了模型，我们就可以通过传递到目前为止构建的所有对象来定义 Trainer - model、training_args、训练和验证数据集、我们的 data_collator 和我们的 tokenizer

from transformers import Trainer

trainer = Trainer(
    model,
    training_args,
    train_dataset=tokenized_datasets["train"],
    eval_dataset=tokenized_datasets["validation"],
    data_collator=data_collator,
    tokenizer=tokenizer,
)

请注意，当您像我们在此处所做的那样传递 tokenizer 时，Trainer 使用的默认 data_collator 将是先前定义的 DataCollatorWithPadding，因此您可以跳过此调用中的 data_collator=data_collator 行。在第 2 节中向您展示处理的这一部分仍然很重要！

为了在我们的数据集上微调模型，我们只需调用 Trainer 的 train() 方法

trainer.train()

这将开始微调（在 GPU 上应该需要几分钟），并每 500 步报告一次训练损失。但是，它不会告诉您您的模型表现如何（或多糟糕）。这是因为

1. 我们没有通过将 evaluation_strategy 设置为 "steps"（每 eval_steps 步评估一次）或 "epoch"（在每个 epoch 结束时评估一次）来告诉 Trainer 在训练期间进行评估。
2. 我们没有为 Trainer 提供 compute_metrics() 函数来计算所述评估期间的指标（否则评估只会打印损失，这不是一个非常直观的数字）。

评估

让我们看看如何构建有用的 compute_metrics() 函数并在我们下次训练时使用它。该函数必须接受一个 EvalPrediction 对象（它是一个命名元组，包含 predictions 字段和 label_ids 字段），并将返回一个字典，将字符串映射到浮点数（字符串是返回的指标的名称，浮点数是它们的值）。要从我们的模型中获得一些预测，我们可以使用 Trainer.predict() 命令

predictions = trainer.predict(tokenized_datasets["validation"])
print(predictions.predictions.shape, predictions.label_ids.shape)

(408, 2) (408,)

predict() 方法的输出是另一个命名元组，包含三个字段：predictions、label_ids 和 metrics。metrics 字段将仅包含传递的数据集上的损失，以及一些时间指标（预测所花费的总时间和平均时间）。一旦我们完成 compute_metrics() 函数并将其传递给 Trainer，该字段还将包含 compute_metrics() 返回的指标。

如您所见，predictions 是一个二维数组，形状为 408 x 2（408 是我们使用的数据集中元素的数量）。这些是我们传递给 predict() 的数据集的每个元素的 logits（正如您在上一章中看到的那样，所有 Transformer 模型都返回 logits）。要将它们转换为我们可以与标签进行比较的预测，我们需要取第二个轴上具有最大值的索引

import numpy as np

preds = np.argmax(predictions.predictions, axis=-1)

我们现在可以将这些 preds 与标签进行比较。为了构建我们的 compute_metric() 函数，我们将依赖于 🤗 Evaluate 库中的指标。我们可以像加载数据集一样轻松地加载与 MRPC 数据集关联的指标，这次使用 evaluate.load() 函数。返回的对象有一个 compute() 方法，我们可以使用它来进行指标计算

import evaluate

metric = evaluate.load("glue", "mrpc")
metric.compute(predictions=preds, references=predictions.label_ids)

{'accuracy': 0.8578431372549019, 'f1': 0.8996539792387542}

您获得的确切结果可能会有所不同，因为模型头的随机初始化可能会更改其实现的指标。在这里，我们可以看到我们的模型在验证集上的准确率为 85.78%，F1 分数为 89.97。这些是用于评估 GLUE 基准测试的 MRPC 数据集结果的两个指标。BERT 论文中的表格报告了基础模型的 F1 分数为 88.9。那是 uncased 模型，而我们目前正在使用 cased 模型，这解释了更好的结果。

将所有内容包装在一起，我们得到我们的 compute_metrics() 函数

def compute_metrics(eval_preds):
    metric = evaluate.load("glue", "mrpc")
    logits, labels = eval_preds
    predictions = np.argmax(logits, axis=-1)
    return metric.compute(predictions=predictions, references=labels)

为了看到它在每个 epoch 结束时用于报告指标的实际应用，以下是我们如何使用此 compute_metrics() 函数定义新的 Trainer

training_args = TrainingArguments("test-trainer", evaluation_strategy="epoch")
model = AutoModelForSequenceClassification.from_pretrained(checkpoint, num_labels=2)

trainer = Trainer(
    model,
    training_args,
    train_dataset=tokenized_datasets["train"],
    eval_dataset=tokenized_datasets["validation"],
    data_collator=data_collator,
    tokenizer=tokenizer,
    compute_metrics=compute_metrics,
)

请注意，我们创建了一个新的 TrainingArguments，其 evaluation_strategy 设置为 "epoch" 和一个新模型 - 否则，我们将只是继续训练我们已经训练过的模型。要启动新的训练运行，我们执行

trainer.train()

这一次，它将在每个 epoch 结束时报告验证损失和指标，以及训练损失。同样，您达到的确切准确率/F1 分数可能与我们发现的略有不同，因为模型的随机头部初始化，但它应该在同一范围内。

Trainer 将在多个 GPU 或 TPU 上开箱即用，并提供许多选项，例如混合精度训练（在您的训练参数中使用 fp16 = True）。我们将在第 10 章中详细介绍它支持的所有内容。

这结束了使用 Trainer API 进行微调的介绍。在第 7 章中将给出针对最常见 NLP 任务执行此操作的示例，但现在让我们看看如何在纯 PyTorch 中执行相同的操作。