Transformers 文档

Transformers

加入 Hugging Face 社区

并获得增强的文档体验

协作模型、数据集和空间

使用加速推理获得更快的示例

在文档主题之间切换

开始使用

T5

概述

T5 模型在使用统一文本到文本转换器探索迁移学习的极限中提出，作者包括 Colin Raffel、Noam Shazeer、Adam Roberts、Katherine Lee、Sharan Narang、Michael Matena、Yanqi Zhou、Wei Li 和 Peter J. Liu。

论文摘要如下：

迁移学习，即先在一个数据丰富的任务上预训练模型，然后在后续任务上微调，已成为自然语言处理 (NLP) 中的一项强大技术。迁移学习的有效性催生了各种各样的方法、方法论和实践。在本文中，我们通过引入一个统一的框架将每个语言问题转换为文本到文本格式，从而探索 NLP 的迁移学习技术领域。我们的系统研究比较了预训练目标、架构、未标记数据集、迁移方法和其他因素在数十种语言理解任务上的表现。通过将我们探索中获得的见解与规模和我们新的“海量干净爬取语料库”相结合，我们在涵盖摘要、问答、文本分类等多个基准测试中取得了最先进的结果。为了促进未来对 NLP 迁移学习的研究，我们发布了我们的数据集、预训练模型和代码。

所有检查点都可以在模型中心找到。

该模型由 thomwolf 贡献。原始代码可以在这里找到这里。

使用技巧

T5 是一种编码器-解码器模型，在多任务混合的无监督和监督任务上进行预训练，每个任务都转换为文本到文本格式。T5 通过在每个任务对应的输入前添加不同的前缀，在各种任务上都能很好地工作，例如，对于翻译：将英语翻译成德语：…，对于摘要：总结：…。
预训练包括监督训练和自监督训练。监督训练是在 GLUE 和 SuperGLUE 基准测试提供的下游任务上进行的（如上所述，将它们转换为文本到文本任务）。
自监督训练使用损坏的标记，通过随机删除 15% 的标记并用单个哨兵标记替换它们（如果多个连续标记被标记为要删除，则整个组将被单个哨兵标记替换）。编码器的输入是损坏的句子，解码器的输入是原始句子，目标是然后是分隔符标记分隔的丢弃标记。
T5 使用相对标量嵌入。编码器输入填充可以在左侧和右侧进行。
请参阅下面的训练、推理和资源部分，了解有关用法的全部详细信息。

T5 有不同的大小

基于原始 T5 模型，Google 发布了一些后续工作

T5v1.1：T5v1.1 是 T5 的改进版本，进行了一些架构调整，并且仅在 C4 上进行预训练，而没有混合监督任务。请参阅 T5v1.1 的文档，可以在这里找到这里。
mT5：mT5 是一种多语言 T5 模型。它在 mC4 语料库上进行预训练，该语料库包含 101 种语言。请参阅 mT5 的文档，可以在这里找到这里。
byT5：byT5 是一种在字节序列而不是 SentencePiece 子词标记序列上进行预训练的 T5 模型。请参阅 byT5 的文档，可以在这里找到这里。
UL2：UL2 是一种类似 T5 的模型，在各种去噪目标上进行预训练。
Flan-T5：Flan 是一种基于提示的预训练方法。Flan-T5 是在 Flan 数据集集合上训练的 T5 模型，其中包括：taskmaster2、djaym7/wiki_dialog、deepmind/code_contests、lambada、gsm8k、aqua_rat、esnli、quasc 和 qed。
FLan-UL2：使用“Flan”提示微调和数据集集合微调的 UL2 模型。
UMT5：UmT5 是一种多语言 T5 模型，在改进和更新的 mC4 多语言语料库上进行训练，该语料库包含 107 种语言的 29 万亿个字符，并使用了一种新的采样方法 UniMax。请参阅 mT5 的文档，可以在这里找到这里。

训练

T5 是一种编码器-解码器模型，它将所有 NLP 问题转换为文本到文本格式。它使用强制教学进行训练。这意味着在训练过程中，我们始终需要一个输入序列和一个相应的目标序列。输入序列使用 input_ids 馈送到模型。目标序列向右移动，即以起始序列标记开头，并使用 decoder_input_ids 馈送到解码器。在强制教学风格中，目标序列随后附加 EOS 标记，并对应于 labels。PAD 标记在此用作起始序列标记。T5 可以以监督和无监督的方式进行训练/微调。

可以使用 T5ForConditionalGeneration（或 Tensorflow/Flax 变体），它在解码器顶部包含语言建模头部。

无监督去噪训练

在此设置中，输入序列的跨度被所谓的哨兵标记（也称为唯一掩码标记）掩盖，输出序列被形成为了相同哨兵标记和真实掩盖标记的连接。每个哨兵标记代表此句子的唯一掩码标记，应以 <extra_id_0>、<extra_id_1>……一直到 <extra_id_99> 开头。默认情况下，T5Tokenizer 中提供了 100 个哨兵标记。

例如，句子“The cute dog walks in the park”在“cute dog”和“the”上加了掩码，应按如下方式处理

>>> from transformers import T5Tokenizer, T5ForConditionalGeneration

>>> tokenizer = T5Tokenizer.from_pretrained("google-t5/t5-small")
>>> model = T5ForConditionalGeneration.from_pretrained("google-t5/t5-small")

>>> input_ids = tokenizer("The <extra_id_0> walks in <extra_id_1> park", return_tensors="pt").input_ids
>>> labels = tokenizer("<extra_id_0> cute dog <extra_id_1> the <extra_id_2>", return_tensors="pt").input_ids

>>> # the forward function automatically creates the correct decoder_input_ids
>>> loss = model(input_ids=input_ids, labels=labels).loss
>>> loss.item()
3.7837

如果您有兴趣在新语料库上预训练 T5，请查看示例目录中的 run_t5_mlm_flax.py 脚本。

监督训练

在此设置中，输入序列和输出序列是标准的序列到序列输入-输出映射。假设我们想要微调模型以进行翻译，并且我们有一个训练示例：输入序列“The house is wonderful.”和输出序列“Das Haus ist wunderbar.”，则应按如下方式为模型准备它们

>>> from transformers import T5Tokenizer, T5ForConditionalGeneration

>>> tokenizer = T5Tokenizer.from_pretrained("google-t5/t5-small")
>>> model = T5ForConditionalGeneration.from_pretrained("google-t5/t5-small")

>>> input_ids = tokenizer("translate English to German: The house is wonderful.", return_tensors="pt").input_ids
>>> labels = tokenizer("Das Haus ist wunderbar.", return_tensors="pt").input_ids

>>> # the forward function automatically creates the correct decoder_input_ids
>>> loss = model(input_ids=input_ids, labels=labels).loss
>>> loss.item()
0.2542

如您所见，模型只需要 2 个输入即可计算损失：input_ids（它是编码输入序列的 input_ids）和 labels（它是编码目标序列的 input_ids）。模型将根据 labels 自动创建 decoder_input_ids，方法是将它们向右移动一个位置并在前面添加 config.decoder_start_token_id，对于 T5，它等于 0（即填充标记的 ID）。另请注意任务前缀：我们在编码之前在输入序列前添加“translate English to German:”。这将有助于提高性能，因为此任务前缀在 T5 的预训练期间使用过。

但是，上面的示例仅显示了一个训练示例。在实践中，人们会批量训练深度学习模型。这意味着我们必须将示例填充/截断到相同的长度。对于编码器-解码器模型，通常定义 max_source_length 和 max_target_length，它们分别确定输入和输出序列的最大长度（否则将被截断）。应根据任务仔细设置这些长度。

此外，我们必须确保损失函数不考虑 labels 的填充标记 ID。在 PyTorch 和 Tensorflow 中，可以通过将它们替换为 -100 来实现，这是 CrossEntropyLoss 的 ignore_index。在 Flax 中，可以使用 decoder_attention_mask 从损失中忽略填充标记（有关详细信息，请参阅 Flax 摘要脚本）。我们还将 attention_mask 作为附加输入传递给模型，这确保了输入的填充标记被忽略。下面的代码示例说明了所有这些。

>>> from transformers import T5Tokenizer, T5ForConditionalGeneration
>>> import torch

>>> tokenizer = T5Tokenizer.from_pretrained("google-t5/t5-small")
>>> model = T5ForConditionalGeneration.from_pretrained("google-t5/t5-small")

>>> # the following 2 hyperparameters are task-specific
>>> max_source_length = 512
>>> max_target_length = 128

>>> # Suppose we have the following 2 training examples:
>>> input_sequence_1 = "Welcome to NYC"
>>> output_sequence_1 = "Bienvenue à NYC"

>>> input_sequence_2 = "HuggingFace is a company"
>>> output_sequence_2 = "HuggingFace est une entreprise"

>>> # encode the inputs
>>> task_prefix = "translate English to French: "
>>> input_sequences = [input_sequence_1, input_sequence_2]

>>> encoding = tokenizer(
...     [task_prefix + sequence for sequence in input_sequences],
...     padding="longest",
...     max_length=max_source_length,
...     truncation=True,
...     return_tensors="pt",
... )

>>> input_ids, attention_mask = encoding.input_ids, encoding.attention_mask

>>> # encode the targets
>>> target_encoding = tokenizer(
...     [output_sequence_1, output_sequence_2],
...     padding="longest",
...     max_length=max_target_length,
...     truncation=True,
...     return_tensors="pt",
... )
>>> labels = target_encoding.input_ids

>>> # replace padding token id's of the labels by -100 so it's ignored by the loss
>>> labels[labels == tokenizer.pad_token_id] = -100

>>> # forward pass
>>> loss = model(input_ids=input_ids, attention_mask=attention_mask, labels=labels).loss
>>> loss.item()
0.188

其他训练技巧

使用 AdamW 优化器时，T5 模型需要的学习率略高于 Trainer 中设置的默认学习率。通常，对于大多数问题（分类、摘要、翻译、问答、问题生成），1e-4 和 3e-4 效果很好。请注意，T5 使用 AdaFactor 优化器进行预训练。

根据此论坛帖子，当 (1) 进行多任务训练 (2) 您的任务与 T5 预训练混合中使用的监督任务之一相似或相关时，任务前缀很重要（请参阅论文的附录 D，了解使用的任务前缀）。

如果在 TPU 上训练，建议将数据集的所有示例填充到相同的长度，或者使用pad_to_multiple_of将示例填充到少量预定义的桶大小以适应所有示例。在 TPU 上不建议动态地将批次填充到最长的示例，因为这会导致每次遇到新的批次形状时都会触发重新编译，从而显著降低训练速度。仅将填充长度限制在每个批次中最长示例的长度会导致 TPU 上的训练非常缓慢。

推理

在推理时，建议使用generate()。此方法负责编码输入并通过交叉注意力层将编码的隐藏状态馈送到解码器，并自动回归地生成解码器输出。查看这篇博文以了解有关使用 Transformers 生成文本的所有详细信息。还有这篇博文解释了编码器-解码器模型中生成的一般工作原理。

>>> from transformers import T5Tokenizer, T5ForConditionalGeneration

>>> tokenizer = T5Tokenizer.from_pretrained("google-t5/t5-small")
>>> model = T5ForConditionalGeneration.from_pretrained("google-t5/t5-small")

>>> input_ids = tokenizer("translate English to German: The house is wonderful.", return_tensors="pt").input_ids
>>> outputs = model.generate(input_ids)
>>> print(tokenizer.decode(outputs[0], skip_special_tokens=True))
Das Haus ist wunderbar.

请注意，T5 使用pad_token_id作为decoder_start_token_id，因此在不使用generate()进行生成时，请确保以pad_token_id开头。

上面的示例仅显示了一个示例。您也可以执行批处理推理，如下所示

>>> from transformers import T5Tokenizer, T5ForConditionalGeneration

>>> tokenizer = T5Tokenizer.from_pretrained("google-t5/t5-small")
>>> model = T5ForConditionalGeneration.from_pretrained("google-t5/t5-small")

>>> task_prefix = "translate English to German: "
>>> # use different length sentences to test batching
>>> sentences = ["The house is wonderful.", "I like to work in NYC."]

>>> inputs = tokenizer([task_prefix + sentence for sentence in sentences], return_tensors="pt", padding=True)

>>> output_sequences = model.generate(
...     input_ids=inputs["input_ids"],
...     attention_mask=inputs["attention_mask"],
...     do_sample=False,  # disable sampling to test if batching affects output
... )

>>> print(tokenizer.batch_decode(output_sequences, skip_special_tokens=True))
['Das Haus ist wunderbar.', 'Ich arbeite gerne in NYC.']

因为 T5 已使用跨度掩码去噪目标进行训练，所以它可用于在推理期间预测哨兵（被掩盖）标记。然后，预测的标记将放置在哨兵标记之间。

>>> from transformers import T5Tokenizer, T5ForConditionalGeneration

>>> tokenizer = T5Tokenizer.from_pretrained("google-t5/t5-small")
>>> model = T5ForConditionalGeneration.from_pretrained("google-t5/t5-small")

>>> input_ids = tokenizer("The <extra_id_0> walks in <extra_id_1> park", return_tensors="pt").input_ids

>>> sequence_ids = model.generate(input_ids)
>>> sequences = tokenizer.batch_decode(sequence_ids)
>>> sequences
['<pad> <extra_id_0> park offers <extra_id_1> the <extra_id_2> park.</s>']

性能

如果您希望获得更快的训练和推理性能，请为 NVIDIA GPU 安装NVIDIA APEX，或为 AMD GPU 安装ROCm APEX，然后模型将自动使用apex.normalization.FusedRMSNorm代替T5LayerNorm。前者使用优化的融合内核，其速度比后者快几倍。

资源

一些官方的 Hugging Face 和社区（由🌎表示）资源，可帮助您开始使用 T5。如果您有兴趣提交要在此处包含的资源，请随时打开一个 Pull Request，我们将对其进行审查！理想情况下，该资源应展示一些新内容，而不是重复现有的资源。

文本分类

一个关于如何微调 T5 用于分类和多项选择的笔记本。
一个关于如何微调 T5 用于情感跨度提取的笔记本。🌎

标记分类

一个关于如何微调 T5 用于命名实体识别的笔记本。🌎

文本生成

一个关于微调 CodeT5 用于从 Ruby 代码生成文档字符串的笔记本。

摘要

一个关于微调 T5-base-dutch 在 TPU 上对 CNN Daily Mail 进行荷兰语抽象摘要的笔记本。
一个关于如何在 PyTorch 中微调 T5 用于摘要并使用 WandB 追踪实验的笔记本。🌎
一篇关于分布式训练：使用 🤗 Transformers 和 Amazon SageMaker 训练 BART/T5 用于摘要的博文。
T5ForConditionalGeneration 受此示例脚本和笔记本支持。
TFT5ForConditionalGeneration 受此示例脚本和笔记本支持。
FlaxT5ForConditionalGeneration 受此示例脚本支持。
🤗 Hugging Face 课程的摘要章节。
摘要任务指南

填充掩码

FlaxT5ForConditionalGeneration 受此示例脚本支持，用于使用跨度掩码语言模型目标训练 T5。该脚本还展示了如何训练 T5 分词器。FlaxT5ForConditionalGeneration 也受此笔记本支持。

翻译

T5ForConditionalGeneration 受此示例脚本和笔记本支持。
TFT5ForConditionalGeneration 受此示例脚本和笔记本支持。
翻译任务指南

问答

一个关于如何使用 TensorFlow 2 微调 T5 用于问答的笔记本。🌎
一个关于如何在 TPU 上微调 T5 用于问答的笔记本。

🚀 部署

一篇关于如何以低于 500 美元的价格部署 T5 11B 进行推理的博文。

Transformers

T5

概述

使用技巧

训练

推理

性能

资源

T5Config

类 transformers.T5Config

T5Tokenizer

class transformers.T5Tokenizer

build_inputs_with_special_tokens

get_special_tokens_mask

create_token_type_ids_from_sequences

save_vocabulary

T5TokenizerFast

类 transformers.T5TokenizerFast

build_inputs_with_special_tokens

create_token_type_ids_from_sequences

T5Model

类 transformers.T5Model

forward

T5ForConditionalGeneration

类 transformers.T5ForConditionalGeneration

forward

T5EncoderModel

类 transformers.T5EncoderModel

forward

T5ForSequenceClassification

类 transformers.T5ForSequenceClassification

forward

T5ForTokenClassification

类 transformers.T5ForTokenClassification

forward

T5ForQuestionAnswering

类 transformers.T5ForQuestionAnswering

forward

TFT5Model

类 transformers.TFT5Model

调用

TFT5ForConditionalGeneration

类 transformers.TFT5ForConditionalGeneration

调用

TFT5EncoderModel

类 transformers.TFT5EncoderModel

调用

FlaxT5Model

class transformers.FlaxT5Model

__call__

编码

解码

FlaxT5ForConditionalGeneration

类 transformers.FlaxT5ForConditionalGeneration

__call__

编码

解码

FlaxT5EncoderModel

类 transformers.FlaxT5EncoderModel

__call__

call

call

call