Transformers 文档

Transformers

加入 Hugging Face 社区

并获得增强的文档体验

协作处理模型、数据集和 Spaces

通过加速推理获得更快的示例

切换文档主题

开始使用

T5

概述

T5 模型在 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 中提出，作者包括 Colin Raffel、Noam Shazeer、Adam Roberts、Katherine Lee、Sharan Narang、Michael Matena、Yanqi Zhou、Wei Li、Peter J. Liu。

论文摘要如下：

迁移学习是一种强大的自然语言处理（NLP）技术，其模型首先在一个数据丰富的任务上进行预训练，然后在下游任务上进行微调。迁移学习的有效性催生了各种方法、方法论和实践。在本文中，我们通过引入一个统一的框架来探索 NLP 迁移学习技术的 landscape，该框架将每个语言问题转换为文本到文本的格式。我们的系统研究比较了预训练目标、架构、未标记数据集、迁移方法以及其他因素在数十个语言理解任务上的表现。通过结合我们探索的见解、规模以及我们新的“Colossal Clean Crawled Corpus”，我们在许多基准测试中取得了最先进的结果，涵盖了摘要、问答、文本分类等。为了促进未来在 NLP 迁移学习方面的工作，我们发布了我们的数据集、预训练模型和代码。

所有检查点都可以在 hub 上找到。

该模型由 thomwolf 贡献。原始代码可以在这里找到。

使用技巧

T5 是一个编码器-解码器模型，它在一个多任务混合的无监督和监督任务上进行预训练，其中每个任务都转换为文本到文本的格式。T5 通过在输入前添加与每个任务对应的不同前缀，可以在各种任务中开箱即用，例如，对于翻译：translate English to German: …，对于摘要：summarize: …。
预训练包括监督和自监督训练。监督训练在 GLUE 和 SuperGLUE 基准测试提供的下游任务上进行（将它们转换为如上所述的文本到文本任务）。
自监督训练使用损坏的 tokens，方法是随机删除 15% 的 tokens 并用单独的 sentinel tokens 替换它们（如果标记要删除多个连续的 tokens，则整个组将替换为单个 sentinel token）。编码器的输入是损坏的句子，解码器的输入是原始句子，目标是然后是由其 sentinel tokens 分隔的 dropout tokens。
T5 使用相对标量嵌入。编码器输入填充可以在左侧和右侧完成。
有关使用方面的所有详细信息，请参阅下面的训练、推理和资源部分。

T5 有不同的尺寸

基于原始 T5 模型，Google 发布了一些后续作品

T5v1.1：T5v1.1 是 T5 的改进版本，具有一些架构调整，并且仅在 C4 上进行预训练，而没有混合监督任务。请参阅 T5v1.1 的文档，可以在这里找到。
mT5：mT5 是一个多语言 T5 模型。它在 mC4 语料库上进行预训练，该语料库包含 101 种语言。请参阅 mT5 的文档，可以在这里找到。
byT5：byT5 是一个在字节序列而不是 SentencePiece 子词 token 序列上预训练的 T5 模型。请参阅 byT5 的文档，可以在这里找到。
UL2：UL2 是一个类似于 T5 的模型，在各种去噪目标上进行预训练
Flan-T5：Flan 是一种基于提示的预训练方法。Flan-T5 是在 Flan 数据集集合上训练的 T5 模型，该集合包括：taskmaster2、djaym7/wiki_dialog、deepmind/code_contests、lambada、gsm8k、aqua_rat、esnli、quasc 和 qed。
FLan-UL2：使用 “Flan” 提示调优和数据集集合微调的 UL2 模型。
UMT5：UmT5 是一个多语言 T5 模型，它在一个改进和刷新的 mC4 多语言语料库上训练，跨 107 种语言的 29 万亿字符，使用一种新的采样方法 UniMax。请参阅 mT5 的文档，可以在这里找到。

训练

T5 是一个编码器-解码器模型，并将所有 NLP 问题转换为文本到文本的格式。它使用 teacher forcing 进行训练。这意味着对于训练，我们始终需要一个输入序列和一个相应的目标序列。输入序列使用 input_ids 馈送到模型。目标序列向右移动，即在前面加上一个起始序列 token，并使用 decoder_input_ids 馈送到解码器。在 teacher-forcing 风格中，目标序列然后附加 EOS token 并对应于 labels。PAD token 在此用作起始序列 token。T5 可以以监督和无监督方式进行训练/微调。

可以使用 T5ForConditionalGeneration（或 Tensorflow/Flax 变体），其中包括解码器顶部的语言建模头。

无监督去噪训练

在这种设置中，输入序列的 spans 被所谓的 sentinel tokens（又名唯一的 mask tokens）mask，输出序列形成为相同的 sentinel tokens 和真实 masked tokens 的连接。每个 sentinel token 代表此句子的唯一 mask token，并且应以 <extra_id_0>、<extra_id_1>、… 直到 <extra_id_99> 开头。默认情况下，T5Tokenizer 中提供了 100 个 sentinel tokens。

例如，句子 “The cute dog walks in the park” 掩盖了 “cute dog” 和 “the”，应按如下方式处理

>>> from transformers import T5Tokenizer, T5ForConditionalGeneration

>>> tokenizer = T5Tokenizer.from_pretrained("google-t5/t5-small")
>>> model = T5ForConditionalGeneration.from_pretrained("google-t5/t5-small")

>>> input_ids = tokenizer("The <extra_id_0> walks in <extra_id_1> park", return_tensors="pt").input_ids
>>> labels = tokenizer("<extra_id_0> cute dog <extra_id_1> the <extra_id_2>", return_tensors="pt").input_ids

>>> # the forward function automatically creates the correct decoder_input_ids
>>> loss = model(input_ids=input_ids, labels=labels).loss
>>> loss.item()
3.7837

如果您有兴趣在新语料库上预训练 T5，请查看 Examples 目录中的 run_t5_mlm_flax.py 脚本。

监督训练

在这种设置中，输入序列和输出序列是标准的序列到序列输入输出映射。假设我们要例如为翻译微调模型，并且我们有一个训练示例：输入序列 “The house is wonderful.” 和输出序列 “Das Haus ist wunderbar.”，那么它们应为模型准备如下

>>> from transformers import T5Tokenizer, T5ForConditionalGeneration

>>> tokenizer = T5Tokenizer.from_pretrained("google-t5/t5-small")
>>> model = T5ForConditionalGeneration.from_pretrained("google-t5/t5-small")

>>> input_ids = tokenizer("translate English to German: The house is wonderful.", return_tensors="pt").input_ids
>>> labels = tokenizer("Das Haus ist wunderbar.", return_tensors="pt").input_ids

>>> # the forward function automatically creates the correct decoder_input_ids
>>> loss = model(input_ids=input_ids, labels=labels).loss
>>> loss.item()
0.2542

如您所见，模型只需要 2 个输入即可计算损失：input_ids（它是编码输入序列的 input_ids）和 labels（它是编码目标序列的 input_ids）。模型将基于 labels 自动创建 decoder_input_ids，方法是将它们向右移动一个位置并在前面加上 config.decoder_start_token_id，对于 T5，它等于 0（即 pad token 的 id）。另请注意任务前缀：我们在编码输入序列之前在前面加上 ‘translate English to German: ’。这将有助于提高性能，因为此任务前缀在 T5 的预训练期间使用。

但是，上面的示例仅显示了一个训练示例。实际上，人们以批次训练深度学习模型。这需要我们填充/截断示例到相同的长度。对于编码器-解码器模型，通常定义 max_source_length 和 max_target_length，它们分别确定输入和输出序列的最大长度（否则它们将被截断）。这些应根据任务仔细设置。

此外，我们必须确保损失函数不考虑 labels 的填充 token id。在 PyTorch 和 Tensorflow 中，可以通过将它们替换为 -100 来完成，这是 CrossEntropyLoss 的 ignore_index。在 Flax 中，可以使用 decoder_attention_mask 来忽略损失中的填充 tokens（有关详细信息，请参阅 Flax summarization script）。我们还将 attention_mask 作为附加输入传递给模型，这确保了输入的填充 tokens 被忽略。下面的代码示例说明了所有这些。

>>> from transformers import T5Tokenizer, T5ForConditionalGeneration
>>> import torch

>>> tokenizer = T5Tokenizer.from_pretrained("google-t5/t5-small")
>>> model = T5ForConditionalGeneration.from_pretrained("google-t5/t5-small")

>>> # the following 2 hyperparameters are task-specific
>>> max_source_length = 512
>>> max_target_length = 128

>>> # Suppose we have the following 2 training examples:
>>> input_sequence_1 = "Welcome to NYC"
>>> output_sequence_1 = "Bienvenue à NYC"

>>> input_sequence_2 = "HuggingFace is a company"
>>> output_sequence_2 = "HuggingFace est une entreprise"

>>> # encode the inputs
>>> task_prefix = "translate English to French: "
>>> input_sequences = [input_sequence_1, input_sequence_2]

>>> encoding = tokenizer(
...     [task_prefix + sequence for sequence in input_sequences],
...     padding="longest",
...     max_length=max_source_length,
...     truncation=True,
...     return_tensors="pt",
... )

>>> input_ids, attention_mask = encoding.input_ids, encoding.attention_mask

>>> # encode the targets
>>> target_encoding = tokenizer(
...     [output_sequence_1, output_sequence_2],
...     padding="longest",
...     max_length=max_target_length,
...     truncation=True,
...     return_tensors="pt",
... )
>>> labels = target_encoding.input_ids

>>> # replace padding token id's of the labels by -100 so it's ignored by the loss
>>> labels[labels == tokenizer.pad_token_id] = -100

>>> # forward pass
>>> loss = model(input_ids=input_ids, attention_mask=attention_mask, labels=labels).loss
>>> loss.item()
0.188

其他训练技巧

当使用 AdamW 优化器时，T5 模型需要比 Trainer 中设置的默认学习率稍高的学习率。通常，1e-4 和 3e-4 对于大多数问题（分类、摘要、翻译、问答、问题生成）效果良好。请注意，T5 是使用 AdaFactor 优化器进行预训练的。

根据此论坛帖子，当 (1) 进行多任务训练 (2) 您的任务类似于或与 T5 预训练混合中使用的监督任务之一相关时（请参阅论文的附录 D，了解使用的任务前缀），任务前缀很重要。

如果在 TPU 上训练，建议将数据集的所有示例填充到相同的长度，或使用 pad_to_multiple_of 以具有少量预定义的 bucket 大小以适合所有示例。在 TPU 上不建议动态填充批次到最长的示例，因为它会为训练期间遇到的每个批次形状触发重新编译，从而显着减慢训练速度。仅填充到批次中最长的示例）会导致 TPU 上的训练速度非常慢。

推理

在推理时，建议使用 generate()。此方法负责编码输入，并通过交叉注意力层将编码的隐藏状态馈送到解码器，并自动回归生成解码器输出。查看这篇博客文章，了解有关使用 Transformers 生成文本的所有详细信息。还有这篇博客文章，它解释了编码器-解码器模型中生成的工作原理。

>>> from transformers import T5Tokenizer, T5ForConditionalGeneration

>>> tokenizer = T5Tokenizer.from_pretrained("google-t5/t5-small")
>>> model = T5ForConditionalGeneration.from_pretrained("google-t5/t5-small")

>>> input_ids = tokenizer("translate English to German: The house is wonderful.", return_tensors="pt").input_ids
>>> outputs = model.generate(input_ids)
>>> print(tokenizer.decode(outputs[0], skip_special_tokens=True))
Das Haus ist wunderbar.

请注意，T5 使用 pad_token_id 作为 decoder_start_token_id，因此在不使用 generate() 进行生成时，请确保以 pad_token_id 开头。

上面的示例仅显示了一个示例。您也可以进行批量推理，如下所示

>>> from transformers import T5Tokenizer, T5ForConditionalGeneration

>>> tokenizer = T5Tokenizer.from_pretrained("google-t5/t5-small")
>>> model = T5ForConditionalGeneration.from_pretrained("google-t5/t5-small")

>>> task_prefix = "translate English to German: "
>>> # use different length sentences to test batching
>>> sentences = ["The house is wonderful.", "I like to work in NYC."]

>>> inputs = tokenizer([task_prefix + sentence for sentence in sentences], return_tensors="pt", padding=True)

>>> output_sequences = model.generate(
...     input_ids=inputs["input_ids"],
...     attention_mask=inputs["attention_mask"],
...     do_sample=False,  # disable sampling to test if batching affects output
... )

>>> print(tokenizer.batch_decode(output_sequences, skip_special_tokens=True))
['Das Haus ist wunderbar.', 'Ich arbeite gerne in NYC.']

由于 T5 是使用 span-mask 去噪目标训练的，因此它可以用于在推理期间预测 sentinel（masked-out）tokens。预测的 tokens 然后将放置在 sentinel tokens 之间。

>>> from transformers import T5Tokenizer, T5ForConditionalGeneration

>>> tokenizer = T5Tokenizer.from_pretrained("google-t5/t5-small")
>>> model = T5ForConditionalGeneration.from_pretrained("google-t5/t5-small")

>>> input_ids = tokenizer("The <extra_id_0> walks in <extra_id_1> park", return_tensors="pt").input_ids

>>> sequence_ids = model.generate(input_ids)
>>> sequences = tokenizer.batch_decode(sequence_ids)
>>> sequences
['<pad> <extra_id_0> park offers <extra_id_1> the <extra_id_2> park.</s>']

性能

如果您想要更快的训练和推理性能，请为 NVIDIA GPU 安装 NVIDIA APEX，或为 AMD GPU 安装 ROCm APEX，然后模型将自动使用 apex.normalization.FusedRMSNorm 而不是 T5LayerNorm。前者使用优化的融合内核，比后者快几倍。

资源

官方 Hugging Face 和社区（🌎 表示）资源列表，可帮助您开始使用 T5。如果您有兴趣提交资源以包含在此处，请随时打开 Pull Request，我们将对其进行审核！该资源理想情况下应演示一些新内容，而不是重复现有资源。

文本分类

一个关于如何微调 T5 进行分类和多项选择的 notebook。
一个关于如何微调 T5 进行情感 span 提取的 notebook。 🌎

Token 分类

一个关于如何微调 T5 进行命名实体识别的 notebook。 🌎

文本生成

一个用于微调 CodeT5 以从 Ruby 代码生成文档字符串的 notebook。

摘要

一个微调 T5-base-dutch 以在 TPU 上执行荷兰语抽象摘要的 notebook。
一个关于如何微调 T5 以在 PyTorch 中进行摘要并使用 WandB 跟踪实验的 notebook。 🌎
一篇关于分布式训练：使用 🤗 Transformers 和 Amazon SageMaker 训练 BART/T5 进行摘要的博客文章。
T5ForConditionalGeneration 由此示例脚本和 notebook 支持。
TFT5ForConditionalGeneration 由此示例脚本和 notebook 支持。
FlaxT5ForConditionalGeneration 由此示例脚本支持。
摘要 🤗 Hugging Face 课程的章节。
摘要任务指南

Fill-Mask

FlaxT5ForConditionalGeneration 由此示例脚本支持，用于使用 span-masked 语言模型目标训练 T5。该脚本还展示了如何训练 T5 tokenizer。 FlaxT5ForConditionalGeneration 也由此 notebook 支持。

翻译

T5ForConditionalGeneration 由此示例脚本和 notebook 支持。
TFT5ForConditionalGeneration 由此示例脚本和 notebook 支持。
翻译任务指南

问答

一个关于如何微调 T5 以使用 TensorFlow 2 进行问答的 notebook。 🌎
一个关于如何微调 T5 以在 TPU 上进行问答的 notebook。

🚀 部署

一篇关于如何部署 T5 11B 以低于 500 美元的价格进行推理的博客文章。

Transformers

T5

概述

使用技巧

训练

推理

性能

资源

T5Config

class transformers.T5Config

T5Tokenizer

class transformers.T5Tokenizer

build_inputs_with_special_tokens

get_special_tokens_mask

create_token_type_ids_from_sequences

save_vocabulary

T5TokenizerFast

class transformers.T5TokenizerFast

build_inputs_with_special_tokens

create_token_type_ids_from_sequences

T5Model

class transformers.T5Model

forward

T5ForConditionalGeneration

class transformers.T5ForConditionalGeneration

forward

T5EncoderModel

class transformers.T5EncoderModel

forward

T5ForSequenceClassification

class transformers.T5ForSequenceClassification

forward

T5ForTokenClassification

class transformers.T5ForTokenClassification

forward

T5ForQuestionAnswering

class transformers.T5ForQuestionAnswering

forward

TFT5Model

class transformers.TFT5Model

call

TFT5ForConditionalGeneration

class transformers.TFT5ForConditionalGeneration

call

TFT5EncoderModel

class transformers.TFT5EncoderModel

call

FlaxT5Model

class transformers.FlaxT5Model

__call__

encode

decode

FlaxT5ForConditionalGeneration

class transformers.FlaxT5ForConditionalGeneration

__call__

encode

decode

FlaxT5EncoderModel

class transformers.FlaxT5EncoderModel

__call__

call

call

call