Transformers 文档

XLNet

Transformers

加入 Hugging Face 社区

并获得增强的文档体验

在模型、数据集和 Spaces 上进行协作

通过加速推理获得更快的示例

切换文档主题

开始使用

XLNet

概述

XLNet 模型由 Zhilin Yang、Zihang Dai、Yiming Yang、Jaime Carbonell、Ruslan Salakhutdinov 和 Quoc V. Le 在 XLNet: Generalized Autoregressive Pretraining for Language Understanding 中提出。XLNet 是 Transformer-XL 模型的扩展，使用自回归方法进行预训练，通过最大化输入序列分解顺序的所有排列的预期似然来学习双向上下文。

论文摘要如下：

基于去噪自编码的预训练方法（如 BERT）具有建模双向上下文的能力，因此其性能优于基于自回归语言建模的预训练方法。然而，BERT 依赖于用掩码破坏输入，忽略了掩码位置之间的依赖关系，并存在预训练-微调不匹配的问题。鉴于这些优缺点，我们提出了 XLNet，一种广义自回归预训练方法，它 (1) 通过最大化分解顺序的所有排列的预期似然来学习双向上下文，并且 (2) 由于其自回归公式，克服了 BERT 的局限性。此外，XLNet 将 Transformer-XL（最先进的自回归模型）的思想整合到预训练中。经验证明，在可比较的实验设置下，XLNet 在 20 项任务中（包括问答、自然语言推理、情感分析和文档排序）的性能均优于 BERT，通常是大幅超越。

此模型由 thomwolf 贡献。原始代码可在此处找到。

使用技巧

特定的注意力模式可以在训练和测试时使用 perm_mask 输入进行控制。
由于在各种分解顺序上训练一个完全自回归模型存在困难，XLNet 仅使用部分输出 token 作为目标进行预训练，这些 token 是通过 target_mapping 输入选择的。
要将 XLNet 用于顺序解码（即非完全双向设置），请使用 perm_mask 和 target_mapping 输入来控制注意力范围和输出（请参阅 *examples/pytorch/text-generation/run_generation.py* 中的示例）
XLNet 是少数没有序列长度限制的模型之一。
XLNet 不是传统的自回归模型，但它使用了一种基于此的训练策略。它会对句子中的 token 进行排列，然后允许模型使用最后 n 个 token 来预测第 n+1 个 token。由于所有这些都是通过掩码完成的，因此句子实际上是按正确顺序输入到模型中的，但 XLNet 不会掩盖前 n 个 token 以预测 n+1，而是使用一个掩码来隐藏给定排列 1, ..., 序列长度中前面的 token。
XLNet 还使用与 Transformer-XL 相同的循环机制来建立长期依赖关系。

资源

XLNetConfig

class transformers.XLNetConfig

< 来源 >

( vocab_size = 32000 d_model = 1024 n_layer = 24 n_head = 16 d_inner = 4096 ff_activation = 'gelu' untie_r = True attn_type = 'bi' initializer_range = 0.02 layer_norm_eps = 1e-12 dropout = 0.1 mem_len = 512 reuse_len = None use_mems_eval = True use_mems_train = False bi_data = False clamp_len = -1 same_length = False summary_type = 'last' summary_use_proj = True summary_activation = 'tanh' summary_last_dropout = 0.1 start_n_top = 5 end_n_top = 5 pad_token_id = 5 bos_token_id = 1 eos_token_id = 2 **kwargs )

参数

vocab_size (int, 可选, 默认为 32000) — XLNet 模型的词汇表大小。定义了调用 XLNetModel 或 TFXLNetModel 时传递的 inputs_ids 可以表示的不同 token 的数量。
d_model (int, 可选, 默认为 1024) — 编码器层和池化器层的维度。
n_layer (int, 可选, 默认为 24) — Transformer 编码器中的隐藏层数量。
n_head (int, 可选, 默认为 16) — Transformer 编码器中每个注意力层的注意力头数量。
d_inner (int, 可选, 默认为 4096) — Transformer 编码器中“中间”（通常称为前馈）层的维度。
ff_activation (str 或 Callable, 可选, 默认为 "gelu") — 非线性激活函数（函数或字符串）。如果是字符串，支持 "gelu"、"relu"、"silu" 和 "gelu_new"。
untie_r (bool, 可选, 默认为 True) — 是否取消相对位置偏差的绑定。
attn_type (str, 可选, 默认为 "bi") — 模型使用的注意力类型。XLNet 设置为 "bi"，Transformer-XL 设置为 "uni"。
initializer_range (float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的截断正态分布初始化器的标准差。
layer_norm_eps (float, 可选, 默认为 1e-12) — 层归一化层使用的 epsilon 值。
dropout (float, 可选, 默认为 0.1) — 嵌入层、编码器和池化器中所有全连接层的 dropout 概率。
mem_len (int 或 None, 可选) — 缓存的 token 数量。在之前的正向传播中已经预计算的键/值对不会重新计算。有关更多信息，请参阅快速入门。
reuse_len (int, 可选) — 当前批次中要缓存并在将来重用的 token 数量。
bi_data (bool, 可选, 默认为 False) — 是否使用双向输入管道。通常在预训练期间设置为 True，在微调期间设置为 False。
clamp_len (int, 可选, 默认为 -1) — 限制所有相对距离大于 clamp_len。将此属性设置为 -1 表示不进行限制。
same_length (bool, 可选, 默认为 False) — 是否对每个 token 使用相同的注意力长度。
summary_type (str, 可选, 默认为 “last”) — 序列摘要时使用的参数。在序列分类和多项选择模型中使用。

必须是以下选项之一：
- "last"：取最后一个 token 的隐藏状态（如 XLNet）。
- "first"：取第一个 token 的隐藏状态（如 BERT）。
- "mean"：取所有 token 隐藏状态的平均值。
- "cls_index"：提供分类 token 位置的张量（如 GPT/GPT-2）。
- "attn"：目前未实现，使用多头注意力。
summary_use_proj (bool, 可选, 默认为 True) — 序列摘要时使用的参数。在序列分类和多项选择模型中使用。

向量提取后是否添加投影。
summary_activation (str, 可选) — 序列摘要时使用的参数。在序列分类和多项选择模型中使用。

如果输出需要 tanh 激活，则传递 "tanh"，任何其他值将导致没有激活。
summary_proj_to_labels (boo, 可选, 默认为 True) — 在序列分类和多项选择模型中使用。

投影输出应具有 config.num_labels 或 config.hidden_size 类。
summary_last_dropout (float, 可选, 默认为 0.1) — 在序列分类和多项选择模型中使用。

投影和激活后使用的 dropout 比率。
start_n_top (int, 可选, 默认为 5) — 在 SQuAD 评估脚本中使用。
end_n_top (int, 可选, 默认为 5) — 用于 SQuAD 评估脚本中。
use_mems_eval (bool, 可选, 默认为 True) — 模型在评估模式下是否使用循环记忆机制。
use_mems_train (bool, 可选, 默认为 False) — 模型在训练模式下是否使用循环记忆机制。

对于预训练，建议将 use_mems_train 设置为 True。对于微调，建议将 use_mems_train 设置为 False，如此处所述。如果 use_mems_train 设置为 True，则必须确保训练批次已正确预处理，例如 batch_1 = [[This line is], [This is the]] 和 batch_2 = [[ the first line], [ second line]]，并且所有批次的大小都相等。

这是一个配置类，用于存储 XLNetModel 或 TFXLNetModel 的配置。它用于根据指定的参数实例化 XLNet 模型，定义模型架构。使用默认值实例化配置将产生类似于 xlnet/xlnet-large-cased 架构的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。有关这些方法的更多信息，请参阅 PretrainedConfig 的文档。

示例

>>> from transformers import XLNetConfig, XLNetModel

>>> # Initializing a XLNet configuration
>>> configuration = XLNetConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = XLNetModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

XLNetTokenizer

类 transformers.XLNetTokenizer

< 来源 >

( vocab_file do_lower_case = False remove_space = True keep_accents = False bos_token = '<s>' eos_token = '</s>' unk_token = '<unk>' sep_token = '<sep>' pad_token = '<pad>' cls_token = '<cls>' mask_token = '<mask>' additional_special_tokens = ['<eop>', '<eod>'] sp_model_kwargs: typing.Optional[dict[str, typing.Any]] = None **kwargs )

参数

vocab_file (str) — SentencePiece 文件（通常以 .spm 扩展名结尾），包含实例化分词器所需的词汇表。
do_lower_case (bool, 可选, 默认为 False) — 分词时是否将输入转换为小写。
remove_space (bool, 可选, 默认为 True) — 分词时是否去除文本中的空格（删除字符串前后多余的空格）。
keep_accents (bool, 可选, 默认为 False) — 分词时是否保留重音符号。
bos_token (str, 可选, 默认为 "<s>") — 预训练期间使用的序列开始符。可用作序列分类标记。

使用特殊标记构建序列时，这不是序列开头使用的标记。使用的标记是 cls_token。
eos_token (str, 可选, 默认为 "</s>") — 序列结束符。

使用特殊标记构建序列时，这不是序列结尾使用的标记。使用的标记是 sep_token。
unk_token (str, 可选, 默认为 "<unk>") — 未知标记。不在词汇表中的标记不能转换为 ID，而是设置为此标记。
sep_token (str, 可选, 默认为 "<sep>") — 分隔符标记，用于从多个序列构建序列时，例如用于序列分类的两个序列或用于问答的文本和问题。它也用作使用特殊标记构建的序列的最后一个标记。
pad_token (str, 可选, 默认为 "<pad>") — 用于填充的标记，例如在对不同长度的序列进行批处理时。
cls_token (str, 可选, 默认为 "<cls>") — 分类器标记，用于序列分类（对整个序列进行分类而非按标记分类）。它是使用特殊标记构建的序列的第一个标记。
mask_token (str, 可选, 默认为 "<mask>") — 用于遮盖值的标记。这是使用遮盖语言建模训练此模型时使用的标记。这是模型将尝试预测的标记。
additional_special_tokens (list[str], 可选, 默认为 ['<eop>', '<eod>']) — 分词器使用的附加特殊标记。
sp_model_kwargs (dict, 可选) — 将传递给 SentencePieceProcessor.__init__() 方法。可用于设置 SentencePiece 的 Python 包装器，其中包括：
- enable_sampling: 启用子词正则化。
- nbest_size: Unigram 的采样参数。对于 BPE-Dropout 无效。
  - nbest_size = {0,1}: 不执行采样。
  - nbest_size > 1: 从 nbest_size 结果中采样。
  - nbest_size < 0: 假设 nbest_size 无限，并使用前向滤波和后向采样算法从所有假设（格）中采样。
- alpha: Unigram 采样的平滑参数，以及 BPE-dropout 中合并操作的 dropout 概率。
sp_model (SentencePieceProcessor) — 用于所有转换（字符串、标记和 ID）的 SentencePiece 处理器。

构建 XLNet 分词器。基于 SentencePiece。

此分词器继承自 PreTrainedTokenizer，其中包含大部分主要方法。用户应参阅此超类以获取有关这些方法的更多信息。

build_inputs_with_special_tokens

< 来源 >

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) → list[int]

参数

token_ids_0 (list[int]) — 要添加特殊标记的 ID 列表。
token_ids_1 (list[int], 可选) — 序列对的第二个 ID 列表（可选）。

list[int]

带有适当特殊标记的输入ID列表。

通过拼接和添加特殊标记，从序列或序列对构建用于序列分类任务的模型输入。XLNet 序列具有以下格式

单个序列：X <sep> <cls>
序列对：A <sep> B <sep> <cls>

get_special_tokens_mask

< 来源 >

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None already_has_special_tokens: bool = False ) → list[int]

参数

token_ids_0 (list[int]) — ID 列表。
token_ids_1 (list[int], 可选) — 序列对的第二个 ID 列表（可选）。
already_has_special_tokens (bool, 可选, 默认为 False) — 标记列表是否已使用模型的特殊标记进行格式化。

list[int]

一个范围为 [0, 1] 的整数列表：1 表示特殊标记，0 表示序列标记。

从没有添加特殊标记的标记列表中检索序列ID。此方法在使用分词器prepare_for_model方法添加特殊标记时调用。

create_token_type_ids_from_sequences

< 来源 >

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) → list[int]

参数

token_ids_0 (list[int]) — ID 列表。
token_ids_1 (list[int], 可选) — 序列对的第二个 ID 列表（可选）。

list[int]

根据给定序列的 token type IDs 列表。

从传递的两个序列创建用于序列对分类任务的掩码。一个 XLNet

如果 token_ids_1 为 None，则此方法仅返回掩码的第一部分（0s）。

0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1
| first sequence    | second sequence |

如果 token_ids_1 为 None，则此方法仅返回掩码的第一部分（0s）。

save_vocabulary

< 来源 >

( save_directory: str filename_prefix: typing.Optional[str] = None )

XLNetTokenizerFast

类 transformers.XLNetTokenizerFast

< 来源 >

( vocab_file = None tokenizer_file = None do_lower_case = False remove_space = True keep_accents = False bos_token = '<s>' eos_token = '</s>' unk_token = '<unk>' sep_token = '<sep>' pad_token = '<pad>' cls_token = '<cls>' mask_token = '<mask>' additional_special_tokens = ['<eop>', '<eod>'] **kwargs )

参数

vocab_file (str) — SentencePiece 文件（通常以 .spm 扩展名结尾），包含实例化分词器所需的词汇表。
do_lower_case (bool, 可选, 默认为 True) — 分词时是否将输入转换为小写。
remove_space (bool, 可选, 默认为 True) — 分词时是否去除文本中的空格（删除字符串前后多余的空格）。
keep_accents (bool, 可选, 默认为 False) — 分词时是否保留重音符号。
bos_token (str, 可选, 默认为 "<s>") — 预训练期间使用的序列开始符。可用作序列分类标记。

使用特殊标记构建序列时，这不是序列开头使用的标记。使用的标记是 cls_token。
eos_token (str, 可选, 默认为 "</s>") — 序列结束符。

使用特殊标记构建序列时，这不是序列结尾使用的标记。使用的标记是 sep_token。
unk_token (str, 可选, 默认为 "<unk>") — 未知标记。不在词汇表中的标记不能转换为 ID，而是设置为此标记。
sep_token (str, 可选, 默认为 "<sep>") — 分隔符标记，用于从多个序列构建序列时，例如用于序列分类的两个序列或用于问答的文本和问题。它也用作使用特殊标记构建的序列的最后一个标记。
pad_token (str, 可选, 默认为 "<pad>") — 用于填充的标记，例如在对不同长度的序列进行批处理时。
cls_token (str, 可选, 默认为 "<cls>") — 分类器标记，用于序列分类（对整个序列进行分类而非按标记分类）。它是使用特殊标记构建的序列的第一个标记。
mask_token (str, 可选, 默认为 "<mask>") — 用于遮盖值的标记。这是使用遮盖语言建模训练此模型时使用的标记。这是模型将尝试预测的标记。
additional_special_tokens (list[str], 可选, 默认为 ["<eop>", "<eod>"]) — 分词器使用的附加特殊标记。
sp_model (SentencePieceProcessor) — 用于所有转换（字符串、标记和 ID）的 SentencePiece 处理器。

构建一个“快速”XLNet 分词器（由 HuggingFace 的 tokenizers 库支持）。基于 Unigram。

此分词器继承自 PreTrainedTokenizerFast，其中包含大部分主要方法。用户应参阅此超类以获取有关这些方法的更多信息。

build_inputs_with_special_tokens

< 来源 >

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) → list[int]

参数

token_ids_0 (list[int]) — 要添加特殊标记的 ID 列表。
token_ids_1 (list[int], 可选) — 序列对的第二个 ID 列表（可选）。

list[int]

带有适当特殊标记的输入ID列表。

通过拼接和添加特殊标记，从序列或序列对构建用于序列分类任务的模型输入。XLNet 序列具有以下格式

单个序列：X <sep> <cls>
序列对：A <sep> B <sep> <cls>

create_token_type_ids_from_sequences

< 来源 >

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) → list[int]

参数

token_ids_0 (list[int]) — ID 列表。
token_ids_1 (list[int], 可选) — 序列对的第二个 ID 列表（可选）。

list[int]

根据给定序列的 token type IDs 列表。

从传递的两个序列创建用于序列对分类任务的掩码。一个 XLNet

如果 token_ids_1 为 None，则此方法仅返回掩码的第一部分（0s）。

0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1
| first sequence    | second sequence |

如果 token_ids_1 为 None，则此方法仅返回掩码的第一部分（0s）。

XLNet 特定输出

类 transformers.models.xlnet.modeling_xlnet.XLNetModelOutput

< 来源 >

( last_hidden_state: FloatTensor mems: typing.Optional[list[torch.FloatTensor]] = None hidden_states: typing.Optional[tuple[torch.FloatTensor, ...]] = None attentions: typing.Optional[tuple[torch.FloatTensor, ...]] = None )

参数

last_hidden_state (形状为 (batch_size, num_predict, hidden_size) 的 torch.FloatTensor) — 模型最后一层的隐藏状态序列。

num_predict 对应于 target_mapping.shape[1]。如果 target_mapping 为 None，则 num_predict 对应于 sequence_length。
mems (list[torch.FloatTensor] of length config.n_layers) — 包含预先计算的隐藏状态。可用于（参阅 mems 输入）加速顺序解码。已提供给此模型的历史令牌ID不应作为 input_ids 传入，因为它们已被计算。
hidden_states (tuple[torch.FloatTensor, ...], 可选, 当传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型有嵌入层，则其中一个用于嵌入层输出，加上每个层的一个输出），形状为 (batch_size, sequence_length, hidden_size)。

模型在每个层输出的隐藏状态，以及可选的初始嵌入输出。
attentions (tuple[torch.FloatTensor, ...], 可选, 当传入 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

注意力softmax后的注意力权重，用于计算自注意力头中的加权平均。

XLNetModel 的输出类型。

Transformers

XLNet

概述

使用技巧

资源

XLNetConfig

class transformers.XLNetConfig

XLNetTokenizer

类 transformers.XLNetTokenizer

build_inputs_with_special_tokens

get_special_tokens_mask

create_token_type_ids_from_sequences

save_vocabulary

XLNetTokenizerFast

类 transformers.XLNetTokenizerFast

build_inputs_with_special_tokens

create_token_type_ids_from_sequences

XLNet 特定输出

类 transformers.models.xlnet.modeling_xlnet.XLNetModelOutput

class transformers.models.xlnet.modeling_xlnet.XLNetLMHeadModelOutput

class transformers.models.xlnet.modeling_xlnet.XLNetForSequenceClassificationOutput

class transformers.models.xlnet.modeling_xlnet.XLNetForMultipleChoiceOutput

class transformers.models.xlnet.modeling_xlnet.XLNetForTokenClassificationOutput

class transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringSimpleOutput

class transformers.models.xlnet.modeling_xlnet.XLNetForQuestionAnsweringOutput

class transformers.models.xlnet.modeling_tf_xlnet.TFXLNetModelOutput

class transformers.models.xlnet.modeling_tf_xlnet.TFXLNetLMHeadModelOutput

class transformers.models.xlnet.modeling_tf_xlnet.TFXLNetForSequenceClassificationOutput

class transformers.models.xlnet.modeling_tf_xlnet.TFXLNetForMultipleChoiceOutput

class transformers.models.xlnet.modeling_tf_xlnet.TFXLNetForTokenClassificationOutput

class transformers.models.xlnet.modeling_tf_xlnet.TFXLNetForQuestionAnsweringSimpleOutput

XLNetModel

class transformers.XLNetModel

前向传播

XLNetLMHeadModel

class transformers.XLNetLMHeadModel

前向传播

XLNetForSequenceClassification

类 transformers.XLNetForSequenceClassification

前向传播

XLNetForMultipleChoice

类 transformers.XLNetForMultipleChoice

前向传播

XLNetForTokenClassification

类 transformers.XLNetForTokenClassification

前向传播

XLNetForQuestionAnsweringSimple

类 transformers.XLNetForQuestionAnsweringSimple

前向传播

XLNetForQuestionAnswering

class transformers.XLNetForQuestionAnswering

前向传播

TFXLNetModel

class transformers.TFXLNetModel

调用

TFXLNetLMHeadModel

class transformers.TFXLNetLMHeadModel

调用

TFXLNetForSequenceClassification

class transformers.TFXLNetForSequenceClassification

调用

TFXLNetForMultipleChoice

class transformers.TFXLNetForMultipleChoice

调用

TFXLNetForTokenClassification

class transformers.TFXLNetForTokenClassification

调用

TFXLNetForQuestionAnsweringSimple

class transformers.TFXLNetForQuestionAnsweringSimple

调用