Transformers 文档
X-MOD
并获取增强的文档体验
开始使用
X-MOD
概述
X-MOD 模型在 Lifting the Curse of Multilinguality by Pre-training Modular Transformers 一文中提出，作者是 Jonas Pfeiffer, Naman Goyal, Xi Lin, Xian Li, James Cross, Sebastian Riedel 和 Mikel Artetxe。 X-MOD 扩展了多语言掩码语言模型（如 XLM-R），在预训练期间包含了特定于语言的模块化组件（语言适配器）。对于微调，每个 Transformer 层中的语言适配器被冻结。
该论文的摘要如下：
众所周知，多语言预训练模型会受到多语言诅咒的影响，这会导致随着它们覆盖更多语言，每种语言的性能都会下降。我们通过引入特定于语言的模块来解决这个问题，这使我们能够增加模型的总容量，同时保持每种语言的可训练参数的总数不变。与先前学习事后特定于语言的组件的工作不同，我们从一开始就预训练我们的跨语言模块化 (X-MOD) 模型的模块。我们在自然语言推理、命名实体识别和问答方面的实验表明，我们的方法不仅减轻了语言之间的负面干扰，而且还实现了正迁移，从而提高了单语和跨语言性能。此外，我们的方法能够事后添加语言，而性能没有可衡量的下降，不再将模型使用限制为预训练语言的集合。
此模型由 jvamvas 贡献。 原始代码可以在 这里 找到，原始文档可以在 这里 找到。
使用技巧
提示
- X-MOD 类似于 XLM-R，但不同之处在于需要指定输入语言，以便可以激活正确的语言适配器。
- 主要模型（基础模型和大型模型）有 81 种语言的适配器。
适配器使用
输入语言
有两种方法可以指定输入语言
- 在使用模型之前设置默认语言
from transformers import XmodModel
model = XmodModel.from_pretrained("facebook/xmod-base")
model.set_default_language("en_XX")- 通过显式传递每个样本的语言适配器索引
import torch
input_ids = torch.tensor(
[
[0, 581, 10269, 83, 99942, 136, 60742, 23, 70, 80583, 18276, 2],
[0, 1310, 49083, 443, 269, 71, 5486, 165, 60429, 660, 23, 2],
]
)
lang_ids = torch.LongTensor(
[
0, # en_XX
8, # de_DE
]
)
output = model(input_ids, lang_ids=lang_ids)微调
该论文建议在微调期间冻结嵌入层和语言适配器。这里提供了一种执行此操作的方法
model.freeze_embeddings_and_language_adapters()
# Fine-tune the model ...跨语言迁移
微调后，可以通过激活目标语言的语言适配器来测试零样本跨语言迁移
model.set_default_language("de_DE")
# Evaluate the model on German examples ...资源
XmodConfig
class transformers.XmodConfig
< source >( vocab_size = 30522 hidden_size = 768 num_hidden_layers = 12 num_attention_heads = 12 intermediate_size = 3072 hidden_act = 'gelu' hidden_dropout_prob = 0.1 attention_probs_dropout_prob = 0.1 max_position_embeddings = 512 type_vocab_size = 2 initializer_range = 0.02 layer_norm_eps = 1e-12 pad_token_id = 1 bos_token_id = 0 eos_token_id = 2 position_embedding_type = 'absolute' use_cache = True classifier_dropout = None pre_norm = False adapter_reduction_factor = 2 adapter_layer_norm = False adapter_reuse_layer_norm = True ln_before_adapter = True languages = ('en_XX',) default_language = None **kwargs )
参数
- vocab_size (
int, 可选, 默认为 30522) — X-MOD 模型的词汇表大小。定义了调用 XmodModel 时传递的inputs_ids可以表示的不同 token 的数量。 - hidden_size (
int, 可选, 默认为 768) — 编码器层和池化器层的维度。 - num_hidden_layers (
int, 可选, 默认为 12) — Transformer 编码器中隐藏层的数量。 - num_attention_heads (
int, 可选, 默认为 12) — Transformer 编码器中每个 attention 层的 attention head 数量。 - intermediate_size (
int, 可选, 默认为 3072) — Transformer 编码器中“中间”层（通常称为前馈层）的维度。 - hidden_act (
str或Callable, 可选, 默认为"gelu") — 编码器和池化器中的非线性激活函数（函数或字符串）。如果为字符串，则支持"gelu"、"relu"、"silu"和"gelu_new"。 - hidden_dropout_prob (
float, 可选, 默认为 0.1) — 嵌入层、编码器和池化器中所有全连接层的 dropout 概率。 - attention_probs_dropout_prob (
float, 可选, 默认为 0.1) — attention 概率的 dropout 比率。 - max_position_embeddings (
int, 可选, 默认为 512) — 此模型可能使用的最大序列长度。通常设置为较大的值以防万一（例如，512 或 1024 或 2048）。 - type_vocab_size (
int, 可选, 默认为 2) — 调用 XmodModel 时传递的token_type_ids的词汇表大小。 - initializer_range (
float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。 - layer_norm_eps (
float, 可选, 默认为 1e-12) — layer normalization 层使用的 epsilon 值。 - position_embedding_type (
str, 可选, 默认为"absolute") — 位置嵌入的类型。选择"absolute","relative_key","relative_key_query"之一。对于位置嵌入，请使用"absolute"。有关"relative_key"的更多信息，请参阅 Self-Attention with Relative Position Representations (Shaw et al.)。有关"relative_key_query"的更多信息，请参阅 Improve Transformer Models with Better Relative Position Embeddings (Huang et al.) 中的 *Method 4*。 - is_decoder (
bool, 可选, 默认为False) — 模型是否用作解码器。如果为False，则模型用作编码器。 - use_cache (
bool, 可选, 默认为True) — 模型是否应返回上次的 key/values attention（并非所有模型都使用）。仅当config.is_decoder=True时相关。 - classifier_dropout (
float, 可选) — 分类头的 dropout 比率。 - pre_norm (
bool, optional, defaults toFalse) — 是否在每个块之前应用层归一化。 - adapter_reduction_factor (
intorfloat, optional, defaults to 2) — 适配器维度相对于hidden_size缩小的因子。 - adapter_layer_norm (
bool, optional, defaults toFalse) — 是否在适配器模块之前应用新的层归一化（在所有适配器之间共享）。 - adapter_reuse_layer_norm (
bool, optional, defaults toTrue) — 是否重用第二个层归一化，并将其也应用于适配器模块之前。 - ln_before_adapter (
bool, optional, defaults toTrue) — 是否在适配器模块周围的残差连接之前应用层归一化。 - languages (
Iterable[str], optional, defaults to["en_XX"]) — 应该为其初始化适配器模块的语言代码的可迭代对象。 - default_language (
str, optional) — 默认语言的语言代码。如果没有显式地将语言代码传递给 forward 方法，则将假定输入为此语言。
这是用于存储 XmodModel 配置的配置类。它用于根据指定的参数实例化 X-MOD 模型，定义模型架构。使用默认值实例化配置将产生与 facebook/xmod-base 架构类似的配置。
配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请阅读 PretrainedConfig 的文档。
示例
>>> from transformers import XmodConfig, XmodModel
>>> # Initializing an X-MOD facebook/xmod-base style configuration
>>> configuration = XmodConfig()
>>> # Initializing a model (with random weights) from the facebook/xmod-base style configuration
>>> model = XmodModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configXmodModel
class transformers.XmodModel
< source >( config add_pooling_layer = True )
参数
- config (XmodConfig) — 带有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。
裸 X-MOD 模型 Transformer，输出原始隐藏状态，顶部没有任何特定的 head。
此模型继承自 PreTrainedModel。查看超类文档，了解库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝 head 等）。
此模型也是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参阅 PyTorch 文档，了解所有与通用用法和行为相关的事项。
该模型可以充当编码器（仅具有自注意力）以及解码器，在解码器情况下，在自注意力层之间添加一个交叉注意力层，遵循 Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Lukasz Kaiser 和 Illia Polosukhin 在Attention is all you need_ 中描述的架构。
要充当解码器，模型需要在初始化时将配置的 is_decoder 参数设置为 True。要在 Seq2Seq 模型中使用，模型需要初始化 is_decoder 参数和 add_cross_attention 都设置为 True；然后，encoder_hidden_states 将作为 forward 传递的输入。
.. _Attention is all you need: https://arxiv.org/abs/1706.03762
forward
< source >( input_ids: typing.Optional[torch.Tensor] = None lang_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None token_type_ids: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.Tensor] = None head_mask: typing.Optional[torch.Tensor] = None inputs_embeds: typing.Optional[torch.Tensor] = None encoder_hidden_states: typing.Optional[torch.Tensor] = None encoder_attention_mask: typing.Optional[torch.Tensor] = None past_key_values: typing.Optional[typing.List[torch.FloatTensor]] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None )
参数
- input_ids (
torch.LongTensorof shape(batch_size, sequence_length)) — 词汇表中输入序列 tokens 的索引。索引可以使用 AutoTokenizer 获得。 请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call() 了解详细信息。
- lang_ids (
torch.LongTensorof shape(batch_size, sequence_length), optional) — 分别应为每个样本激活的语言适配器的索引。 默认值：与self.config.default_language对应的索引。 - attention_mask (
torch.FloatTensorof shape(batch_size, sequence_length), optional) — 掩码，以避免在 padding token 索引上执行注意力机制。 掩码值在[0, 1]中选择：- 1 表示 tokens 未被掩码，
- 0 表示 tokens 被掩码。
- token_type_ids (
torch.LongTensorof shape(batch_size, sequence_length), optional) — Segment token 索引，用于指示输入的第一部分和第二部分。 索引在[0, 1]中选择：- 0 对应于 sentence A token，
- 1 对应于 sentence B token。
- position_ids (
torch.LongTensorof shape(batch_size, sequence_length), optional) — 位置嵌入中每个输入序列 tokens 的位置索引。 在范围[0, config.max_position_embeddings - 1]中选择。 - head_mask (
torch.FloatTensorof shape(num_heads,)or(num_layers, num_heads), optional) — 用于使自注意力模块的选定 head 无效的掩码。 掩码值在[0, 1]中选择：- 1 表示 head 未被掩码，
- 0 表示 head 被掩码。
- inputs_embeds (
torch.FloatTensorof shape(batch_size, sequence_length, hidden_size), optional) — （可选）您可以选择直接传递嵌入表示，而不是传递input_ids。 如果您希望比模型的内部嵌入查找矩阵更精细地控制如何将input_ids索引转换为关联的向量，这将非常有用。 - output_attentions (
bool, optional) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参阅返回张量下的attentions。 - output_hidden_states (
bool, optional) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参阅返回张量下的hidden_states。 - return_dict (
bool, optional) — 是否返回 ModelOutput 而不是普通元组。 - encoder_hidden_states (
torch.FloatTensor, 形状为(batch_size, sequence_length, hidden_size), 可选) — 编码器最后一层的隐藏状态序列。如果模型配置为解码器，则在交叉注意力机制中使用。 - encoder_attention_mask (
torch.FloatTensor, 形状为(batch_size, sequence_length), 可选) — 用于避免在编码器输入的填充 token 索引上执行注意力的掩码。如果模型配置为解码器，则此掩码在交叉注意力机制中使用。掩码值在[0, 1]中选择：- 1 表示 token 未被掩盖，
- 0 表示 token 已被掩盖。
- past_key_values (
tuple(tuple(torch.FloatTensor))，长度为config.n_layers，每个元组包含 4 个张量 — - of 形状为
(batch_size, num_heads, sequence_length - 1, embed_size_per_head)) — 包含注意力模块的预计算的键和值隐藏状态。可用于加速解码。如果使用了
past_key_values，用户可以选择仅输入最后一个decoder_input_ids（那些没有将其过去的键值状态提供给此模型的）的形状(batch_size, 1)，而不是形状为(batch_size, sequence_length)的所有decoder_input_ids。 - use_cache (
bool, 可选) — 如果设置为True，则返回past_key_values键值状态，并可用于加速解码（请参阅past_key_values）。
XmodModel forward 方法，覆盖了 __call__ 特殊方法。
虽然 forward 传递的配方需要在该函数内定义，但之后应调用 Module 实例而不是此函数，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。
XmodForCausalLM
class transformers.XmodForCausalLM
< source >( config )
参数
- config (XmodConfig) — 带有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。
带有 language modeling 头的 X-MOD 模型，用于 CLM 微调。
此模型继承自 PreTrainedModel。查看超类文档，了解库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝 head 等）。
此模型也是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参阅 PyTorch 文档，了解所有与通用用法和行为相关的事项。
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = None lang_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.FloatTensor] = None token_type_ids: typing.Optional[torch.LongTensor] = None position_ids: typing.Optional[torch.LongTensor] = None head_mask: typing.Optional[torch.FloatTensor] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None encoder_hidden_states: typing.Optional[torch.FloatTensor] = None encoder_attention_mask: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None past_key_values: typing.Tuple[typing.Tuple[torch.FloatTensor]] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None **kwargs )
参数
- input_ids (
torch.LongTensor, 形状为(batch_size, sequence_length)) — 词汇表中输入序列 token 的索引。可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- lang_ids (
torch.LongTensor, 形状为(batch_size, sequence_length), 可选) — 分别应为每个样本激活的语言适配器的索引。默认值：与self.config.default_language对应的索引。 - attention_mask (
torch.FloatTensor, 形状为(batch_size, sequence_length), 可选) — 用于避免在填充 token 索引上执行注意力的掩码。掩码值在[0, 1]中选择：- 1 表示 token 未被掩盖，
- 0 表示 token 已被掩盖。
- token_type_ids (
torch.LongTensor, 形状为(batch_size, sequence_length), 可选) — 用于指示输入的第一部分和第二部分的片段 token 索引。索引在[0, 1]中选择：- 0 对应于 句子 A token，
- 1 对应于 句子 B token。
- position_ids (
torch.LongTensor, 形状为(batch_size, sequence_length), 可选) — 位置嵌入中每个输入序列 token 的位置索引。在范围[0, config.max_position_embeddings - 1]中选择。 - head_mask (
torch.FloatTensor, 形状为(num_heads,)或(num_layers, num_heads), 可选) — 用于使自注意力模块的选定 head 无效的掩码。掩码值在[0, 1]中选择：- 1 表示 head 未被掩盖，
- 0 表示 head 已被掩盖。
- inputs_embeds (
torch.FloatTensor, 形状为(batch_size, sequence_length, hidden_size), 可选) — 可选地，您可以选择直接传递嵌入表示，而不是传递input_ids。如果您希望比模型的内部嵌入查找矩阵更精细地控制如何将input_ids索引转换为关联的向量，这将非常有用。 - output_attentions (
bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回的张量下的attentions。 - output_hidden_states (
bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回的张量下的hidden_states。 - return_dict (
bool, 可选) — 是否返回 ModelOutput 而不是普通元组。 - encoder_hidden_states (
torch.FloatTensor, 形状为(batch_size, sequence_length, hidden_size), 可选) — 编码器最后一层的隐藏状态序列。如果模型配置为解码器，则在交叉注意力机制中使用。 - encoder_attention_mask (
torch.FloatTensor, 形状为(batch_size, sequence_length), 可选) — 用于避免在编码器输入的填充 token 索引上执行注意力的掩码。如果模型配置为解码器，则此掩码在交叉注意力机制中使用。掩码值在[0, 1]中选择：- 1 表示 token 未被掩盖，
- 0 表示 token 已被掩盖。
- labels (
torch.LongTensor, 形状为(batch_size, sequence_length), 可选) — 用于计算从左到右语言建模损失（下一个单词预测）的标签。索引应在[-100, 0, ..., config.vocab_size]中（请参阅input_ids文档字符串）。索引设置为-100的 Token 将被忽略（掩盖），损失仅针对标签在[0, ..., config.vocab_size]中的 token 计算。 - past_key_values (
tuple(tuple(torch.FloatTensor))，长度为config.n_layers，每个元组包含 4 个形状为(batch_size, num_heads, sequence_length - 1, embed_size_per_head)的张量) — 包含注意力模块的预计算的键和值隐藏状态。可用于加速解码。如果使用了
past_key_values，用户可以选择仅输入最后一个decoder_input_ids（那些没有将其过去的键值状态提供给此模型的）的形状(batch_size, 1)，而不是形状为(batch_size, sequence_length)的所有decoder_input_ids。 - use_cache (
bool, 可选) — 如果设置为True，则返回past_key_values键值状态，并可用于加速解码（请参阅past_key_values）。 - 返回值 —
transformers.modeling_outputs.CausalLMOutputWithCrossAttentions或tuple(torch.FloatTensor) - 示例 —
- \`\`\`python —
from transformers import AutoTokenizer, XmodForCausalLM, AutoConfig import torch
The XmodForCausalLM forward 方法重写了 __call__ 特殊方法。
虽然 forward 传递的配方需要在该函数内定义，但之后应调用 Module 实例而不是此函数，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。
XmodForMaskedLM
class transformers.XmodForMaskedLM
< source >( config )
参数
- config (XmodConfig) — 模型的配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型相关的权重，只会加载配置。请查看 from_pretrained() 方法来加载模型权重。
带有 language modeling 头的 X-MOD 模型。
此模型继承自 PreTrainedModel。查看超类文档，了解库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝 head 等）。
此模型也是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参阅 PyTorch 文档，了解所有与通用用法和行为相关的事项。
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = None lang_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.FloatTensor] = None token_type_ids: typing.Optional[torch.LongTensor] = None position_ids: typing.Optional[torch.LongTensor] = None head_mask: typing.Optional[torch.FloatTensor] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None encoder_hidden_states: typing.Optional[torch.FloatTensor] = None encoder_attention_mask: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None )
参数
- input_ids (形状为
(batch_size, sequence_length)的torch.LongTensor) — 词汇表中输入序列 tokens 的索引。索引可以使用 AutoTokenizer 获得。 详情请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- lang_ids (形状为
(batch_size, sequence_length)的torch.LongTensor, 可选) — 分别对应于每个样本应激活的语言适配器的索引。 默认值：与self.config.default_language对应的索引。 - attention_mask (形状为
(batch_size, sequence_length)的torch.FloatTensor, 可选) — 避免对 padding token 索引执行 attention 的掩码。 掩码值在[0, 1]中选择：- 1 表示 tokens 不被掩盖，
- 0 表示 tokens 被掩盖。
- token_type_ids (形状为
(batch_size, sequence_length)的torch.LongTensor, 可选) — 分段 token 索引，用于指示输入的第一个和第二个部分。 索引在[0, 1]中选择：- 0 对应于 sentence A token，
- 1 对应于 sentence B token。
- position_ids (形状为
(batch_size, sequence_length)的torch.LongTensor, 可选) — 每个输入序列 token 在 position embeddings 中的位置索引。 在范围[0, config.max_position_embeddings - 1]中选择。 - head_mask (形状为
(num_heads,)或(num_layers, num_heads)的torch.FloatTensor, 可选) — 用于 nullify self-attention 模块中选定 heads 的掩码。 掩码值在[0, 1]中选择：- 1 表示 head 不被掩盖，
- 0 表示 head 被掩盖。
- inputs_embeds (形状为
(batch_size, sequence_length, hidden_size)的torch.FloatTensor, 可选) — 可选地，您可以选择直接传递嵌入表示，而不是传递input_ids。 如果您希望比模型的内部嵌入查找矩阵更精细地控制如何将input_ids索引转换为关联向量，这将非常有用。 - output_attentions (
bool, 可选) — 是否返回所有 attention 层的 attention tensors。 有关更多详细信息，请参阅返回 tensors 下的attentions。 - output_hidden_states (
bool, 可选) — 是否返回所有层的 hidden states。 有关更多详细信息，请参阅返回 tensors 下的hidden_states。 - return_dict (
bool, 可选) — 是否返回 ModelOutput 而不是一个普通的 tuple。 - labels (形状为
(batch_size, sequence_length)的torch.LongTensor, 可选) — 用于计算 masked language modeling loss 的标签。 索引应在[-100, 0, ..., config.vocab_size]中（请参阅input_ids文档字符串）。 索引设置为-100的 Tokens 将被忽略（masked），loss 仅针对标签在[0, ..., config.vocab_size]中的 tokens 计算。 - kwargs (
Dict[str, any], 可选, 默认为 {}) — 用于隐藏已弃用的旧版参数。
The XmodForMaskedLM 的 forward 方法重写了 __call__ 特殊方法。
虽然 forward 传递的配方需要在该函数内定义，但之后应调用 Module 实例而不是此函数，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。
XmodForSequenceClassification
class transformers.XmodForSequenceClassification
< source >( config )
参数
- config (XmodConfig) — 模型的配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型相关的权重，只会加载配置。请查看 from_pretrained() 方法来加载模型权重。
带有序列分类/回归头的 X-MOD 模型 transformer（pooled output 之上的线性层），例如用于 GLUE 任务。
此模型继承自 PreTrainedModel。查看超类文档，了解库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝 head 等）。
此模型也是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参阅 PyTorch 文档，了解所有与通用用法和行为相关的事项。
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = None lang_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.FloatTensor] = None token_type_ids: typing.Optional[torch.LongTensor] = None position_ids: typing.Optional[torch.LongTensor] = None head_mask: typing.Optional[torch.FloatTensor] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None )
参数
- input_ids (形状为
(batch_size, sequence_length)的torch.LongTensor) — 词汇表中输入序列 tokens 的索引。索引可以使用 AutoTokenizer 获得。 详情请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- lang_ids (形状为
(batch_size, sequence_length)的torch.LongTensor, 可选) — 分别对应于每个样本应激活的语言适配器的索引。 默认值：与self.config.default_language对应的索引。 - attention_mask (形状为
(batch_size, sequence_length)的torch.FloatTensor, 可选) — 避免对 padding token 索引执行 attention 的掩码。 掩码值在[0, 1]中选择：- 1 表示 tokens 不被掩盖，
- 0 表示 tokens 被掩盖。
- token_type_ids (
torch.LongTensor，形状为(batch_size, sequence_length)，可选) — 用于指示输入的第一部分和第二部分的片段 token 索引。 索引从[0, 1]中选择:- 0 对应于 sentence A token，
- 1 对应于 sentence B token。
- position_ids (
torch.LongTensor，形状为(batch_size, sequence_length)，可选) — 位置嵌入中每个输入序列 token 的位置索引。 在范围[0, config.max_position_embeddings - 1]中选择。 - head_mask (
torch.FloatTensor，形状为(num_heads,)或(num_layers, num_heads)，可选) — 用于 nullify self-attention 模块中选定注意力头的掩码。 掩码值从[0, 1]中选择:- 1 表示注意力头未被掩蔽，
- 0 表示注意力头被掩蔽。
- inputs_embeds (
torch.FloatTensor，形状为(batch_size, sequence_length, hidden_size)，可选) — （可选）您可以选择直接传递嵌入表示，而不是传递input_ids。 如果您希望比模型的内部嵌入查找矩阵更精确地控制如何将input_ids索引转换为关联的向量，这将非常有用。 - output_attentions (
bool，可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参阅返回张量下的attentions。 - output_hidden_states (
bool，可选) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参阅返回张量下的hidden_states。 - return_dict (
bool，可选) — 是否返回 ModelOutput 而不是普通元组。 - labels (
torch.LongTensor，形状为(batch_size,)，可选) — 用于计算序列分类/回归损失的标签。 索引应在[0, ..., config.num_labels - 1]中。 如果config.num_labels == 1，则计算回归损失（均方损失）。 如果config.num_labels > 1，则计算分类损失（交叉熵损失）。
XmodForSequenceClassification forward 方法，覆盖了 __call__ 特殊方法。
虽然 forward 传递的配方需要在该函数内定义，但之后应调用 Module 实例而不是此函数，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。
XmodForMultipleChoice
class transformers.XmodForMultipleChoice
< source >( config )
参数
- config (XmodConfig) — 带有模型所有参数的模型配置类。 使用配置文件初始化不会加载与模型关联的权重，而只会加载配置。 查看 from_pretrained() 方法以加载模型权重。
X-MOD 模型，顶部带有多项选择分类头（池化输出顶部的线性层和一个 softmax），例如用于 RocStories/SWAG 任务。
此模型继承自 PreTrainedModel。查看超类文档，了解库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝 head 等）。
此模型也是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参阅 PyTorch 文档，了解所有与通用用法和行为相关的事项。
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = None lang_ids: typing.Optional[torch.LongTensor] = None token_type_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None position_ids: typing.Optional[torch.LongTensor] = None head_mask: typing.Optional[torch.FloatTensor] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None )
参数
- input_ids (
torch.LongTensor，形状为(batch_size, num_choices, sequence_length)) — 词汇表中输入序列 token 的索引。索引可以使用 AutoTokenizer 获得。 有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- lang_ids (
torch.LongTensor，形状为(batch_size, num_choices, sequence_length)，可选) — 应分别为每个样本激活的语言适配器的索引。 默认值：与self.config.default_language对应的索引。 - attention_mask (
torch.FloatTensor，形状为(batch_size, num_choices, sequence_length)，可选) — 用于避免在 padding token 索引上执行注意力的掩码。 掩码值从[0, 1]中选择:- 1 代表 token 未被掩蔽，
- 0 代表 token 被掩蔽。
- token_type_ids (
torch.LongTensor，形状为(batch_size, num_choices, sequence_length)，可选) — 片段 token 索引，用于指示输入的第一部分和第二部分。 索引从[0, 1]中选择:- 0 对应于 sentence A token，
- 1 对应于 sentence B token。
- position_ids (
torch.LongTensor，形状为(batch_size, num_choices, sequence_length)，可选) — 位置嵌入中每个输入序列 token 的位置索引。 在范围[0, config.max_position_embeddings - 1]中选择。 - head_mask (
torch.FloatTensor，形状为(num_heads,)或(num_layers, num_heads)，可选) — 用于 nullify self-attention 模块中选定注意力头的掩码。 掩码值从[0, 1]中选择:- 1 表示注意力头未被掩蔽，
- 0 表示注意力头被掩蔽。
- inputs_embeds (
torch.FloatTensor，形状为(batch_size, num_choices, sequence_length, hidden_size)，可选) — （可选）您可以选择直接传递嵌入表示，而不是传递input_ids。 如果您希望比模型的内部嵌入查找矩阵更精确地控制如何将input_ids索引转换为关联的向量，这将非常有用。 - output_attentions (
bool，可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参阅返回张量下的attentions。 - output_hidden_states (
bool，可选) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参阅返回张量下的hidden_states。 - return_dict (
bool，可选) — 是否返回 ModelOutput 而不是普通元组。 - labels (
torch.LongTensor，形状为(batch_size,)，可选) — 用于计算多项选择分类损失的标签。 索引应在[0, ..., num_choices-1]中，其中num_choices是输入张量的第二个维度的大小。 （请参阅上面的input_ids）
XmodForMultipleChoice forward 方法，覆盖了 __call__ 特殊方法。
虽然 forward 传递的配方需要在该函数内定义，但之后应调用 Module 实例而不是此函数，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。
XmodForTokenClassification
class transformers.XmodForTokenClassification
< source >( config )
参数
- config (XmodConfig) — 带有模型所有参数的模型配置类。 使用配置文件初始化不会加载与模型关联的权重，而只会加载配置。 查看 from_pretrained() 方法以加载模型权重。
X-MOD 模型，顶部带有 token 分类头（隐藏状态输出顶部的线性层），例如用于命名实体识别 (NER) 任务。
此模型继承自 PreTrainedModel。查看超类文档，了解库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝 head 等）。
此模型也是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参阅 PyTorch 文档，了解所有与通用用法和行为相关的事项。
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = None lang_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.FloatTensor] = None token_type_ids: typing.Optional[torch.LongTensor] = None position_ids: typing.Optional[torch.LongTensor] = None head_mask: typing.Optional[torch.FloatTensor] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None )
参数
- input_ids (
torch.LongTensor，形状为(batch_size, sequence_length)) — 词汇表中输入序列 tokens 的索引。索引可以使用 AutoTokenizer 获得。 请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call() 以了解详情。
- lang_ids (
torch.LongTensor，形状为(batch_size, sequence_length)，可选) — 应为每个样本激活的语言适配器的索引。 默认值：与self.config.default_language对应的索引。 - attention_mask (
torch.FloatTensor，形状为(batch_size, sequence_length)，可选) — 用于避免在 padding token 索引上执行 attention 的 Mask。 Mask 值在[0, 1]中选择：- 1 表示 tokens 未被 Mask，
- 0 表示 tokens 已被 Mask。
- token_type_ids (
torch.LongTensor，形状为(batch_size, sequence_length)，可选) — 分段 token 索引，用于指示输入的第一部分和第二部分。 索引在[0, 1]中选择：- 0 对应于 sentence A token，
- 1 对应于 sentence B token。
- position_ids (
torch.LongTensor，形状为(batch_size, sequence_length)，可选) — 位置 embeddings 中每个输入序列 tokens 的位置索引。 在范围[0, config.max_position_embeddings - 1]中选择。 - head_mask (
torch.FloatTensor，形状为(num_heads,)或(num_layers, num_heads)，可选) — 用于 nullify self-attention 模块的选定 heads 的 Mask。 Mask 值在[0, 1]中选择：- 1 表示 head 未被 Mask，
- 0 表示 head 已被 Mask。
- inputs_embeds (
torch.FloatTensor，形状为(batch_size, sequence_length, hidden_size)，可选) — （可选）您可以选择直接传递嵌入表示，而不是传递input_ids。 如果您希望比模型的内部嵌入查找矩阵更精确地控制如何将input_ids索引转换为关联向量，这将非常有用。 - output_attentions (
bool，可选) — 是否返回所有 attention 层的 attentions tensors。 有关更多详细信息，请参见返回的 tensors 下的attentions。 - output_hidden_states (
bool，可选) — 是否返回所有层的 hidden states。 有关更多详细信息，请参见返回的 tensors 下的hidden_states。 - return_dict (
bool，可选) — 是否返回 ModelOutput 而不是普通的 tuple。 - labels (
torch.LongTensor，形状为(batch_size, sequence_length)，可选) — 用于计算 token 分类损失的标签。 索引应在[0, ..., config.num_labels - 1]中。
XmodForTokenClassification 的 forward 方法，覆盖了 __call__ 特殊方法。
虽然 forward 传递的配方需要在该函数内定义，但之后应调用 Module 实例而不是此函数，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。
XmodForQuestionAnswering
class transformers.XmodForQuestionAnswering
< source >( config )
参数
- config (XmodConfig) — 带有模型所有参数的模型配置类。 使用配置文件初始化不会加载与模型关联的权重，仅加载配置。 查看 from_pretrained() 方法以加载模型权重。
X-MOD 模型，顶部带有跨度分类头，用于抽取式问答任务，如 SQuAD（在 hidden-states 输出之上使用线性层来计算 span start logits 和 span end logits）。
此模型继承自 PreTrainedModel。查看超类文档，了解库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝 head 等）。
此模型也是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参阅 PyTorch 文档，了解所有与通用用法和行为相关的事项。
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = None lang_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.FloatTensor] = None token_type_ids: typing.Optional[torch.LongTensor] = None position_ids: typing.Optional[torch.LongTensor] = None head_mask: typing.Optional[torch.FloatTensor] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None start_positions: typing.Optional[torch.LongTensor] = None end_positions: typing.Optional[torch.LongTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None )
参数
- input_ids (
torch.LongTensor，形状为(batch_size, sequence_length)) — 词汇表中输入序列 tokens 的索引。索引可以使用 AutoTokenizer 获得。 请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call() 以了解详情。
- lang_ids (
torch.LongTensor，形状为(batch_size, sequence_length)，可选) — 应为每个样本激活的语言适配器的索引。 默认值：与self.config.default_language对应的索引。 - attention_mask (
torch.FloatTensor，形状为(batch_size, sequence_length)，可选) — 用于避免在 padding token 索引上执行 attention 的 Mask。 Mask 值在[0, 1]中选择：- 1 表示 tokens 未被 Mask，
- 0 表示 tokens 已被 Mask。
- token_type_ids (
torch.LongTensor，形状为(batch_size, sequence_length)，可选) — 分段 token 索引，用于指示输入的第一部分和第二部分。 索引在[0, 1]中选择：- 0 对应于 sentence A token，
- 1 对应于 sentence B token。
- position_ids (
torch.LongTensor，形状为(batch_size, sequence_length)，可选) — 位置 embeddings 中每个输入序列 tokens 的位置索引。 在范围[0, config.max_position_embeddings - 1]中选择。 - head_mask (
torch.FloatTensor，形状为(num_heads,)或(num_layers, num_heads)，可选) — 用于 nullify self-attention 模块的选定 heads 的 Mask。 Mask 值在[0, 1]中选择：- 1 表示 head 未被 Mask，
- 0 表示 head 已被 Mask。
- inputs_embeds (
torch.FloatTensor，形状为(batch_size, sequence_length, hidden_size)，可选) — （可选）您可以选择直接传递嵌入表示，而不是传递input_ids。 如果您希望比模型的内部嵌入查找矩阵更精确地控制如何将input_ids索引转换为关联向量，这将非常有用。 - output_attentions (
bool, *可选*) — 是否返回所有注意力层的注意力张量。 详见返回张量下的attentions以了解更多细节。 - output_hidden_states (
bool, *可选*) — 是否返回所有层的隐藏状态。 详见返回张量下的hidden_states以了解更多细节。 - return_dict (
bool, *可选*) — 是否返回 ModelOutput 而不是一个普通的元组。 - start_positions (
torch.LongTensor, 形状为(batch_size,), *可选*) — 用于计算 token 分类损失的标签，指示标注跨度的起始位置（索引）。 位置被限制在序列长度 (sequence_length) 之内。 序列之外的位置不被考虑用于计算损失。 - end_positions (
torch.LongTensor, 形状为(batch_size,), *可选*) — 用于计算 token 分类损失的标签，指示标注跨度的结束位置（索引）。 位置被限制在序列长度 (sequence_length) 之内。 序列之外的位置不被考虑用于计算损失。
The XmodForQuestionAnswering forward 方法重写了 __call__ 特殊方法。
虽然 forward 传递的配方需要在该函数内定义，但之后应调用 Module 实例而不是此函数，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。