X-MOD
概述
X-MOD 模型在 Lifting the Curse of Multilinguality by Pre-training Modular Transformers 中被提出，作者是 Jonas Pfeiffer, Naman Goyal, Xi Lin, Xian Li, James Cross, Sebastian Riedel, 和 Mikel Artetxe。 X-MOD 扩展了多语言掩码语言模型，如 XLM-R，使其在预训练期间包含特定于语言的模块化组件（语言适配器）。 对于微调，每个 Transformer 层中的语言适配器被冻结。
该论文的摘要如下：
众所周知，多语言预训练模型会受到多语言性的诅咒，这会导致随着它们覆盖更多语言，每种语言的性能都会下降。我们通过引入特定于语言的模块来解决这个问题，这使我们能够增加模型的总容量，同时保持每种语言可训练参数的总数不变。与先前事后学习特定于语言的组件的工作不同，我们从一开始就预训练我们的跨语言模块化 (X-MOD) 模型的模块。我们在自然语言推理、命名实体识别和问答方面的实验表明，我们的方法不仅减轻了语言之间的负面干扰，而且还实现了正向迁移，从而提高了单语和跨语言性能。此外，我们的方法能够事后添加语言，而性能没有可衡量的下降，不再将模型的使用限制在预训练语言的集合中。
此模型由 jvamvas 贡献。 原始代码可以在 这里 找到，原始文档可以在 这里 找到。
使用技巧
技巧
- X-MOD 与 XLM-R 类似，但区别在于需要指定输入语言，以便可以激活正确的语言适配器。
- 主要模型 – base 和 large – 具有 81 种语言的适配器。
适配器使用
输入语言
有两种方法可以指定输入语言
- 通过在使用模型之前设置默认语言
from transformers import XmodModel
model = XmodModel.from_pretrained("facebook/xmod-base")
model.set_default_language("en_XX")- 通过显式传递每个样本的语言适配器的索引
import torch
input_ids = torch.tensor(
[
[0, 581, 10269, 83, 99942, 136, 60742, 23, 70, 80583, 18276, 2],
[0, 1310, 49083, 443, 269, 71, 5486, 165, 60429, 660, 23, 2],
]
)
lang_ids = torch.LongTensor(
[
0, # en_XX
8, # de_DE
]
)
output = model(input_ids, lang_ids=lang_ids)微调
该论文建议在微调期间冻结嵌入层和语言适配器。 提供了一种执行此操作的方法
model.freeze_embeddings_and_language_adapters()
# Fine-tune the model ...跨语言迁移
微调后，可以通过激活目标语言的语言适配器来测试零样本跨语言迁移
model.set_default_language("de_DE")
# Evaluate the model on German examples ...资源
XmodConfig
class transformers.XmodConfig
< source >( vocab_size = 30522 hidden_size = 768 num_hidden_layers = 12 num_attention_heads = 12 intermediate_size = 3072 hidden_act = 'gelu' hidden_dropout_prob = 0.1 attention_probs_dropout_prob = 0.1 max_position_embeddings = 512 type_vocab_size = 2 initializer_range = 0.02 layer_norm_eps = 1e-12 pad_token_id = 1 bos_token_id = 0 eos_token_id = 2 position_embedding_type = 'absolute' use_cache = True classifier_dropout = None pre_norm = False adapter_reduction_factor = 2 adapter_layer_norm = False adapter_reuse_layer_norm = True ln_before_adapter = True languages = ('en_XX',) default_language = None **kwargs )
参数
- vocab_size (
int, 可选, 默认为 30522) — X-MOD 模型的词汇表大小。定义了在调用 XmodModel 时传递的inputs_ids可以表示的不同 token 的数量。 - hidden_size (
int, 可选, 默认为 768) — 编码器层和池化器层的维度。 - num_hidden_layers (
int, 可选, 默认为 12) — Transformer 编码器中隐藏层的数量。 - num_attention_heads (
int, 可选, 默认为 12) — Transformer 编码器中每个注意力层的注意力头数。 - intermediate_size (
int, 可选, 默认为 3072) — Transformer 编码器中“中间”层（通常称为前馈层）的维度。 - hidden_act (
str或Callable, 可选, 默认为"gelu") — 编码器和池化器中的非线性激活函数（函数或字符串）。如果为字符串，则支持"gelu","relu","silu"和"gelu_new"。 - hidden_dropout_prob (
float, 可选, 默认为 0.1) — embedding 层、编码器和池化器中所有全连接层的 dropout 概率。 - attention_probs_dropout_prob (
float, 可选, 默认为 0.1) — 注意力概率的 dropout 比率。 - max_position_embeddings (
int, 可选, 默认为 512) — 此模型可能使用的最大序列长度。通常将其设置为较大的值以防万一（例如，512 或 1024 或 2048）。 - type_vocab_size (
int, 可选, 默认为 2) — 在调用 XmodModel 时传递的token_type_ids的词汇表大小。 - initializer_range (
float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。 - layer_norm_eps (
float, 可选, 默认为 1e-12) — layer normalization 层使用的 epsilon 值。 - position_embedding_type (
str, 可选, 默认为"absolute") — 位置 embedding 的类型。从"absolute","relative_key","relative_key_query"中选择一个。对于位置 embeddings，使用"absolute"。有关"relative_key"的更多信息，请参考 Self-Attention with Relative Position Representations (Shaw et al.)。有关"relative_key_query"的更多信息，请参考 Improve Transformer Models with Better Relative Position Embeddings (Huang et al.) 中的方法 4。 - is_decoder (
bool, 可选, 默认为False) — 模型是否用作解码器。如果为False，则模型用作编码器。 - use_cache (
bool, 可选, 默认为True) — 模型是否应返回上次的键/值注意力 (并非所有模型都使用)。仅当config.is_decoder=True时相关。 - classifier_dropout (
float, 可选) — 分类头的 dropout 比率。 - pre_norm (
bool, 可选, 默认为False) — 是否在每个 block 之前应用 layer normalization。 - adapter_reduction_factor (
int或float, 可选, 默认为 2) — adapter 的维度相对于hidden_size缩减的因子。 - adapter_layer_norm (
bool, 可选, 默认为False) — 是否在 adapter 模块之前应用新的 layer normalization (在所有 adapter 之间共享)。 - adapter_reuse_layer_norm (
bool, 可选, 默认为True) — 是否重用第二个 layer normalization 并在 adapter 模块之前也应用它。 - ln_before_adapter (
bool, 可选, 默认为True) — 是否在 adapter 模块周围的残差连接之前应用 layer normalization。 - languages (
Iterable[str], 可选, 默认为["en_XX"]) — 应为其初始化 adapter 模块的语言代码的可迭代对象。 - default_language (
str, 可选) — 默认语言的语言代码。如果未显式传递语言代码到 forward 方法，则将假定输入为此语言。
这是用于存储 XmodModel 配置的配置类。它用于根据指定的参数实例化 X-MOD 模型，定义模型架构。使用默认值实例化配置将产生类似于 facebook/xmod-base 架构的配置。
配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。
示例
>>> from transformers import XmodConfig, XmodModel
>>> # Initializing an X-MOD facebook/xmod-base style configuration
>>> configuration = XmodConfig()
>>> # Initializing a model (with random weights) from the facebook/xmod-base style configuration
>>> model = XmodModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configXmodModel
class transformers.XmodModel
< source >( config add_pooling_layer = True )
参数
- config (XmodConfig) — 带有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，只会加载配置。查看 from_pretrained() 方法以加载模型权重。
裸 X-MOD 模型 Transformer 输出原始隐藏状态，顶部没有任何特定的 head。
此模型继承自 PreTrainedModel。查看超类文档以获取库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝 head 等）。
此模型也是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并查阅 PyTorch 文档以了解与常规用法和行为相关的所有事项。
该模型可以充当编码器（仅具有自注意力），也可以充当解码器，在后一种情况下，自注意力层之间会添加一个交叉注意力层，遵循 Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Łukasz Kaiser 和 Illia Polosukhin 在Attention is all you need_ 中描述的架构。
要充当解码器，模型需要在配置中将 is_decoder 参数设置为 True 进行初始化。要在 Seq2Seq 模型中使用，模型需要使用 is_decoder 参数和 add_cross_attention 设置为 True 进行初始化；然后，encoder_hidden_states 将作为前向传递的输入。
.. _Attention is all you need: https://arxiv.org/abs/1706.03762
forward
< source >( input_ids: Optional = None lang_ids: Optional = None attention_mask: Optional = None token_type_ids: Optional = None position_ids: Optional = None head_mask: Optional = None inputs_embeds: Optional = None encoder_hidden_states: Optional = None encoder_attention_mask: Optional = None past_key_values: Optional = None use_cache: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None )
参数
- input_ids (
torch.LongTensor，形状为(batch_size, sequence_length)) — 词汇表中输入序列 token 的索引。索引可以使用 AutoTokenizer 获得。 有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- lang_ids (
torch.LongTensor，形状为(batch_size, sequence_length)，可选) — 分别应该为每个样本激活的语言适配器的索引。 默认值：与self.config.default_language对应的索引。 - attention_mask (
torch.FloatTensor，形状为(batch_size, sequence_length)，可选) — 避免在 padding token 索引上执行 attention 的掩码。Mask 值在[0, 1]中选择：- 1 表示 未被掩盖 的 token，
- 0 表示 被掩盖 的 token。
- token_type_ids (
torch.LongTensor，形状为(batch_size, sequence_length)，可选) — Segment token 索引，用于指示输入的第一部分和第二部分。 索引在[0, 1]中选择：- 0 对应于 句子 A token，
- 1 对应于 句子 B token。
- position_ids (
torch.LongTensor，形状为(batch_size, sequence_length)，可选) — 每个输入序列 token 在位置嵌入中的位置索引。在范围[0, config.max_position_embeddings - 1]中选择。 - head_mask (
torch.FloatTensor，形状为(num_heads,)或(num_layers, num_heads)，可选) — 用于 nullify 自注意力模块的选定 head 的掩码。 Mask 值在[0, 1]中选择：- 1 表示 head 未被掩盖，
- 0 表示 head 被掩盖。
- inputs_embeds (
torch.FloatTensor，形状为(batch_size, sequence_length, hidden_size)，可选) — （可选）您可以选择直接传递嵌入表示，而不是传递input_ids。 如果您希望比模型的内部嵌入查找矩阵更精确地控制如何将input_ids索引转换为关联的向量，这将非常有用。 - output_attentions (
bool，可选) — 是否返回所有 attention 层的 attention 张量。 有关更多详细信息，请参阅返回张量下的attentions。 - output_hidden_states (
bool，可选) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参阅返回张量下的hidden_states。 - return_dict (
bool，可选) — 是否返回 ModelOutput 而不是普通元组。 - encoder_hidden_states (
torch.FloatTensor，形状为(batch_size, sequence_length, hidden_size)，可选) — 编码器最后一层输出的隐藏状态序列。 如果模型配置为解码器，则在交叉 attention 中使用。 - encoder_attention_mask (
torch.FloatTensor，形状为(batch_size, sequence_length)，可选) — 用于避免对编码器输入的 padding token 索引执行 attention 的掩码。 如果模型配置为解码器，则此掩码在交叉 attention 中使用。 Mask 值在[0, 1]中选择：- 1 表示 未被掩盖 的 token，
- 0 表示 被掩盖 的 token。
- past_key_values (
tuple(tuple(torch.FloatTensor))，长度为config.n_layers，每个元组有 4 个张量 — - of 形状为
(batch_size, num_heads, sequence_length - 1, embed_size_per_head)) — 包含 attention 块的预计算的 key 和 value 隐藏状态。 可用于加速解码。如果使用
past_key_values，则用户可以选择仅输入形状为(batch_size, 1)的最后一个decoder_input_ids（那些没有将其过去的 key value 状态提供给此模型的），而不是形状为(batch_size, sequence_length)的所有decoder_input_ids。 - use_cache (
bool，可选) — 如果设置为True，则返回past_key_values键值状态，并可用于加速解码（请参阅past_key_values）。
XmodModel 前向方法覆盖了 __call__ 特殊方法。
尽管前向传递的配方需要在该函数中定义，但应该在此之后调用 Module 实例，而不是调用此函数，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。
XmodForCausalLM
class transformers.XmodForCausalLM
< source >( config )
参数
- config (XmodConfig) — 带有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，只会加载配置。查看 from_pretrained() 方法以加载模型权重。
X-MOD 模型，顶部带有用于 CLM 微调的 language modeling head。
此模型继承自 PreTrainedModel。查看超类文档以获取库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝 head 等）。
此模型也是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并查阅 PyTorch 文档以了解与常规用法和行为相关的所有事项。
forward
< source >( input_ids: Optional = None lang_ids: Optional = None attention_mask: Optional = None token_type_ids: Optional = None position_ids: Optional = None head_mask: Optional = None inputs_embeds: Optional = None encoder_hidden_states: Optional = None encoder_attention_mask: Optional = None labels: Optional = None past_key_values: Tuple = None use_cache: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None )
参数
- input_ids (
torch.LongTensorof shape(batch_size, sequence_length)) — 词汇表中输入序列 tokens 的索引。索引可以使用 AutoTokenizer 获得。 详情请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- lang_ids (
torch.LongTensorof shape(batch_size, sequence_length), optional) — 分别对应于每个样本应激活的语言适配器的索引。 默认值：对应于self.config.default_language的索引。 - attention_mask (
torch.FloatTensorof shape(batch_size, sequence_length), optional) — 用于避免对 padding token 索引执行 attention 的 Mask。 Mask 值在[0, 1]中选择:- 1 表示 未被 mask 的 tokens，
- 0 表示 已被 mask 的 tokens。
- token_type_ids (
torch.LongTensorof shape(batch_size, sequence_length), optional) — 段 token 索引，用于指示输入的第一个和第二个部分。 索引在[0, 1]中选择:- 0 对应于 *句子 A* token，
- 1 对应于 *句子 B* token。
- position_ids (
torch.LongTensorof shape(batch_size, sequence_length), optional) — 位置 embeddings 中每个输入序列 tokens 的位置索引。 在范围[0, config.max_position_embeddings - 1]中选择。 - head_mask (
torch.FloatTensorof shape(num_heads,)or(num_layers, num_heads), optional) — 用于 nullify self-attention 模块的选定 heads 的 Mask。 Mask 值在[0, 1]中选择:- 1 表示 head 未被 mask，
- 0 表示 head 已被 mask。
- inputs_embeds (
torch.FloatTensorof shape(batch_size, sequence_length, hidden_size), optional) — 可选地，您可以选择直接传递 embedded representation，而不是传递input_ids。 如果您想比模型的内部 embedding lookup matrix 更精细地控制如何将input_ids索引转换为关联向量，这将非常有用。 - output_attentions (
bool, optional) — 是否返回所有 attention 层的 attentions tensors。 有关更多详细信息，请参阅返回的 tensors 下的attentions。 - output_hidden_states (
bool, optional) — 是否返回所有层的 hidden states。 有关更多详细信息，请参阅返回的 tensors 下的hidden_states。 - return_dict (
bool, optional) — 是否返回 ModelOutput 而不是 plain tuple。 - encoder_hidden_states (
torch.FloatTensorof shape(batch_size, sequence_length, hidden_size), optional) — encoder 的最后一层输出端的 hidden-states 序列。 如果模型配置为 decoder，则在 cross-attention 中使用。 - encoder_attention_mask (
torch.FloatTensorof shape(batch_size, sequence_length), optional) — 用于避免对 encoder 输入的 padding token 索引执行 attention 的 Mask。 如果模型配置为 decoder，则此 mask 在 cross-attention 中使用。 Mask 值在[0, 1]中选择:- 1 表示 未被 mask 的 tokens，
- 0 表示 已被 mask 的 tokens。
- labels (
torch.LongTensorof shape(batch_size, sequence_length), optional) — 用于计算从左到右的语言建模损失（下一个词预测）的 labels。 索引应为[-100, 0, ..., config.vocab_size](参见input_ids的文档字符串) 索引设置为-100的 tokens 将被忽略（masked），损失仅针对 labels 在[0, ..., config.vocab_size]中的 tokens 计算 - past_key_values (
tuple(tuple(torch.FloatTensor))of lengthconfig.n_layerswith each tuple having 4 tensors of shape(batch_size, num_heads, sequence_length - 1, embed_size_per_head)) — 包含 attention blocks 的预计算 key 和 value hidden states。 可用于加速 decoding。如果使用
past_key_values，用户可以选择仅输入形状为(batch_size, 1)的最后一个decoder_input_ids（那些没有将其过去的 key value states 提供给此模型的 decoder_input_ids），而不是形状为(batch_size, sequence_length)的所有decoder_input_ids。 - use_cache (
bool, optional) — 如果设置为True，则返回past_key_valueskey value states，并且可以用于加速 decoding（请参阅past_key_values）。返回 —
transformers.modeling_outputs.CausalLMOutputWithCrossAttentions或tuple(torch.FloatTensor)示例 —
XmodForCausalLM 的 forward 方法，覆盖了 __call__ 特殊方法。
尽管前向传递的配方需要在该函数中定义，但应该在此之后调用 Module 实例，而不是调用此函数，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。
XmodForMaskedLM
class transformers.XmodForMaskedLM
< source >( config )
参数
- config (XmodConfig) — 带有模型所有参数的模型配置类。 使用配置文件初始化不会加载与模型关联的权重，仅加载配置。 查看 from_pretrained() 方法以加载模型权重。
带有 language modeling head 的 X-MOD 模型。
此模型继承自 PreTrainedModel。查看超类文档以获取库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝 head 等）。
此模型也是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并查阅 PyTorch 文档以了解与常规用法和行为相关的所有事项。
forward
< source >( input_ids: Optional = None lang_ids: Optional = None attention_mask: Optional = None token_type_ids: Optional = None position_ids: Optional = None head_mask: Optional = None inputs_embeds: Optional = None encoder_hidden_states: Optional = None encoder_attention_mask: Optional = None labels: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None )
参数
- input_ids (
torch.LongTensorof shape(batch_size, sequence_length)) — 词汇表中输入序列 tokens 的索引。索引可以使用 AutoTokenizer 获得。 详情请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- lang_ids (
torch.LongTensorof shape(batch_size, sequence_length), optional) — 分别对应于每个样本应激活的语言适配器的索引。 默认值：对应于self.config.default_language的索引。 - attention_mask (
torch.FloatTensorof shape(batch_size, sequence_length), optional) — 用于避免对 padding token 索引执行 attention 的 Mask。 Mask 值在[0, 1]中选择:- 1 表示 未被 mask 的 tokens，
- 0 表示 已被 mask 的 tokens。
- token_type_ids (
torch.LongTensorof shape(batch_size, sequence_length), optional) — 段 token 索引，用于指示输入的第一个和第二个部分。 索引在[0, 1]中选择:- 0 对应于 *句子 A* token，
- 1 对应于 *句子 B* token。
- position_ids (
torch.LongTensor，形状为(batch_size, sequence_length)，可选) — 位置嵌入中每个输入序列令牌的位置索引。 在范围[0, config.max_position_embeddings - 1]中选择。 - head_mask (
torch.FloatTensor，形状为(num_heads,)或(num_layers, num_heads)，可选) — 用于置空自注意力模块中选定头的掩码。 在[0, 1]中选择掩码值：- 1 表示头未被掩蔽，
- 0 表示头被掩蔽。
- inputs_embeds (
torch.FloatTensor，形状为(batch_size, sequence_length, hidden_size)，可选) — （可选）您可以选择直接传递嵌入表示，而不是传递input_ids。 如果您希望比模型的内部嵌入查找矩阵更精细地控制如何将input_ids索引转换为关联的向量，这将非常有用。 - output_attentions (
bool，可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参见返回张量下的attentions。 - output_hidden_states (
bool，可选) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参见返回张量下的hidden_states。 - return_dict (
bool，可选) — 是否返回 ModelOutput 而不是普通元组。 - labels (
torch.LongTensor，形状为(batch_size, sequence_length)，可选) — 用于计算掩码语言建模损失的标签。 索引应在[-100, 0, ..., config.vocab_size]中（请参阅input_ids文档字符串）。索引设置为-100的令牌将被忽略（掩码），损失仅针对标签在[0, ..., config.vocab_size]中的令牌计算。 - kwargs (
Dict[str, any]，可选，默认为 {}) — 用于隐藏已弃用的旧版参数。
XmodForMaskedLM 的 forward 方法，覆盖了 __call__ 特殊方法。
尽管前向传递的配方需要在该函数中定义，但应该在此之后调用 Module 实例，而不是调用此函数，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。
XmodForSequenceClassification
class transformers.XmodForSequenceClassification
< source >( config )
参数
- config (XmodConfig) — 带有模型所有参数的模型配置类。 使用配置文件初始化不会加载与模型关联的权重，仅加载配置。 查看 from_pretrained() 方法以加载模型权重。
X-MOD 模型转换器，顶部带有序列分类/回归头（池化输出顶部的线性层），例如用于 GLUE 任务。
此模型继承自 PreTrainedModel。查看超类文档以获取库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝 head 等）。
此模型也是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并查阅 PyTorch 文档以了解与常规用法和行为相关的所有事项。
forward
< source >( input_ids: Optional = None lang_ids: Optional = None attention_mask: Optional = None token_type_ids: Optional = None position_ids: Optional = None head_mask: Optional = None inputs_embeds: Optional = None labels: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None )
参数
- input_ids (
torch.LongTensor，形状为(batch_size, sequence_length)) — 词汇表中输入序列令牌的索引。可以使用 AutoTokenizer 获取索引。 有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- lang_ids (
torch.LongTensor，形状为(batch_size, sequence_length)，可选) — 应分别激活每个样本的语言适配器的索引。 默认值：与self.config.default_language相对应的索引。 - attention_mask (
torch.FloatTensor，形状为(batch_size, sequence_length)，可选) — 掩码，以避免对填充令牌索引执行注意力机制。 在[0, 1]中选择掩码值：- 1 表示令牌未被掩蔽，
- 0 表示令牌被掩蔽。
- token_type_ids (
torch.LongTensor，形状为(batch_size, sequence_length)，可选) — 分段令牌索引，用于指示输入的第一个和第二个部分。 索引在[0, 1]中选择：- 0 对应于句子 A 令牌，
- 1 对应于句子 B 令牌。
- position_ids (
torch.LongTensor，形状为(batch_size, sequence_length)，可选) — 位置嵌入中每个输入序列令牌的位置索引。 在范围[0, config.max_position_embeddings - 1]中选择。 - head_mask (
torch.FloatTensor，形状为(num_heads,)或(num_layers, num_heads)，可选) — 用于置空自注意力模块中选定头的掩码。 在[0, 1]中选择掩码值：- 1 表示头未被掩蔽，
- 0 表示头被掩蔽。
- inputs_embeds (
torch.FloatTensor，形状为(batch_size, sequence_length, hidden_size)，可选) — （可选）您可以选择直接传递嵌入表示，而不是传递input_ids。 如果您希望比模型的内部嵌入查找矩阵更精细地控制如何将input_ids索引转换为关联的向量，这将非常有用。 - output_attentions (
bool，可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参见返回张量下的attentions。 - output_hidden_states (
bool，可选) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参见返回张量下的hidden_states。 - return_dict (
bool，可选) — 是否返回 ModelOutput 而不是普通元组。 - labels (
torch.LongTensor，形状为(batch_size,)，可选) — 用于计算序列分类/回归损失的标签。 索引应在[0, ..., config.num_labels - 1]中。 如果config.num_labels == 1，则计算回归损失（均方误差损失）；如果config.num_labels > 1，则计算分类损失（交叉熵损失）。
XmodForSequenceClassification 的 forward 方法，覆盖了 __call__ 特殊方法。
尽管前向传递的配方需要在该函数中定义，但应该在此之后调用 Module 实例，而不是调用此函数，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。
XmodForMultipleChoice
class transformers.XmodForMultipleChoice
< source >( config )
参数
- config (XmodConfig) — 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。
X-MOD 模型，顶部带有一个多项选择分类头（池化输出顶部的一个线性层和一个 softmax），例如用于 RocStories/SWAG 任务。
此模型继承自 PreTrainedModel。查看超类文档以获取库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝 head 等）。
此模型也是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并查阅 PyTorch 文档以了解与常规用法和行为相关的所有事项。
forward
< source >( input_ids: Optional = None lang_ids: Optional = None token_type_ids: Optional = None attention_mask: Optional = None labels: Optional = None position_ids: Optional = None head_mask: Optional = None inputs_embeds: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None )
参数
- input_ids (
torch.LongTensor，形状为(batch_size, num_choices, sequence_length)) — 词汇表中输入序列 tokens 的索引。索引可以使用 AutoTokenizer 获得。 有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- lang_ids (
torch.LongTensor，形状为(batch_size, num_choices, sequence_length)，可选) — 分别应该为每个样本激活的语言适配器的索引。 默认值：与self.config.default_language对应的索引。 - attention_mask (
torch.FloatTensor，形状为(batch_size, num_choices, sequence_length)，可选) — 掩码，用于避免在 padding token 索引上执行 attention。 掩码值在[0, 1]中选择：- 1 表示 tokens 未被掩盖，
- 0 表示 tokens 已被掩盖。
- token_type_ids (
torch.LongTensor，形状为(batch_size, num_choices, sequence_length)，可选) — 分段 token 索引，用于指示输入的第一个和第二个部分。 索引在[0, 1]中选择：- 0 对应于 句子 A token，
- 1 对应于 句子 B token。
- position_ids (
torch.LongTensor，形状为(batch_size, num_choices, sequence_length)，可选) — 位置嵌入中每个输入序列 tokens 的位置索引。 在范围[0, config.max_position_embeddings - 1]中选择。 - head_mask (
torch.FloatTensor，形状为(num_heads,)或(num_layers, num_heads)，可选) — 掩码，用于置空 self-attention 模块的选定 head。 掩码值在[0, 1]中选择：- 1 表示 head 未被掩盖，
- 0 表示 head 已被掩盖。
- inputs_embeds (
torch.FloatTensor，形状为(batch_size, num_choices, sequence_length, hidden_size)，可选) — （可选）您可以选择直接传递嵌入表示，而不是传递input_ids。 如果您希望比模型的内部嵌入查找矩阵更精细地控制如何将input_ids索引转换为关联的向量，这将非常有用。 - output_attentions (
bool，可选) — 是否返回所有 attention 层的 attentions 张量。 有关更多详细信息，请参见返回的 tensors 下的attentions。 - output_hidden_states (
bool，可选) — 是否返回所有层的 hidden states。 有关更多详细信息，请参见返回的 tensors 下的hidden_states。 - return_dict (
bool，可选) — 是否返回 ModelOutput 而不是普通元组。 - labels (
torch.LongTensor，形状为(batch_size,)，可选) — 用于计算多项选择分类损失的标签。 索引应在[0, ..., num_choices-1]中，其中num_choices是输入张量的第二个维度的大小。 （请参阅上面的input_ids）
XmodForMultipleChoice 的 forward 方法，覆盖了 __call__ 特殊方法。
尽管前向传递的配方需要在该函数中定义，但应该在此之后调用 Module 实例，而不是调用此函数，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。
XmodForTokenClassification
class transformers.XmodForTokenClassification
< source >( config )
参数
- config (XmodConfig) — 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。
X-MOD 模型，顶部带有一个 token 分类头（隐藏状态输出顶部的一个线性层），例如用于命名实体识别 (NER) 任务。
此模型继承自 PreTrainedModel。查看超类文档以获取库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝 head 等）。
此模型也是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并查阅 PyTorch 文档以了解与常规用法和行为相关的所有事项。
forward
< source >( input_ids: Optional = None lang_ids: Optional = None attention_mask: Optional = None token_type_ids: Optional = None position_ids: Optional = None head_mask: Optional = None inputs_embeds: Optional = None labels: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None )
参数
- input_ids (
torch.LongTensor，形状为(batch_size, sequence_length)) — 词汇表中输入序列 tokens 的索引。索引可以使用 AutoTokenizer 获得。 有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- lang_ids (
torch.LongTensor，形状为(batch_size, sequence_length)，可选) — 分别应该为每个样本激活的语言适配器的索引。 默认值：与self.config.default_language对应的索引。 - attention_mask (
torch.FloatTensor，形状为(batch_size, sequence_length)，可选) — 掩码，用于避免在 padding token 索引上执行 attention。 掩码值在[0, 1]中选择：- 1 表示 tokens 未被掩盖，
- 0 表示 tokens 已被掩盖。
- token_type_ids (
torch.LongTensor，形状为(batch_size, sequence_length)，可选) — 分段 token 索引，用于指示输入的第一个和第二个部分。 索引在[0, 1]中选择：- 0 对应于 句子 A token，
- 1 对应于 句子 B token。
- position_ids (
torch.LongTensor，形状为(batch_size, sequence_length)，可选) — 位置嵌入中每个输入序列 tokens 的位置索引。 在范围[0, config.max_position_embeddings - 1]中选择。 - head_mask (
torch.FloatTensor，形状为(num_heads,)或(num_layers, num_heads)，可选) — 掩码，用于置空 self-attention 模块的选定 head。 掩码值在[0, 1]中选择：- 1 表示 head 未被掩盖，
- 0 表示 head 已被掩盖。
- inputs_embeds (
torch.FloatTensor，形状为(batch_size, sequence_length, hidden_size)，可选) — （可选）您可以选择直接传递嵌入表示，而不是传递input_ids。 如果您希望比模型的内部嵌入查找矩阵更精细地控制如何将input_ids索引转换为关联的向量，这将非常有用。 - output_attentions (
bool，可选) — 是否返回所有 attention 层的 attentions 张量。 有关更多详细信息，请参见返回的 tensors 下的attentions。 - output_hidden_states (
bool，可选) — 是否返回所有层的 hidden states。 有关更多详细信息，请参见返回的 tensors 下的hidden_states。 - return_dict (
bool，可选) — 是否返回 ModelOutput 而不是普通元组。 - labels (
torch.LongTensor, 形状为(batch_size, sequence_length), 可选) — 用于计算 token 分类损失的标签。索引应在[0, ..., config.num_labels - 1]中。
的 XmodForTokenClassification forward 方法，覆盖了 __call__ 特殊方法。
尽管前向传递的配方需要在该函数中定义，但应该在此之后调用 Module 实例，而不是调用此函数，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。
XmodForQuestionAnswering
class transformers.XmodForQuestionAnswering
< source >( config )
参数
- config (XmodConfig) — 带有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，仅加载配置。查看 from_pretrained() 方法来加载模型权重。
X-MOD 模型，顶部带有跨度分类头，用于抽取式问答任务，如 SQuAD (在 hidden-states 输出之上添加线性层来计算 span start logits 和 span end logits)。
此模型继承自 PreTrainedModel。查看超类文档以获取库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝 head 等）。
此模型也是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并查阅 PyTorch 文档以了解与常规用法和行为相关的所有事项。
forward
< source >( input_ids: Optional = None lang_ids: Optional = None attention_mask: Optional = None token_type_ids: Optional = None position_ids: Optional = None head_mask: Optional = None inputs_embeds: Optional = None start_positions: Optional = None end_positions: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None )
参数
- input_ids (
torch.LongTensor, 形状为(batch_size, sequence_length)) — 词汇表中输入序列 tokens 的索引。索引可以使用 AutoTokenizer 获得。 有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- lang_ids (
torch.LongTensor, 形状为(batch_size, sequence_length), 可选) — 分别应该为每个样本激活的语言适配器的索引。默认值：与self.config.default_language对应的索引。 - attention_mask (
torch.FloatTensor, 形状为(batch_size, sequence_length), 可选) — 用于避免在 padding token 索引上执行 attention 的掩码。掩码值在[0, 1]中选择：- 1 表示 tokens 未被掩盖，
- 0 表示 tokens 被掩盖。
- token_type_ids (
torch.LongTensor, 形状为(batch_size, sequence_length), 可选) — 分段 token 索引，用于指示输入的第一部分和第二部分。索引在[0, 1]中选择：- 0 对应于 句子 A token，
- 1 对应于 句子 B token。
- position_ids (
torch.LongTensor, 形状为(batch_size, sequence_length), 可选) — 位置嵌入中每个输入序列 tokens 的位置索引。在范围[0, config.max_position_embeddings - 1]中选择。 - head_mask (
torch.FloatTensor, 形状为(num_heads,)或(num_layers, num_heads), 可选) — 用于 nullify self-attention 模块的选定头的掩码。掩码值在[0, 1]中选择：- 1 表示 head 未被掩盖，
- 0 表示 head 被掩盖。
- inputs_embeds (
torch.FloatTensor, 形状为(batch_size, sequence_length, hidden_size), 可选) — （可选）您可以选择直接传递嵌入表示，而不是传递input_ids。 如果您希望比模型的内部嵌入查找矩阵更好地控制如何将input_ids索引转换为关联的向量，这将非常有用。 - output_attentions (
bool, 可选) — 是否返回所有 attention 层的 attentions tensors。 有关更多详细信息，请参见返回的 tensors 下的attentions。 - output_hidden_states (
bool, 可选) — 是否返回所有层的 hidden states。 有关更多详细信息，请参见返回的 tensors 下的hidden_states。 - return_dict (
bool, 可选) — 是否返回 ModelOutput 而不是普通的 tuple。 - start_positions (
torch.LongTensor, 形状为(batch_size,), 可选) — 用于计算 token 分类损失的带标签跨度的起始位置（索引）的标签。 位置被限制在序列的长度 (sequence_length) 内。 序列之外的位置不计入损失计算。 - end_positions (
torch.LongTensor, 形状为(batch_size,), 可选) — 用于计算 token 分类损失的带标签跨度的结束位置（索引）的标签。 位置被限制在序列的长度 (sequence_length) 内。 序列之外的位置不计入损失计算。
的 XmodForQuestionAnswering forward 方法，覆盖了 __call__ 特殊方法。
尽管前向传递的配方需要在该函数中定义，但应该在此之后调用 Module 实例，而不是调用此函数，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。