参数

• input_ids (torch.LongTensor of shape (batch_size, sequence_length)) — 输入序列标记的索引。

  索引可以使用 AutoTokenizer 获取。请参阅 PreTrainedTokenizer.encode() 以及 PreTrainedTokenizer.call() 了解详细信息。

  什么是输入ID？

• attention_mask （形状为 (batch_size, sequence_length) 的 torch.FloatTensor，可选） — 用于避免在填充标记索引上执行注意力的掩码。掩码值在 [0, 1] 之间选择：
  • 1 对于没有被掩码的标记，
  • 0 对于被掩码的标记。

  注意掩码是什么？

• langs （形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选） — 一个用于指示输入中每个标记语言的并行标记序列。索引是语言ID，可以通过模型配置中提供的两个转换映射（仅适用于多语言模型）获得。更确切地说，语言名称到语言ID 映射位于 model.config.lang2id（这是字符串到整数的字典）中，而 语言ID到语言名称 映射位于 model.config.id2lang（整数到字符串的字典）中。

  有关使用示例的详细信息，请参阅 多语言文档。

• token_type_ids (torch.LongTensor 形状 (batch_size, sequence_length)，可选）— 表示输入的第一和第二部分的段标记索引。索引在 [0, 1] 中选择：
• position_ids (torch.LongTensor 形状 (batch_size, sequence_length)，可选）— 输入序列标记在每个位置嵌入中的位置索引。在范围 [0, config.max_position_embeddings - 1] 中选择。
• lengths (torch.LongTensor 形状 (batch_size,)，可选）— 每个句子的长度，可用于避免在填充标记索引上执行注意力操作。您也可以使用 attention_mask 来获得相同的结果（见上文），这里保留是为了兼容性。索引在 [0, ..., input_ids.size(-1)] 中选择。
• 缓存 (Dict[str, torch.FloatTensor], 可选) — 字符串到 torch.FloatTensor 的字典，包含由模型预先计算的隐藏状态（注意块中的键和值）作为模型计算结果（见下面的 cache 输出）。可用于加快顺序解码。
• head_mask (torch.FloatTensor 形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 消除自注意模块中选定头部的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示头部 未掩码，
  • 0 表示头部 掩码。
• inputs_embeds (torch.FloatTensor 形状为 (batch_size, sequence_length, hidden_size)，可选) — 可选地，您可以直接传递嵌入表示，而不传递 input_ids。如果您想更多地控制将 input_ids 索引转换为相关向量的方式，而不是使用模型的内部嵌入查找矩阵，这将很有用。
• output_attentions (bool, 可选) — 是否返回所有注意力层的 attentions 张量。关于返回张量下的 more details，请参见 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的 hidden states。更多的 details，请参见返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是普通的元组。

transformers.modeling_outputs.BaseModelOutput 或一个由 torch.FloatTensor 组成的元组（如果传递 return_dict=False 或当 config.return_dict=False 时），这取决于配置（XLMConfig）和输入。

• last_hidden_state (torch.FloatTensor 形状为 (batch_size, sequence_length, hidden_size)**) — 模型最后层的输出序列的隐藏状态。

• hidden_states (tuple(torch.FloatTensor), 可选，当传递或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层，然后每个层的输出）的形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的 hidden-states 以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), 可选，当传递 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个）的形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于在自注意力头中计算加权平均。

参数

• input_ids (torch.LongTensor of shape (batch_size, sequence_length)) — 输入序列标记的词汇索引。

  可以通过使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask（类型为torch.FloatTensor的形状为(batch_size, sequence_length)的tensor，可选） — 避免在填充token索引上执行注意力操作的掩码。选中的掩码值在[0, 1]中：
  • 1 表示 未掩码的token；
  • 0 表示 掩码的token。

  什么是注意力掩码？

• langs（类型为torch.LongTensor的形状为(batch_size, sequence_length)的tensor，可选） — 用于指示输入中每个token语言的并行序列。索引是语言ID，可以通过模型配置中提供的两种转换映射从语言名称获得（仅针对多语言模型）。更确切地说，语言名称到语言ID映射在model.config.lang2id中（这是一个字符串到整数的字典）和语言ID到语言名称映射在model.config.id2lang中（这是一个整数到字符串的字典）。

  请参阅多语言文档中的使用示例。

• token_type_ids (torch.LongTensor 形状为 (batch_size, sequence_length)，可选） — 用以指示输入的两个部分（首段和尾段）的段标记索引。索引选择范围为 [0, 1]：
  • 0 对应于 句子 A 标记，
  • 1 对应于 句子 B 标记。

  什么是段标记 ID？

• position_ids (torch.LongTensor 形状为 (batch_size, sequence_length)，可选） — 每个输入序列标记在位置嵌入中的位置索引。选择范围在 [0, config.max_position_embeddings - 1] 之间。

  什么是位置 ID？

• lengths (torch.LongTensor 形状为 (batch_size,)，可选） — 每个句子的长度，可用于避免在填充标记索引上执行注意力操作。您也可以使用 attention_mask 获取相同结果（见上文），此处保留以保持兼容性。索引选择范围在 [0, ..., input_ids.size(-1)] 之间。
• cache (Dict[str, torch.FloatTensor], optional) — 包含预计算隐藏状态（注意力块中的键和值）的字符串到torch.FloatTensor字典，由模型计算得出（见下面的cache输出）。可以用来加速序列解码。

  在正向传播过程中，字典对象将就地修改以添加新计算的隐藏状态。

• head_mask (torch.FloatTensor of shape (num_heads,) or (num_layers, num_heads), optional) — 用于使自我注意力模块中的选择头部无效的掩码。掩码值在[0, 1]：
  • 1表示该头部未屏蔽;
  • 0表示该头部已屏蔽。
• inputs_embeds (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), optional) — 也可以直接传递嵌入表示，而不是传递input_ids。如果想让input_ids索引转换为关联向量的方式比模型的内部嵌入查找矩阵更加灵活，此选项很有用。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关返回张量中的更多详细信息，请参阅 atts。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关返回张量中的更多详细信息，请参阅 hidden_states。
• return_dict (bool, 可选) — 是否返回模型输出而不是普通元组。
• labels (torch.LongTensor shape (batch_size, sequence_length), 可选) — 语言模型的标签。注意，模型内部已经将标签进行偏移，即您可以将 labels = input_ids。索引的选择在 [-100, 0, ..., config.vocab_size] 之间。所有设置为 -100 的标签将被忽略（掩码），仅计算 [0, ..., config.vocab_size] 范围内的标签的损失。

A transformers.modeling_outputs.MaskedLMOutput 或一个由 torch.FloatTensor 组成的元组（如果传递了 return_dict=False 或 config.return_dict=False），包含的各种元素取决于配置（XLMConfig）和输入。

• 损失 (torch.FloatTensor shape (1,), 可选，在提供 labels 时返回) — 掩码语言模型（MLM）损失。

• logits (torch.FloatTensor shape (batch_size, sequence_length, config.vocab_size)) — 语言模型头部的预测得分（SoftMax之前的每个词汇表的得分）。

• hidden_states (tuple(torch.FloatTensor), 可选，当传递或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层，然后每个层的输出）的形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的 hidden-states 以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), 可选，当传递 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个）的形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于在自注意力头中计算加权平均。

参数

• input_ids (torch.LongTensor 形状 (batch_size, sequence_length)) — 输入序列令牌在词汇表中的索引。

  索引可以通过使用 AutoTokenizer 获取。详细信息见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (torch.FloatTensor of shape (batch_size, sequence_length), optional) — 用于避免在填充标记索引上进行注意力的掩码。掩码值在 [0, 1] 中选取：
  • 1 表示 未掩码 的标记；
  • 0 表示 掩码 的标记。

  什么是注意掩码？

• langs (torch.LongTensor of shape (batch_size, sequence_length), optional) — 用于指示输入中每个标记语言的并行序列。索引是语言ID，可以通过模型配置中提供的两个转换映射（仅适用于多语言模型）从语言名称获得。更具体地说，语言名称到语言ID 映射在 model.config.lang2id 中（这是一个从字符串到整数的字典）和 语言ID到语言名称 映射在 model.config.id2lang 中（这是一个从整数到字符串的字典）。

  请参阅多语言文档中的使用示例。

• token_type_ids （形状为(batch_size, sequence_length)的torch.LongTensor，可选） — 段落标记索引，用于指示输入的第一部和第二部份。索引在[0, 1]内选择：
  • 0对应于A句子标记，
  • 1对应于B句子标记。

  什么是标记类型ID？

• position_ids （形状为(batch_size, sequence_length)的torch.LongTensor，可选） — 每个输入序列标记的位置索引，用于位置嵌入。选择在范围[0, config.max_position_embeddings - 1]内。

  什么是位置ID？

• lengths （形状为(batch_size,)的torch.LongTensor，可选） — 用于避免对填充标记索引执行注意力的每个句子的长度。您还可以使用attention_mask（见上面）来得到相同结果（保持这里以实现兼容性）。选择索引在[0, ..., input_ids.size(-1)]内。
• cache (Dict[str, torch.FloatTensor], 可选的) — 字符串到 torch.FloatTensor 的字典，包含模型预先计算的隐藏状态（注意力块中的键和值）作为模型的输出（见下文 cache 输出）。可以用来加速序列解码。

• head_mask (torch.FloatTensor 的形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于取消选定自注意模块的头部的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示头部 未掩码，
  • 0 表示头部 掩码。
• inputs_embeds (torch.FloatTensor 的形状为 (batch_size, sequence_length, hidden_size)，可选) — 可选的，而不是传递 input_ids，你可以选择直接传递一个嵌入表示。当你想对如何将 input_ids 索引转换为相关向量有更多控制时，这很有用，比模型的内部嵌入查找矩阵更有效。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。详细信息请参见返回的张量中的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。详细信息请参见返回的张量中的 hidden_states。
• return_dict (bool, 可选) — 是否返回ModelOutput对象而非平凡元组。
• labels (torch.LongTensor of shape (batch_size,), optional) — 用于计算序列分类/回归损失的标签。索引应在 [0, ..., config.num_labels - 1] 范围内。如果 config.num_labels == 1，则计算回归损失（均方损失），如果 config.num_labels > 1，则计算分类损失（交叉熵）。

A transformers.modeling_outputs.SequenceClassifierOutput 或一个 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False）包含的各种元素取决于配置（XLMConfig）和输入。

• loss (torch.FloatTensor of shape (1,), optional, 当 labels 被提供时返回) — 分类（或当 config.num_labels==1 时的回归）损失。

• logits (torch.FloatTensor of shape (batch_size, config.num_labels)) — 分类（当 config.num_labels == 1 时的回归）分数（在 SoftMax 之前）。

• hidden_states (tuple(torch.FloatTensor), 可选，当传递或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层，然后每个层的输出）的形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的 hidden-states 以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), 可选，当传递 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个）的形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于在自注意力头中计算加权平均。

参数

• input_ids (torch.LongTensor of shape (batch_size, num_choices, sequence_length)) — 输入序列标记的词库索引。

  可以通过 AutoTokenizer 获取索引。详见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入ID？

• attention_mask (torch.FloatTensor of shape (batch_size, num_choices, sequence_length), optional) — 用于避免对填充token索引执行注意力的掩码。选择的掩码值在[0, 1]之间：
  • 1 表示 未掩码的token,
  • 0 表示 掩码的token。

  什么是注意力掩码？

• langs (torch.LongTensor of shape (batch_size, num_choices, sequence_length), optional) — 体现输入中每个token语言的并行token序列。索引是语言ID，可从模型配置中提供的两个转换映射中获取（仅针对多语言模型）。更确切地说，语言名到语言ID映射在model.config.lang2id中（一个字符串到整数的字典）和语言ID到语言名映射在model.config.id2lang中（一个整数到字符串的字典）。

  请参阅多语言文档中的详细使用示例。

• token_type_ids (torch.LongTensor of shape (batch_size, num_choices, sequence_length), optional) — 用于指示输入部分是第一还是第二部分的段token索引。索引选自[0, 1]：
  • 0 对应于 句子A token,
  • 1 对应于 句子B token。

  什么是token类型ID？

• position_ids (torch.LongTensor 形状 (batch_size, num_choices, sequence_length)，可选) — 各输入序列词元的位置编号。选择在 [0, config.max_position_embeddings - 1] 范围内。

  什么是位置ID？

• lengths (torch.LongTensor 形状 (batch_size,)，可选) — 每个句子的长度，可用于避免对填充标记索引执行注意力操作。您也可以使用 attention_mask 达到相同的效果（见上方），此处保留以保持兼容性。选择索引范围为 [0, ..., input_ids.size(-1)]。
• cache (Dict[str, torch.FloatTensor]，可选) — 包含由模型（以下文中的 cache 输出）预先计算的隐藏状态（注意块的键和值）的字典字符串到 torch.FloatTensor。可用于加速顺序解码。

  字典对象将在前向传递过程中原地修改，以添加新计算的隐藏状态。

• head_mask (torch.FloatTensor of shape (num_heads,) or (num_layers, num_heads), optional) — 空白化所选头部的自我注意力模块的掩码。掩码值在 [0, 1] 内选中：
  • 1表示头部没有空白化
  • 0表示头部空白化
• inputs_embeds (torch.FloatTensor of shape (batch_size, num_choices, sequence_length, hidden_size), optional) — 可选地，直接传递嵌入表示，而不是输入 input_ids。当您希望比模型内部嵌入查找矩阵有更多控制权时，将其转换为相关向量时，这样做很有用。
• output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关更多详情，请参阅返回的张量下的 attentions。
• output_hidden_states (bool, 可选) —— 是否返回所有层的隐藏状态。更多细节请参考返回张量下的 hidden_states。
• return_dict (bool, 可选) —— 是否而不是普通的元组返回ModelOutput。
• labels (torch.LongTensor 形状(batch_size,)，可选) —— 用于计算多选分类损失的标签。索引应该在[0, ..., num_choices-1]之间，其中num_choices是输入张量的第二维大小。（参看上面的input_ids）

transformers.modeling_outputs.MultipleChoiceModelOutput或一组torch.FloatTensor（如果return_dict=False传递或当 config.return_dict=False），它们包括根据配置（XLMConfig）和输入不同元素。

• loss（torch.FloatTensor 形状(1,)，可选，在提供 labels 时返回）—— 分类损失。

• logits (torch.FloatTensor 形状为 (batch_size, num_choices)) — num_choices 是输入张量的第二个维度。（见上述 input_ids）。

  分类得分（SoftMax 之前）。

• hidden_states (tuple(torch.FloatTensor), 可选，当传递或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层，然后每个层的输出）的形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的 hidden-states 以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), 可选，当传递 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个）的形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于在自注意力头中计算加权平均。

参数

• input_ids （形状为 (batch_size, sequence_length) 的 torch.LongTensor）— 词汇表中的输入序列单词索引。

  可以使用 AutoTokenizer 来获取索引。请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call() 获取详细信息。

  什么是输入 ID？

• attention_mask （可选，形状为 (batch_size, sequence_length) 的 torch.FloatTensor）— 用于避免对填充标记索引进行注意力的掩码。掩码值选择在 [0, 1]:
  • 1 对于 未掩码 的标记，
  • 0 对于 掩码 的标记。

  什么是注意掩码？

• langs (torch.LongTensor 形状为 (batch_size, sequence_length)，可选) — 用于表示每个输入中每个标记语言的并行标记序列。索引为语言id，可以通过模型配置中提供的两个转换映射从语言名称获得（仅适用于多语言模型）。更准确地说，语言名称到语言id 的映射在 model.config.lang2id 中（这是一个字符串到整数的字典）和 语言id到语言名称 的映射在 model.config.id2lang 中（整数到字符串的字典）。
• token_type_ids (torch.LongTensor 形状为 (batch_size, sequence_length)，可选) — 用于指示输入的两个部分的第一部分和第二部分的标记段索引。索引在 [0, 1] 范围内：
  • 0 代表 句子 A 标记，
  • 1 代表 句子 B 标记。
  什么是标记类型 ID？
• position_ids (torch.LongTensor 形状为 (batch_size, sequence_length)，可选) — 输入序列中的每个标记位置的索引。选择在范围 [0, config.max_position_embeddings - 1] 内。什么是位置 ID？
• lengths (torch.LongTensor of shape (batch_size,), 可选) — 每个句子的长度，可以用于避免在填充标记索引上执行注意力操作。您也可以使用 attention_mask 获取相同的结果（见上述内容），此处保留以保持兼容性。选取的索引在 [0, ..., input_ids.size(-1)]。
• cache (Dict[str, torch.FloatTensor], 可选) — 字典字符串到 torch.FloatTensor 的映射，包含由模型预先计算的隐藏状态（注意力的键和值）作为本次计算的结果（参见下面的 cache 输出）。可用于加快序列解码速度。

  在正向传输过程中，字典对象将被就地修改以添加新计算的隐藏状态。

• head_mask (torch.FloatTensor of shape (num_heads,) or (num_layers, num_heads), 可选) — 用于屏蔽自注意力模块选定头的掩码。掩码值选择在 [0, 1]：
  • 1 表示该头 未被屏蔽，
  • 0 表示该头被 屏蔽。
• inputs_embeds (torch.FloatTensor 形状(batch_size, sequence_length, hidden_size)，可选) — 可以选择直接传递嵌入表示，而不是传递 input_ids。这在您想要比模型内部嵌入查找矩阵有更多控制如何将 input_ids 索引转换为相关向量时非常有用。
• output_attentions (bool，可选) — 是否返回所有注意力的张量。有关详细信息，请参阅返回张量中的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量中的 hidden_states。
• return_dict (bool, 可选项) —— 是否返回一个模型输出而不是一个常规元组。
• labels (形状为 (批大小, 序列长度) 的 torch.LongTensor, 可选项) —— 用于计算标记分类损失的标签。索引应为 [0, ..., config.num_labels - 1]。

A transformers.modeling_outputs.TokenClassifierOutput 或一个包含不同元素（取决于配置（XLMConfig）和输入）的 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时）

• loss （形状为 (1,) 的 torch.FloatTensor, 可选项，当提供 labels 时返回） —— 分类损失。

• logits （形状为 (批大小, 序列长度, config.num_labels) 的 torch.FloatTensor） —— 分类分数（在 SoftMax 之前）。

• hidden_states (tuple(torch.FloatTensor), 可选，当传递或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层，然后每个层的输出）的形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的 hidden-states 以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), 可选，当传递 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个）的形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于在自注意力头中计算加权平均。

参数

• input_ids (torch.LongTensor of shape (batch_size, sequence_length)) — 词汇中输入序列标记的索引。

  索引可以通过使用 AutoTokenizer 获取。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  输入 ID 是什么？

• attention_mask (torch.FloatTensor 的形状为 (batch_size, sequence_length)， 可选) — 避免在填充标记索引上执行注意力的掩码。在 [0, 1] 中选择的掩码值：
  • 1 代表 未掩码 的标记，
  • 0 代表 掩码 的标记。

  注意掩码是什么？

• langs (torch.LongTensor 的形状为 (batch_size, sequence_length)，可选) — 要用于表示输入中每个标记语言的并行标记序列。索引是语言 ID，可以从模型配置中提供的两种转换映射（仅在多语言模型中提供）中获取。更精确地说，语言名称到语言 ID 映射在 model.config.lang2id 中（它是一个字符串到整数的字典）和 语言 ID 到语言名称 映射在 model.config.id2lang 中（整数到字符串的字典）。

  请参阅 多语言文档 中的使用示例。

• token_type_ids (torch.LongTensor 的形状为 (batch_size, sequence_length)，可选) — 用于指示输入的第一部分和第二部分的段标记索引。索引在 [0, 1] 中选择：
  • 0 代表 句子 A 标记，
  • 1 代表 句子 B 标记。

  标记类型 ID 是什么？

• head_mask (torch.FloatTensor 形状 (num_heads,) 或 (num_layers, num_heads)，可选) — 使自我注意模块中选定的头部失效的掩码。掩码值选自 [0, 1]：
  • 1 表示头部 未掩码，
  • 0 表示头部 已掩码。
• inputs_embeds (torch.FloatTensor 形状 (batch_size, sequence_length, hidden_size)，可选) — 可以选择直接传递嵌入表示，而不是传递 input_ids。这在您希望比模型的内部嵌入查找矩阵有更多控制如何将 input_ids 索引转换为相关向量时很有用。
• output_attentions (bool，可选) — 是否返回所有注意力层的高斯张量。有关返回张量中 attentions 的更多信息，请参阅。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关返回张量下 hidden_states 的详细信息，请参阅。
• return_dict (bool, 可选) — 是否返回ModelOutput 而不是普通元组。
• start_positions (torch.LongTensor 形状为 (batch_size,), 可选) — 指定位（索引）开始标记的标签，用于计算token分类损失。位置会被限制在序列长度（sequence_length）内。序列之外的位置在计算损失时不会被考虑。
• end_positions (torch.LongTensor of shape (batch_size,), optional) — 标记的跨度末尾位置（索引）的标签，用于计算token分类损失。位置限制在序列长度（sequence_length）内。序列之外的位置不计入损失计算。

A transformers.modeling_outputs.QuestionAnsweringModelOutput 或一个torch.FloatTensor的元组（如果传入 return_dict=False 或者当 config.return_dict=False），包含根据配置（XLMConfig）和输入计算的各个元素。

• loss (torch.FloatTensor of shape (1,), optional, returned when labels is provided) — 总跨度提取损失是起始和结束位置交叉熵的总和。

• start_logits (torch.FloatTensor of shape (batch_size, sequence_length)) — 跨度起始分数（在SoftMax之前）。

• end_logits (torch.FloatTensor of shape (batch_size, sequence_length)) — 跨度结束分数（在SoftMax之前）。

• hidden_states (tuple(torch.FloatTensor), 可选，当传递或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层，然后每个层的输出）的形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的 hidden-states 以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), 可选，当传递 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个）的形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于在自注意力头中计算加权平均。

参数

• input_ids (torch.LongTensor 形状 (batch_size, sequence_length)) — 词汇表中的输入序列标记的索引。

  可以使用 AutoTokenizer 获得索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (torch.FloatTensor 形状 (batch_size, sequence_length)，可选) — 避免在填充标记索引上执行注意力的掩码。掩码值选中在 [0, 1]：
  • 1 表示 未掩码 的标记，
  • 0 表示 掩码 的标记。

  什么是注意力掩码？

• langs (torch.LongTensor of shape (batch_size, sequence_length), 可选) — 用于表示输入中每个标记的语言的并行标记序列。索引为语言ID，可以通过在模型配置中提供的两个转换映射从语言名称获得（仅适用于多语言模型）。更精确地说，语言名称到语言ID的映射在 model.config.lang2id 中（这是一个字符串到整数的字典）和语言ID到语言名称的映射在 model.config.id2lang 中（整数到字符串的字典）。
• token_type_ids (torch.LongTensor of shape (batch_size, sequence_length), 可选) — 段标记索引，用于指示输入的第一部分和第二部分。索引选择在 [0, 1] 范围内：
  • 0 代表 句子 A 标记，
  • 1 代表 句子 B 标记。
  什么是标记类型ID？
• position_ids (torch.LongTensor of shape (batch_size, sequence_length), 可选) — 每个输入序列标记在位置嵌入中的位置索引。选择范围 [0, config.max_position_embeddings - 1]。

  什么是位置ID？

• lengths (torch.LongTensor of shape (batch_size,, 可选) — 用于避免在填充标记索引上执行注意力的每个句子的长度。您也可以使用 attention_mask 来获得相同的结果（见上文），这里保留是为了兼容性。索引选择在 [0, ..., input_ids.size(-1)]。
• cache (Dict[str, torch.FloatTensor], 可选) — 包含由模型计算出的预先计算的隐藏状态（注意力块中的键和值）的字符串到torch.FloatTensor的字典，以加快序列解码的速度。

  在正向传递过程中，该字典对象将被就地修改，以添加新计算的隐藏状态。

• head_mask (torch.FloatTensor of shape (num_heads,) or (num_layers, num_heads), optional) — 用于取消自我注意力模块中选定头部的掩码。掩码值在 [0, 1] 中选定：
  • 1 表示头部未被掩码,
  • 0 表示头部被掩码。
• inputs_embeds (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), optional) — 可选，可以直接传人嵌入表示而不传递 input_ids，这在你想比模型内部的嵌入查找矩阵有更多控制如何将 input_ids 索引转换为相关向量时很有用。
• output_attentions (bool, optional) — 是否返回所有注意层张量的注意力。请参阅返回张量中的 attentions 以获取更多信息。
• output_hidden_states (布尔型，可选) — 是否返回所有层的隐藏状态。有关返回张量中 hidden_states 的更多详情，请参阅。
• return_dict (布尔型，可选) — 是否返回一个 ModelOutput 而不是普通的元组。
• start_positions (torch.LongTensor 形状为 (batch_size,)，可选) — 标注跨度起始位置的标签（索引），用于计算token分类损失。位置被限制在序列长度（sequence_length）内。序列外的位置在计算损失时不考虑。
• end_positions （形状为 torch.LongTensor 的 (batch_size,)，为可选参数）— 标注跨度的起始和结束位置，用于计算分类损失。
• is_impossible （形状为 torch.LongTensor 的 (batch_size,)，为可选参数）— 标注一个问题是否有答案或没有答案（SQuAD 2.0）。
• cls_index （形状为 torch.LongTensor 的 (batch_size,)，为可选参数）— 用于计算答案可信度的分类标志位置的标签。
• (torch.FloatTensor 形状为 (batch_size, sequence_length)，可选) — 不可出现在答案中的标记的可选掩码（例如 [CLS]，[PAD]，…）。1.0 表示标记应该被掩码。0.0 表示标记未被掩码。

返回结果为 transformers.models.xlm.modeling_xlm.XLMForQuestionAnsweringOutput 或包含多个元素的 tuple (如果传入 return_dict=False 或者 config.return_dict=False)，这些元素根据配置 (XLMConfig) 和输入而变化。

• loss (torch.FloatTensor 形状为 (1,)，可选，如果同时提供了 start_positions 和 end_positions) — 分类损失，作为开始标记、结束标记（以及是否可能，如果提供）分类损失的加和。

• start_top_log_probs (torch.FloatTensor 形状为 (batch_size, config.start_n_top)，可选，如果没有提供 start_positions 或 end_positions) — top config.start_n_top 开始标记可能性的对数概率（ beam-search）。

• start_top_index （torch.LongTensor 形状为 (batch_size, config.start_n_top)，可选，如果没有提供 start_positions 或 end_positions) — top config.start_n_top 开始标记可能性的索引（ beam-search）。

• end_top_log_probs （torch.FloatTensor 形状为 (batch_size, config.start_n_top * config.end_n_top)，可选，如果没有提供 start_positions 或 end_positions） — top config.start_n_top * config.end_n_top 结束标记可能性的对数概率（ beam-search）。

• end_top_index （torch.LongTensor 形状为 (batch_size, config.start_n_top * config.end_n_top)，可选，如果没有提供 start_positions 或 end_positions） — top config.start_n_top * config.end_n_top 结束标记可能性的索引（ beam-search）。

• cls_logits （torch.FloatTensor 形状为 (batch_size,)，可选，如果没有提供 start_positions 或 end_positions） — 答案中 is_impossible 标签的对数概率。

• hidden_states （tuple(torch.FloatTensor)，可选，当传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回） — 包含每个层的输出及其初始嵌入输出的 torch.FloatTensor tuple（一个用于嵌入输出，一个用于每层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层的输出以及初始嵌入输出的隐藏状态。

• attentions (tuple(torch.FloatTensor), 可选，当传递 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个）的形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于在自注意力头中计算加权平均。