参数

• token_ids_0 (List[int]) — 要添加特殊 token 的 ID 列表。
• token_ids_1 (List[int], optional) — 可选的第二个 ID 列表，用于序列对。

带有适当特殊标记的输入ID列表。

参数

• token_ids_0 (List[int]) — ID 列表。
• token_ids_1 (List[int], optional) — 可选的第二个 ID 列表，用于序列对。
• already_has_special_tokens (bool, optional, defaults to False) — token 列表是否已经为模型格式化了特殊 token。

一个范围为 [0, 1] 的整数列表：1 表示特殊标记，0 表示序列标记。

参数

• token_ids_0 (list[int]) — ID 列表。
• token_ids_1 (list[int], optional) — 可选的第二个 ID 列表，用于序列对。

根据配置的模式生成 token 类型 ID。

参数

• input_ids (torch.Tensor of shape (batch_size, sequence_length), optional) — 输入序列 token 在词汇表中的索引。默认情况下将忽略填充。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (torch.Tensor of shape (batch_size, sequence_length), optional) — 用于避免对填充 token 索引执行注意力的掩码。掩码值选择在 [0, 1] 之间：
  • 1 表示**未被掩盖**的 token，
  • 0 表示**被掩盖**的 token。

  什么是注意力掩码？

• langs (torch.LongTensor of shape (batch_size, sequence_length), optional) — A parallel sequence of tokens to be used to indicate the language of each token in the input. Indices are languages ids which can be obtained from the language names by using two conversion mappings provided in the configuration of the model (only provided for multilingual models). More precisely, the language name to language id mapping is in model.config.lang2id (which is a dictionary string to int) and the language id to language name mapping is in model.config.id2lang (dictionary int to string).

  See usage examples detailed in the multilingual documentation.

• token_type_ids (torch.Tensor of shape (batch_size, sequence_length), optional) — Segment token indices to indicate first and second portions of the inputs. Indices are selected in [0, 1]:
  • 0 corresponds to a sentence A token,
  • 1 corresponds to a sentence B token.

  What are token type IDs?

• position_ids (torch.Tensor of shape (batch_size, sequence_length), optional) — Indices of positions of each input sequence tokens in the position embeddings. Selected in the range [0, config.n_positions - 1].

  What are position IDs?

• lengths (torch.LongTensor of shape (batch_size,), optional) — Length of each sentence that can be used to avoid performing attention on padding token indices. You can also use attention_mask for the same result (see above), kept here for compatibility. Indices selected in [0, ..., input_ids.size(-1)].
• cache (dict[str, torch.FloatTensor], optional) — Instance of EncoderDecoderCache that contains precomputed KV states. Can be used to speed up sequential decoding.
• inputs_embeds (torch.Tensor of shape (batch_size, sequence_length, hidden_size), optional) — Optionally, instead of passing input_ids you can choose to directly pass an embedded representation. This is useful if you want more control over how to convert input_ids indices into associated vectors than the model’s internal embedding lookup matrix.
• output_attentions (bool, optional) — Whether or not to return the attentions tensors of all attention layers. See attentions under returned tensors for more detail.
• output_hidden_states (bool, optional) — Whether or not to return the hidden states of all layers. See hidden_states under returned tensors for more detail.
• return_dict (bool, optional) — Whether or not to return a ModelOutput instead of a plain tuple.
• cache_position (torch.Tensor of shape (sequence_length), optional) — Indices depicting the position of the input sequence tokens in the sequence. Contrarily to position_ids, this tensor is not affected by padding. It is used to update the cache in the correct position and to infer the complete sequence length.

A transformers.modeling_outputs.BaseModelOutput or a tuple of torch.FloatTensor (if return_dict=False is passed or when config.return_dict=False) comprising various elements depending on the configuration (XLMConfig) and inputs.

• last_hidden_state (torch.FloatTensor, 形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

• hidden_states (tuple(torch.FloatTensor), optional, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层；+一个用于每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), optional, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (torch.Tensor of shape (batch_size, sequence_length), optional) — Indices of input sequence tokens in the vocabulary. Padding will be ignored by default.

  Indices can be obtained using AutoTokenizer. See PreTrainedTokenizer.encode() and PreTrainedTokenizer.call() for details.

  What are input IDs?

• attention_mask (torch.Tensor of shape (batch_size, sequence_length), optional) — Mask to avoid performing attention on padding token indices. Mask values selected in [0, 1]:
  • 1 for tokens that are not masked,
  • 0 for tokens that are masked.

  What are attention masks?

• langs (torch.LongTensor of shape (batch_size, sequence_length), optional) — A parallel sequence of tokens to be used to indicate the language of each token in the input. Indices are languages ids which can be obtained from the language names by using two conversion mappings provided in the configuration of the model (only provided for multilingual models). More precisely, the language name to language id mapping is in model.config.lang2id (which is a dictionary string to int) and the language id to language name mapping is in model.config.id2lang (dictionary int to string).

  See usage examples detailed in the multilingual documentation.

• token_type_ids (torch.Tensor of shape (batch_size, sequence_length), optional) — Segment token indices to indicate first and second portions of the inputs. Indices are selected in [0, 1]:
  • 0 corresponds to a sentence A token,
  • 1 corresponds to a sentence B token.

  What are token type IDs?

• position_ids (torch.Tensor of shape (batch_size, sequence_length), optional) — Indices of positions of each input sequence tokens in the position embeddings. Selected in the range [0, config.n_positions - 1].

  What are position IDs?

• lengths (torch.LongTensor of shape (batch_size,), optional) — Length of each sentence that can be used to avoid performing attention on padding token indices. You can also use attention_mask for the same result (see above), kept here for compatibility. Indices selected in [0, ..., input_ids.size(-1)].
• cache (dict[str, torch.FloatTensor], optional) — Instance of EncoderDecoderCache that contains precomputed KV states. Can be used to speed up sequential decoding.
• inputs_embeds (torch.Tensor of shape (batch_size, sequence_length, hidden_size), optional) — Optionally, instead of passing input_ids you can choose to directly pass an embedded representation. This is useful if you want more control over how to convert input_ids indices into associated vectors than the model’s internal embedding lookup matrix.
• labels (torch.LongTensor of shape (batch_size, sequence_length), optional) — Labels for language modeling. Note that the labels are shifted inside the model, i.e. you can set labels = input_ids Indices are selected in [-100, 0, ..., config.vocab_size] All labels set to -100 are ignored (masked), the loss is only computed for labels in [0, ..., config.vocab_size]
• output_attentions (bool, optional) — Whether or not to return the attentions tensors of all attention layers. See attentions under returned tensors for more detail.
• output_hidden_states (bool, optional) — Whether or not to return the hidden states of all layers. See hidden_states under returned tensors for more detail.
• return_dict (bool, optional) — Whether or not to return a ModelOutput instead of a plain tuple.
• cache_position (torch.Tensor of shape (sequence_length), optional) — Indices depicting the position of the input sequence tokens in the sequence. Contrarily to position_ids, this tensor is not affected by padding. It is used to update the cache in the correct position and to infer the complete sequence length.
• logits_to_keep (Union[int, torch.Tensor], optional, defaults to 0) — If an int, compute logits for the last logits_to_keep tokens. If 0, calculate logits for all input_ids (special case). Only last token logits are needed for generation, and calculating them only for that token can save memory, which becomes pretty significant for long sequences or large vocabulary size. If a torch.Tensor, must be 1D corresponding to the indices to keep in the sequence length dimension. This is useful when using packed tensor format (single dimension for batch and sequence length).

A transformers.modeling_outputs.MaskedLMOutput or a tuple of torch.FloatTensor (if return_dict=False is passed or when config.return_dict=False) comprising various elements depending on the configuration (XLMConfig) and inputs.

• loss (形状为 (1,) 的 torch.FloatTensor，可选，当提供 labels 时返回) — 掩码语言建模 (MLM) 损失。

• logits (形状为 (batch_size, sequence_length, config.vocab_size) 的 torch.FloatTensor) — 语言建模头部的预测分数（SoftMax 之前的每个词汇标记的分数）。

• hidden_states (tuple(torch.FloatTensor), optional, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层；+一个用于每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), optional, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (torch.Tensor of shape (batch_size, sequence_length), optional) — Indices of input sequence tokens in the vocabulary. Padding will be ignored by default.

  Indices can be obtained using AutoTokenizer. See PreTrainedTokenizer.encode() and PreTrainedTokenizer.call() for details.

  What are input IDs?

• attention_mask (torch.Tensor of shape (batch_size, sequence_length), optional) — Mask to avoid performing attention on padding token indices. Mask values selected in [0, 1]:
  • 1 for tokens that are not masked,
  • 0 for tokens that are masked.

  What are attention masks?

• langs (torch.LongTensor of shape (batch_size, sequence_length), optional) — A parallel sequence of tokens to be used to indicate the language of each token in the input. Indices are languages ids which can be obtained from the language names by using two conversion mappings provided in the configuration of the model (only provided for multilingual models). More precisely, the language name to language id mapping is in model.config.lang2id (which is a dictionary string to int) and the language id to language name mapping is in model.config.id2lang (dictionary int to string).

  See usage examples detailed in the multilingual documentation.

• token_type_ids (torch.Tensor of shape (batch_size, sequence_length), optional) — Segment token indices to indicate first and second portions of the inputs. Indices are selected in [0, 1]:
  • 0 corresponds to a sentence A token,
  • 1 corresponds to a sentence B token.

  What are token type IDs?

• position_ids (torch.Tensor of shape (batch_size, sequence_length), optional) — Indices of positions of each input sequence tokens in the position embeddings. Selected in the range [0, config.n_positions - 1].

  What are position IDs?

• lengths (torch.LongTensor of shape (batch_size,), optional) — Length of each sentence that can be used to avoid performing attention on padding token indices. You can also use attention_mask for the same result (see above), kept here for compatibility. Indices selected in [0, ..., input_ids.size(-1)].
• cache (dict[str, torch.FloatTensor], optional) — Instance of EncoderDecoderCache that contains precomputed KV states. Can be used to speed up sequential decoding.
• inputs_embeds (torch.Tensor of shape (batch_size, sequence_length, hidden_size), optional) — Optionally, instead of passing input_ids you can choose to directly pass an embedded representation. This is useful if you want more control over how to convert input_ids indices into associated vectors than the model’s internal embedding lookup matrix.
• labels (torch.LongTensor of shape (batch_size,), optional) — Labels for computing the sequence classification/regression loss. Indices should be in [0, ..., config.num_labels - 1]. If config.num_labels == 1 a regression loss is computed (Mean-Square loss), If config.num_labels > 1 a classification loss is computed (Cross-Entropy).
• output_attentions (bool, optional) — Whether or not to return the attentions tensors of all attention layers. See attentions under returned tensors for more detail.
• output_hidden_states (bool, optional) — Whether or not to return the hidden states of all layers. See hidden_states under returned tensors for more detail.
• return_dict (bool, optional) — 是否返回 ModelOutput 对象，而非普通的元组。

返回 transformers.modeling_outputs.SequenceClassifierOutput 对象或 torch.FloatTensor 元组（如果传入 return_dict=False 或 config.return_dict=False），其中包含取决于配置 (XLMConfig) 和输入的不同元素。

• loss (形状为 (1,) 的 torch.FloatTensor，可选，当提供 labels 时返回) — 分类损失（如果 config.num_labels==1，则为回归损失）。

• logits (形状为 (batch_size, config.num_labels) 的 torch.FloatTensor) — 分类（如果 config.num_labels==1，则为回归）分数（SoftMax 之前）。

• hidden_states (tuple(torch.FloatTensor), optional, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层；+一个用于每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), optional, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (torch.LongTensor，形状为 (batch_size, num_choices, sequence_length)) — 词汇表中输入序列 token 的索引。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (torch.Tensor，形状为 (batch_size, sequence_length), optional) — 用于避免在填充 token 索引上执行注意力的掩码。掩码值选择在 [0, 1] 中：
  • 1 表示**未被掩码**的 token，
  • 0 表示**被掩码**的 token。

  什么是注意力掩码？

• langs (torch.LongTensor，形状为 (batch_size, num_choices, sequence_length), optional) — 用于指示输入中每个 token 语言的并行 token 序列。索引是语言 ID，可以通过使用模型配置中提供的两个转换映射（仅适用于多语言模型）从语言名称中获取。更具体地说，*语言名称到语言 ID* 的映射在 model.config.lang2id（一个字符串到 int 的字典）中，*语言 ID 到语言名称* 的映射在 model.config.id2lang（一个 int 到字符串的字典）中。

  有关详细用法示例，请参阅 多语言文档。

• token_type_ids (torch.LongTensor，形状为 (batch_size, num_choices, sequence_length), optional) — 分段 token 索引，用于指示输入的第一个和第二个部分。索引选择在 [0, 1] 中：
  • 0 对应于 *句子 A* token，
  • 1 对应于 *句子 B* token。

  什么是 token 类型 ID？

• position_ids (torch.LongTensor，形状为 (batch_size, num_choices, sequence_length), optional) — 位置嵌入中每个输入序列 token 位置的索引。选择范围为 [0, config.max_position_embeddings - 1]。

  什么是位置 ID？

• lengths (torch.LongTensor，形状为 (batch_size,), optional) — 每句话的长度，可用于避免在填充 token 索引上执行注意力。您也可以使用 attention_mask 达到同样的效果（见上文），此处保留是为了兼容性。索引选择范围为 [0, ..., input_ids.size(-1)]。
• cache (dict[str, torch.FloatTensor], optional) — EncoderDecoderCache 的实例，包含预先计算的 KV 状态。可用于加快顺序解码速度。
• inputs_embeds (torch.FloatTensor，形状为 (batch_size, num_choices, sequence_length, hidden_size), optional) — 可选地，您可以选择直接传入嵌入表示而不是 input_ids。如果您希望对如何将 input_ids 索引转换为关联向量有比模型内部嵌入查找矩阵更多的控制，这很有用。
• labels (torch.LongTensor，形状为 (batch_size,), optional) — 用于计算多项选择分类损失的标签。索引应在 [0, ..., num_choices-1] 范围内，其中 num_choices 是输入张量第二维的大小。（请参阅上面的 input_ids）
• output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, optional) — 是否返回 ModelOutput 对象，而非普通的元组。

返回 transformers.modeling_outputs.MultipleChoiceModelOutput 对象或 torch.FloatTensor 元组（如果传入 return_dict=False 或 config.return_dict=False），其中包含取决于配置 (XLMConfig) 和输入的不同元素。

• loss (形状为 (1,) 的 torch.FloatTensor，可选，当提供 labels 时返回) — 分类损失。

• logits (形状为 (batch_size, num_choices) 的 torch.FloatTensor) — num_choices 是输入张量的第二维大小。（请参阅上面的 input_ids）。

  分类分数（SoftMax 之前）。

• hidden_states (tuple(torch.FloatTensor), optional, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层；+一个用于每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), optional, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (torch.Tensor，形状为 (batch_size, sequence_length), optional) — 词汇表中输入序列 token 的索引。默认情况下会忽略填充。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (torch.Tensor，形状为 (batch_size, sequence_length), optional) — 用于避免在填充 token 索引上执行注意力的掩码。掩码值选择在 [0, 1] 中：
  • 1 表示**未被掩码**的 token，
  • 0 表示**被掩码**的 token。

  什么是注意力掩码？

• langs (torch.LongTensor，形状为 (batch_size, sequence_length), optional) — 用于指示输入中每个 token 语言的并行 token 序列。索引是语言 ID，可以通过使用模型配置中提供的两个转换映射（仅适用于多语言模型）从语言名称中获取。更具体地说，*语言名称到语言 ID* 的映射在 model.config.lang2id（一个字符串到 int 的字典）中，*语言 ID 到语言名称* 的映射在 model.config.id2lang（一个 int 到字符串的字典）中。

  有关详细用法示例，请参阅 多语言文档。

• token_type_ids (torch.Tensor，形状为 (batch_size, sequence_length), optional) — 分段 token 索引，用于指示输入的第一个和第二个部分。索引选择在 [0, 1] 中：
  • 0 对应于 *句子 A* token，
  • 1 对应于 *句子 B* token。

  什么是 token 类型 ID？

• position_ids (torch.Tensor，形状为 (batch_size, sequence_length), optional) — 位置嵌入中每个输入序列 token 位置的索引。选择范围为 [0, config.n_positions - 1]。

  什么是位置 ID？

• lengths (torch.LongTensor，形状为 (batch_size,), optional) — 每句话的长度，可用于避免在填充 token 索引上执行注意力。您也可以使用 attention_mask 达到同样的效果（见上文），此处保留是为了兼容性。索引选择范围为 [0, ..., input_ids.size(-1)]。
• cache (dict[str, torch.FloatTensor], optional) — EncoderDecoderCache 的实例，包含预先计算的 KV 状态。可用于加快顺序解码速度。
• inputs_embeds (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size), optional) — 可选地，您可以选择直接传入嵌入表示而不是 input_ids。如果您希望对如何将 input_ids 索引转换为关联向量有比模型内部嵌入查找矩阵更多的控制，这很有用。
• labels (torch.LongTensor，形状为 (batch_size, sequence_length), optional) — 用于计算 token 分类损失的标签。索引应在 [0, ..., config.num_labels - 1] 范围内。
• output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, optional) — 是否返回 ModelOutput 对象，而非普通的元组。

返回 transformers.modeling_outputs.TokenClassifierOutput 对象或 torch.FloatTensor 元组（如果传入 return_dict=False 或 config.return_dict=False），其中包含取决于配置 (XLMConfig) 和输入的不同元素。

• loss (形状为 (1,) 的 torch.FloatTensor，可选，当提供 labels 时返回) — 分类损失。

• logits (形状为 (batch_size, sequence_length, config.num_labels) 的 torch.FloatTensor) — 分类分数（SoftMax 之前）。

• hidden_states (tuple(torch.FloatTensor), optional, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层；+一个用于每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), optional, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (torch.Tensor，形状为 (batch_size, sequence_length), optional) — 词汇表中输入序列 token 的索引。默认情况下会忽略填充。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (torch.Tensor，形状为 (batch_size, sequence_length), optional) — 用于避免在填充 token 索引上执行注意力的掩码。掩码值选择在 [0, 1] 中：
  • 1 表示**未被掩码**的 token，
  • 0 表示**被掩码**的 token。

  什么是注意力掩码？

• langs (torch.LongTensor，形状为 (batch_size, sequence_length), optional) — 用于指示输入中每个 token 语言的并行 token 序列。索引是语言 ID，可以通过使用模型配置中提供的两个转换映射（仅适用于多语言模型）从语言名称中获取。更具体地说，*语言名称到语言 ID* 的映射在 model.config.lang2id（一个字符串到 int 的字典）中，*语言 ID 到语言名称* 的映射在 model.config.id2lang（一个 int 到字符串的字典）中。

  有关详细用法示例，请参阅 多语言文档。

• token_type_ids (torch.Tensor，形状为 (batch_size, sequence_length), optional) — 分段 token 索引，用于指示输入的第一个和第二个部分。索引选择在 [0, 1] 中：
  • 0 对应于 *句子 A* token，
  • 1 对应于 *句子 B* token。

  什么是 token 类型 ID？

• position_ids (torch.Tensor of shape (batch_size, sequence_length), optional) — 输入序列中每个 token 在位置嵌入中的位置索引。选择范围为 [0, config.n_positions - 1]。

  什么是位置 ID？

• lengths (torch.LongTensor of shape (batch_size,), optional) — 每句话的长度，可用于避免对填充 token 索引执行注意力操作。您也可以使用 attention_mask 达到同样的效果（见上文），这里保留是为了兼容性。选择范围为 [0, ..., input_ids.size(-1)]。
• cache (dict[str, torch.FloatTensor], optional) — EncoderDecoderCache 的实例，包含预先计算的 KV 状态。可用于加速顺序解码。
• inputs_embeds (torch.Tensor of shape (batch_size, sequence_length, hidden_size), optional) — 可选参数，您可以直接传入嵌入表示，而不是传入 input_ids。如果您希望对 input_ids 索引如何转换为相关向量有比模型内部嵌入查找矩阵更多的控制，这很有用。
• start_positions (torch.Tensor of shape (batch_size,), optional) — 用于计算 token 分类损失的标注范围起点的标签位置（索引）。位置被限制在序列长度 (sequence_length) 范围内。序列以外的位置不计入损失计算。
• end_positions (torch.Tensor of shape (batch_size,), optional) — 用于计算 token 分类损失的标注范围结束点的标签位置（索引）。位置被限制在序列长度 (sequence_length) 范围内。序列以外的位置不计入损失计算。
• output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量中的 attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量中的 hidden_states。
• return_dict (bool, optional) — 是否返回 ModelOutput 而不是普通的元组。

A transformers.modeling_outputs.QuestionAnsweringModelOutput or a tuple of torch.FloatTensor (如果传入 return_dict=False 或 config.return_dict=False) ，包含根据配置 (XLMConfig) 和输入的不同元素。

• loss (torch.FloatTensor of shape (1,), 可选, 当提供 labels 时返回) — 总范围提取损失是起始位置和结束位置的交叉熵之和。

• start_logits (torch.FloatTensor of shape (batch_size, sequence_length)) — 范围起始分数（SoftMax 之前）。

• end_logits (torch.FloatTensor of shape (batch_size, sequence_length)) — 范围结束分数（SoftMax 之前）。

• hidden_states (tuple(torch.FloatTensor), optional, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层；+一个用于每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), optional, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (torch.Tensor of shape (batch_size, sequence_length), optional) — 输入序列 token 在词汇表中的索引。默认情况下将忽略填充。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (torch.Tensor of shape (batch_size, sequence_length), optional) — 用于避免对填充 token 索引执行注意力操作的掩码。掩码值选择范围为 [0, 1]：
  • 1 表示 未被掩码 的 token，
  • 0 表示 被掩码 的 token。

  什么是注意力掩码？

• langs (torch.LongTensor of shape (batch_size, sequence_length), optional) — 与输入序列并行的 token 序列，用于指示输入中每个 token 的语言。索引是语言 ID，可以通过使用模型配置中提供的两个转换映射从语言名称中获取（仅为多语言模型提供）。更具体地说，*语言名称到语言 ID* 的映射在 model.config.lang2id（一个字符串到整数的字典）中，而 *语言 ID 到语言名称* 的映射在 model.config.id2lang（一个整数到字符串的字典）中。

  请参阅 多语言文档 中详细的使用示例。

• token_type_ids (torch.Tensor of shape (batch_size, sequence_length), optional) — 用于指示输入第一部分和第二部分的段 token 索引。索引选择范围为 [0, 1]：
  • 0 对应于 *句子 A* token，
  • 1 对应于 *句子 B* token。

  什么是 token 类型 ID？

• position_ids (torch.Tensor of shape (batch_size, sequence_length), optional) — 输入序列中每个 token 在位置嵌入中的位置索引。选择范围为 [0, config.n_positions - 1]。

  什么是位置 ID？

• lengths (torch.LongTensor of shape (batch_size,), optional) — 每句话的长度，可用于避免对填充 token 索引执行注意力操作。您也可以使用 attention_mask 达到同样的效果（见上文），这里保留是为了兼容性。选择范围为 [0, ..., input_ids.size(-1)]。
• cache (dict[str, torch.FloatTensor], optional) — EncoderDecoderCache 的实例，包含预先计算的 KV 状态。可用于加速顺序解码。
• inputs_embeds (torch.Tensor of shape (batch_size, sequence_length, hidden_size), optional) — 可选参数，您可以直接传入嵌入表示，而不是传入 input_ids。如果您希望对 input_ids 索引如何转换为相关向量有比模型内部嵌入查找矩阵更多的控制，这很有用。
• start_positions (torch.Tensor of shape (batch_size,), optional) — 用于计算 token 分类损失的标注范围起点的标签位置（索引）。位置被限制在序列长度 (sequence_length) 范围内。序列以外的位置不计入损失计算。
• end_positions (torch.Tensor of shape (batch_size,), optional) — 用于计算 token 分类损失的标注范围结束点的标签位置（索引）。位置被限制在序列长度 (sequence_length) 范围内。序列以外的位置不计入损失计算。
• is_impossible (torch.LongTensor of shape (batch_size,), optional) — 用于标注问题是否有答案（SQuAD 2.0）的标签。
• cls_index (torch.LongTensor of shape (batch_size,), optional) — 用于计算答案合理性时作为输入的分类 token 位置（索引）的标签。
• p_mask (torch.FloatTensor of shape (batch_size, sequence_length), optional) — 可选掩码，用于指示不能出现在答案中的 token（例如 [CLS]、[PAD] 等）。1.0 表示 token 应该被掩码，0.0 表示 token 未被掩码。
• output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量中的 attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量中的 hidden_states。
• return_dict (bool, optional) — 是否返回 ModelOutput 而不是普通的元组。

A transformers.models.xlm.modeling_xlm.XLMForQuestionAnsweringOutput or a tuple of torch.FloatTensor (如果传入 return_dict=False 或 config.return_dict=False) ，包含根据配置 (XLMConfig) 和输入的不同元素。

• loss (torch.FloatTensor of shape (1,), optional, 如果同时提供 start_positions 和 end_positions 则返回) — 分类损失，是起始 token、结束 token（如果提供则包括 is_impossible）分类损失的总和。

• start_top_log_probs (torch.FloatTensor of shape (batch_size, config.start_n_top), optional, 如果未提供 start_positions 或 end_positions 则返回) — 前 config.start_n_top 个起始 token 可能性（束搜索）的对数概率。

• start_top_index (torch.LongTensor of shape (batch_size, config.start_n_top), optional, 如果未提供 start_positions 或 end_positions 则返回) — 前 config.start_n_top 个起始 token 可能性（束搜索）的索引。

• end_top_log_probs (torch.FloatTensor of shape (batch_size, config.start_n_top * config.end_n_top), optional, 如果未提供 start_positions 或 end_positions 则返回) — 前 config.start_n_top * config.end_n_top 个结束 token 可能性（束搜索）的对数概率。

• end_top_index (torch.LongTensor of shape (batch_size, config.start_n_top * config.end_n_top), optional, 如果未提供 start_positions 或 end_positions 则返回) — 前 config.start_n_top * config.end_n_top 个结束 token 可能性（束搜索）的索引。

• cls_logits (torch.FloatTensor of shape (batch_size,), optional, 如果未提供 start_positions 或 end_positions 则返回) — 答案的 is_impossible 标签的对数概率。

• hidden_states (tuple[torch.FloatTensor, ...] | None.hidden_states, 当传入 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元组（一个用于嵌入层的输出，如果模型有嵌入层，+ 每个层的输出）。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple[torch.FloatTensor, ...] | None.attentions, 当传入 output_attentions=True 或当 config.output_attentions=True 时返回) — 形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元组（每个层一个）。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。