参数

• token_ids_0 — （可能已格式化）序列的 ID 列表。
• token_ids_1 — 如果 already_has_special_tokens=True 则未使用。在这种情况下必须为 None。
• already_has_special_tokens — 序列是否已使用特殊标记进行格式化。

特殊令牌为 1，序列令牌为 0。

参数

• input_ids (torch.Tensor, 形状为 (batch_size, sequence_length), 可选) — 输入序列标记的索引。默认忽略填充。

  可以使用 AutoTokenizer 获得索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入ID？

• attention_mask (torch.Tensor, 形状为 (batch_size, sequence_length), 可选) — 用于避免对填充标记索引执行注意力的掩码。掩码值选择在 [0, 1] 中：
  • 1 表示未被掩码的标记，
  • 0 表示被掩码的标记。

  什么是注意力掩码？

• token_type_ids (torch.LongTensor, 形状为 batch_size, sequence_length, 可选) — 用于指示输入的第一个和第二个部分的段落标记索引。索引选择在 [0, 1] 中：
  • 0 对应于句子 A 标记，
  • 1 对应于句子 B 标记。

  什么是标记类型 ID？

• position_ids (torch.LongTensor, 形状为 batch_size, sequence_length, 可选) — 每个输入序列标记在位置嵌入中的索引。选择范围在 [0, config.max_position_embeddings - 1] 中。

  什么是位置 ID？

• inputs_embeds (torch.Tensor, 形状为 (batch_size, sequence_length, hidden_size), 可选) — 可选地，您可以直接传入嵌入表示，而不是传入 input_ids。这在您希望比模型的内部嵌入查找矩阵对如何将 input_ids 索引转换为相关向量有更多控制时很有用。
• output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。更多细节见返回张量下的 attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。更多细节见返回张量下的 hidden_states。
• return_dict (bool, optional) — 如果为 True，则返回一个 ModelOutput 对象，否则返回一个包含各种元素的元组。

一个 transformers.modeling_outputs.BaseModelOutput 或一个 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），其中包含的元素取决于配置（SplinterConfig）和输入。

• last_hidden_state (torch.FloatTensor, 形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

• hidden_states (tuple(torch.FloatTensor), optional, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层；+一个用于每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), optional, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (torch.Tensor, 形状 (batch_size, sequence_length), optional) — 输入序列的词汇表索引。默认情况下会忽略填充。

  索引可以通过 AutoTokenizer 获得。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入ID？

• attention_mask (torch.Tensor, 形状 (batch_size, sequence_length), optional) — 用于避免对填充标记索引执行注意力的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示未被掩码的标记，
  • 0 表示被掩码的标记。

  什么是注意力掩码？

• token_type_ids (torch.LongTensor, 形状 batch_size, sequence_length, optional) — 用于指示输入的第一个和第二个部分的段标记索引。索引在 [0, 1] 中选择：
  • 0 对应于一个句子 A 标记，
  • 1 对应于一个句子 B 标记。

  什么是标记类型ID？

• position_ids (torch.LongTensor, 形状 batch_size, sequence_length, optional) — 输入序列中每个标记的位置索引。选择范围在 [0, config.max_position_embeddings - 1]。

  什么是位置ID？

• inputs_embeds (torch.Tensor, 形状 (batch_size, sequence_length, hidden_size), optional) — 可选地，您可以直接传入嵌入表示，而不是传入 input_ids。当您希望对如何将 input_ids 索引转换为相关向量拥有比模型内部嵌入查找矩阵更多的控制时，这很有用。
• start_positions (torch.LongTensor, 形状 (batch_size,), optional) — 用于计算标记分类损失的标签（跨度起始位置的索引）。位置被限制在序列长度（sequence_length）内。计算损失时，序列外的任何位置都不会被考虑在内。
• end_positions (torch.LongTensor, 形状 (batch_size,), optional) — 用于计算标记分类损失的标签（跨度结束位置的索引）。位置被限制在序列长度（sequence_length）内。计算损失时，序列外的任何位置都不会被考虑在内。
• output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。更多细节见返回张量下的 attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。更多细节见返回张量下的 hidden_states。
• return_dict (bool, optional) — 如果为 True，则返回一个 ModelOutput 对象，否则返回一个包含各种元素的元组。
• question_positions (torch.LongTensor, 形状 (batch_size, num_questions), optional) — 所有问题标记的位置。如果提供了此参数，则 start_logits 和 end_logits 的形状将是 (batch_size, num_questions, sequence_length)。如果为 None，则只计算批次中每个序列的第一个问题标记的 start_logits 和 end_logits，并且它们的形状将是 (batch_size, sequence_length)。

一个 transformers.modeling_outputs.QuestionAnsweringModelOutput 或一个 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），其中包含的元素取决于配置（SplinterConfig）和输入。

• loss (torch.FloatTensor of shape (1,), 可选, 当提供 labels 时返回) — 总范围提取损失是起始位置和结束位置的交叉熵之和。

• start_logits (torch.FloatTensor of shape (batch_size, sequence_length)) — 范围起始分数（SoftMax 之前）。

• end_logits (torch.FloatTensor of shape (batch_size, sequence_length)) — 范围结束分数（SoftMax 之前）。

• hidden_states (tuple(torch.FloatTensor), optional, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层；+一个用于每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), optional, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (torch.LongTensor of shape (batch_size, num_questions, sequence_length)) — 序列中标记的索引（在词汇表中）。

  索引可以通过 AutoTokenizer 获得。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入ID？

• attention_mask (torch.Tensor of shape (batch_size, sequence_length), optional) — 用于避免对填充标记索引执行注意力的掩码。掩码值选择在 [0, 1] 中：
  • 1 表示未被掩码的标记，
  • 0 表示被掩码的标记。

  什么是注意力掩码？

• token_type_ids (torch.LongTensor of shape batch_size, num_questions, sequence_length, optional) — 用于指示输入的第一个和第二个部分的段标记索引。索引选择在 [0, 1] 中：
  • 0 对应于句子 A 标记，
  • 1 对应于句子 B 标记。

  什么是标记类型ID？

• position_ids (torch.LongTensor of shape batch_size, num_questions, sequence_length, optional) — 每个输入序列标记在位置嵌入中的索引。选择范围在 [0, config.max_position_embeddings - 1]。

  什么是位置ID？

• inputs_embeds (torch.FloatTensor of shape (batch_size, num_questions, sequence_length, hidden_size), optional) — 也可以直接传入嵌入表示，而不是传入 input_ids。如果你想对如何将 input_ids 索引转换为相关向量有更多的控制，而不是使用模型的内部嵌入查找矩阵，这会很有用。
• start_positions (torch.LongTensor of shape (batch_size, num_questions), optional) — 用于计算标记分类损失的标记（索引）位置标签。位置被限制在序列长度（sequence_length）内。计算损失时，序列外的定位不被考虑在内。
• end_positions (torch.LongTensor of shape (batch_size, num_questions), optional) — 用于计算标记分类损失的标记（索引）位置标签。位置被限制在序列长度（sequence_length）内。计算损失时，序列外的定位不被考虑在内。
• output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, optional) — 如果为 True，则返回一个 ModelOutput 而不是一个普通的元组。
• question_positions (torch.LongTensor of shape (batch_size, num_questions), optional) — 所有问题标记的位置。如果提供了，start_logits 和 end_logits 的形状将是 (batch_size, num_questions, sequence_length)。如果为 None，则仅计算批次中每个序列的第一个问题标记的 start_logits 和 end_logits，它们的形状将是 (batch_size, sequence_length)。

如果传递了 return_dict=False 或当 config.return_dict=False 时，是一个 transformers.models.splinter.modeling_splinter.SplinterForPreTrainingOutput 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False），其中包含根据配置（SplinterConfig）和输入而变化的各种元素。

• loss (torch.FloatTensor of shape (1,), optional, 在提供开始和结束位置时返回) — 总跨度提取损失是开始和结束位置的交叉熵之和。

• start_logits (torch.FloatTensor of shape (batch_size, num_questions, sequence_length)) — 跨度开始分数（在 SoftMax 之前）。

• end_logits (torch.FloatTensor of shape (batch_size, num_questions, sequence_length)) — 跨度结束分数（在 SoftMax 之前）。

• hidden_states (tuple[torch.FloatTensor] | None.hidden_states, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入的输出，如果模型有嵌入层，+ 每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple[torch.FloatTensor] | None.attentions, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。