参数

• text (str, List[str], List[List[str]]) — 要编码的序列或序列批次。每个序列必须是字符串。注意，此标记器不支持基于预标记字符串的标记化。
• text_pair (str, List[str], List[List[str]]) — 要编码的序列或序列批次。每个序列必须是字符串。注意，此标记器不支持基于预标记字符串的标记化。
• entity_spans (List[Tuple[int, int]], List[List[Tuple[int, int]]], 可选) — 要编码的实体范围序列或序列批次。每个序列由表示实体基于字符的起始和结束位置的整数元组组成。如果将 "entity_classification" 或 "entity_pair_classification" 作为构造函数中的 task 参数指定，则每个序列的长度必须分别为 1 或 2。如果指定 entities，则每个序列的长度必须等于每个 entities 序列的长度。
• entity_spans_pair (List[Tuple[int, int]], List[List[Tuple[int, int]]], optional) — 要编码的实体范围序列或序列批次的序列。每个序列由表示实体字符的开始和结束位置的整数元组定义。如果您在构造函数中指定了 task 参数，则此参数将被忽略。如果指定了 entities_pair，则每个序列的长度必须等于 entities_pair 中每个序列的长度。
• entities (List[str], List[List[str]], optional) — 要编码的实体序列或实体序列批次的序列。每个序列由表示实体的字符串组成，例如特殊实体（例如，[MASK]）或维基百科的实体标题（例如，洛杉矶）。如果构造函数中指定了 task 参数，则忽略此参数。每个序列的长度必须等于 entity_spans 中每个序列的长度。如果没有指定此参数则指定 entity_spans，则自动构建实体序列或实体序列批次，并用[MASK]实体填充。
• entities_pair （List[str], List[List[str]], 可选）— 需要编码的实体序列或批量序列。每个序列由表示实体的字符串组成，例如特殊实体（例如，[MASK]）或维基百科的实体标题（例如，洛杉矶）。如果在使用构造函数的 task 参数时指定该参数，则忽略该参数。每个序列的长度必须等于每个 entity_spans_pair 序列的长度。如果没有指定该参数而指定了 entity_spans_pair，则自动构造实体序列或实体序列批量，用 [MASK] 实体填充。
• max_entity_length （int, 可选）— entity_ids 的最大长度。
• add_special_tokens （bool, 可选，默认值为 True）— 在编码序列时是否添加特殊标记。这将使用底层 PretrainedTokenizerBase.build_inputs_with_special_tokens 函数，该函数定义了哪些标记被自动添加到输入 id 中。如果想要自动添加 bos 或 eos 标记，这很有用。
• padding (bool, str or PaddingStrategy, optional, defaults to False) — 激活并控制填充。接受以下值：
  • True 或 'longest'：填充到批次中最长的序列（或如果没有提供序列则不填充）。
  • 'max_length'：填充到使用参数 max_length 指定的最大长度，或者如果未提供该参数，则到模型可接受的最大输入长度。
  • False 或 'do_not_pad' （默认值）：不填充（即可以输出包含长度不同的序列的批次）。
• truncation (bool, str or TruncationStrategy, optional, defaults to False) — 激活并控制截断。接受以下值：
  • True 或 'longest_first'：截断到最大长度，该长度由参数 max_length 指定，或者如果在未提供参数的情况下，则为模型可接受的最大输入长度。如果提供了序列对（或批次序列对），这将按照最长序列逐个移除令牌进行截断。
  • 'only_first'：截断到最大长度，该长度由参数 max_length 指定，或者如果在未提供参数的情况下，则为模型可接受的最大输入长度。如果提供了序列对（或批次序列对），这将只截断第一个序列。
  • 'only_second'：截断到最大长度，该长度由参数 max_length 指定，或者如果在未提供参数的情况下，则为模型可接受的最大输入长度。如果提供了序列对（或批次序列对），这将只截断第二个序列。
  • False 或 'do_not_truncate' （默认值）：不截断（即可以输出长度大于模型最大可接受输入大小的批次）。
• max_length (int, 可选) — 通过截断/填充参数之一控制使用的最大长度。

  如果未设置或设置为 None，则会在截断/填充参数需要一个最大长度时使用预定义的模型最大长度。如果模型没有特定的最大输入长度（如 XLNet），则不会启用截断/填充到最大长度。

• stride (int, 可选，默认为0) — 如果与 max_length 设置一起，当 return_overflowing_tokens=True 时返回的溢出标记将包含截断序列末尾的一些标记，以在截断序列和溢出序列之间提供一些重叠。此参数的值定义了重叠标记的数量。
• is_split_into_words (bool, 可选，默认为 False) — 是否输入已经被分词（例如，按单词分割）。如果设置为 True，分词器假设输入已经按单词分割（例如，通过空格分割），然后它会进行分词。这在 NER 或标记分类中非常有用。
• pad_to_multiple_of (int, 可选) — 如果设置，将序列填充为提供值的倍数。需要激活 padding。这在启用 NVIDIA 硬件上的 Tensor Cores (>= 7.5 Volta) 时特别有用。
• return_tensors (str 或 TensorType, 可选) — 如果设置，将返回张量而非 Python 整数列表。可接受值有：
  • 'tf'：返回 TensorFlow tf.constant 对象。
  • 'pt'：返回 PyTorch torch.Tensor 对象。
  • 'np'：返回 Numpy np.ndarray 对象。
• return_token_type_ids (bool, 可选) — 是否返回 token 类型 ID。如果留空默认值，将根据特定分词器的默认值返回 token 类型 ID，默认值为 return_outputs 属性定义。
• return_attention_mask (bool, 可选) —— 是否返回注意力掩码。如果保持默认，将根据特定分词器默认设置返回注意力掩码，此默认设置由return_outputs属性定义。

  什么是注意力掩码？

• return_overflowing_tokens (bool, 可选，默认为False) —— 是否返回溢出的标记序列。如果提供了具有truncation_strategy = longest_first或True的输入ID序列对（或批次对），则将引发错误而不是返回溢出标记。
• return_special_tokens_mask (bool, 可选，默认为False) —— 是否返回特殊标记掩码信息。
• return_offsets_mapping (bool, 可选，默认为False）— 是否返回每个标记的(char_start, char_end)。
• return_length (bool, 可选，默认为False）— 是否返回编码输入的长度。
• verbose (bool, 可选，默认为True）— 是否打印更多信息和警告。**kwargs—传递给self.tokenize()方法

包含以下字段的BatchEncoding：

• input_ids—模型将输入的标记ID列表。

  什么是输入ID？

• token_type_ids—模型将输入的标记类型ID列表（当return_token_type_ids=True或“token_type_ids”在self.model_input_names中时）。

  什么是标记类型ID？

• attention_mask—指定模型应关注哪些标记的索引列表（当return_attention_mask=True或“attention_mask”在self.model_input_names中时）。

  什么是注意力掩码？

• entity_ids—要输入模型的实体ID列表。

  什么是输入ID？

• entity_position_ids—要输入模型的输入序列中的实体位置列表。

• entity_token_type_ids — 要输入模型中的实体token类型id的列表（当 return_token_type_ids=True 或 “entity_token_type_ids” 包含在 self.model_input_names 中时）。

  什么是标记类型ID？

• entity_attention_mask — 指定模型应关注哪些实体的索引列表（当 return_attention_mask=True 或 “entity_attention_mask” 包含在 self.model_input_names 中时）。

  什么是注意力掩码？

• entity_start_positions — 词token序列中实体起始位置的列表（当 task="entity_span_classification" 时）。

• entity_end_positions — 词token序列中实体结束位置的列表（当 task="entity_span_classification" 时）。

• overflowing_tokens — 扩展token序列的列表（当指定了 max_length 且 return_overflowing_tokens=True 时）。

• num_truncated_tokens — 被截断的token数量（当指定了 max_length 且 return_overflowing_tokens=True 时）。

• special_tokens_mask — 由0s和1s组成的列表，1表示已添加特殊token，0表示普通序列token（当 add_special_tokens=True 且 return_special_tokens_mask=True 时）。

• length — 输入的长度（当 return_length=True 时）

参数

• input_ids （形状为 (batch_size, sequence_length) 的 torch.LongTensor） — 词汇表中的输入序列标记的索引。

  可以使用 AutoTokenizer 来获取索引。有关详情，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask （形状为 (batch_size, sequence_length) 的 torch.FloatTensor，可选） — 避免对填充标记索引执行注意力的掩码。掩码值选择在 [0, 1]：
  • 1 表示 未遮蔽 的标记，
  • 0 表示 遮蔽 的标记。

  什么是注意力掩码？

• token_type_ids （形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选） — 分段标记索引，用于指示输入的第一部分和第二部分。索引选择在 [0, 1]：
  • 0 对应于 A 句 标记，
  • 1 对应于 B 句 标记。

  什么是标记类型 ID？

• position_ids （形状为(batch_size, sequence_length)的torch.LongTensor，可选） — 每个输入序列标记在位置嵌入中的位置索引。选择在[0, config.max_position_embeddings - 1]范围内。

  什么是位置ID？

• entity_ids （形状为(batch_size, entity_length)的torch.LongTensor） — 实体词汇中的实体标记索引。

  可以通过使用AutoTokenizer来获取索引。有关详细信息，请参阅PreTrainedTokenizer.encode()和PreTrainedTokenizer.call()。

• entity_attention_mask （形状为(batch_size, entity_length)的torch.FloatTensor，可选） — 用于避免在填充实体标记索引上执行注意力的掩码。掩码值选择在[0, 1]：
  • 1：对未掩码的实体标记，
  • 0：对掩码的实体标记。
• entity_token_type_ids (torch.LongTensor 的形状为 (batch_size, entity_length)，可选) — 用于指示实体输入的第一和第二部分的段标记索引。索引在 [0, 1]范围内：
  • 0 对应于 部分 A 实体标记，
  • 1 对应于 部分 B 实体标记。
• entity_position_ids (torch.LongTensor 的形状为 (batch_size, entity_length, max_mention_length)，可选) — 用于表示每种输入实体在位置嵌入中的位置的索引。索引在 [0, config.max_position_embeddings - 1]范围内。
• inputs_embeds (torch.FloatTensor 的形状为 (batch_size, sequence_length, hidden_size)，可选) — 可选择直接传递嵌入表示，而不仅传递 input_ids。当您希望比模型的内部嵌入查找矩阵有更多控制权时，这种方式非常有用，以便将 input_ids 索引转换为相关的向量。
• head_mask (torch.FloatTensor of shape (num_heads,) or (num_layers, num_heads), 可选) — 要移除自我注意力模块中选定头部的掩码。掩码值选择在 [0, 1] 之间：
  • 1 表示头部未被 掩码，
  • 0 表示头部被 掩码。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。详细信息请参考返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。详细信息请参考返回张量下的 hidden_states。
• return_dict (bool, optional) — 是否返回ModelOutput，而不是原始元组。

一个 transformers.models.luke.modeling_luke.BaseLukeModelOutputWithPooling 或 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），根据配置（LukeConfig）和输入包含各种元素。

• last_hidden_state (torch.FloatTensor 形状 (batch_size, sequence_length, hidden_size)) — 模型最后层的输出隐藏状态序列。
• entity_last_hidden_state (torch.FloatTensor 形状 (batch_size, entity_length, hidden_size)) — 模型最后层输出实体隐藏状态序列。
• pooler_output (torch.FloatTensor 形状 (batch_size, hidden_size)) — 序列第1个token（分类token）的最后一层隐藏状态，进一步通过线性层和Tanh激活函数处理。
• hidden_states (tuple(torch.FloatTensor), optional，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 的元组（一个用于嵌入输出的输出，一个用于每个层的输出）。每个层的隐藏状态以及初始嵌入输出。
• entity_hidden_states (tuple(torch.FloatTensor), optional，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 形状为 (batch_size, entity_length, hidden_size) 的 torch.FloatTensor 的元组（一个用于初始实体嵌入输出，一个用于每个层的输出）。每个层的实体隐藏状态以及初始实体嵌入输出。
• attentions (tuple(torch.FloatTensor), optional，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — 形状为 (batch_size, num_heads, sequence_length + entity_length, sequence_length+entity_length) 的 torch.FloatTensor 的元组（每个层一个）。注意力softmax后的注意力权重，用于在每个自注意力头中计算加权的平均值。

参数

• input_ids (torch.LongTensor 形状 (batch_size, sequence_length)) ——词汇表中的输入序列标记的索引。

  可以通过使用AutoTokenizer 获取索引。有关详细信息，请参阅PreTrainedTokenizer.encode() 和PreTrainedTokenizer.call()。

  什么是输入ID？

• attention_mask （可选，形状为 torch.FloatTensor 的 (batch_size, sequence_length) 形状） ——用于避免对填充标记索引进行 attention 的遮罩。遮罩值选择在 [0, 1] 之间：
  • 1 表示 未遮罩 的标记，
  • 0 表示 遮罩 的标记。

  什么是注意力遮罩？

• token_type_ids （可选，形状为 torch.LongTensor 的 (batch_size, sequence_length) 形状） ——用于指示输入的各个部分的标记段索引。索引选择在 [0, 1] 之间：
  • 0 对应于 句子 A 标记，
  • 1 对应于 句子 B 标记。

  什么是标记类型ID？

• position_ids （形状为(batch_size, sequence_length)的torch.LongTensor，可选）- 每个输入序列token的位置嵌入中的索引。在范围[0, config.max_position_embeddings - 1]内选择。

  什么是位置ID?

• entity_ids （形状为(batch_size, entity_length)的torch.LongTensor）- 实体词汇表中的实体token的索引。

  可以通过使用AutoTokenizer来获取索引。请参阅PreTrainedTokenizer.encode()和PreTrainedTokenizer.call()以获取详细信息。

• entity_attention_mask （形状为(batch_size, entity_length)的torch.FloatTensor，可选）- 避免在padding实体token索引上执行注意力的掩码。掩码值在[0, 1]之间选择：
  • 对于未掩码的实体token，其为1；
  • 对于掩码的实体token，其为0。
• entity_token_type_ids （torch.LongTensor 大小为 (batch_size, entity_length)，可选）— 段落标记索引，用于指示实体标记输入的第一和第二部分。索引选择范围为 [0, 1]：
  • 0 对应于 部分 A 实体标记，
  • 1 对应于 部分 B 实体标记。
• entity_position_ids （torch.LongTensor 大小为 (batch_size, entity_length, max_mention_length)，可选）— 每个输入实体在位置向量中的位置索引。在 [0, config.max_position_embeddings - 1] 范围内选择。
• inputs_embeds （torch.FloatTensor 大小为 (batch_size, sequence_length, hidden_size)，可选）— 可选，您可以直接传入嵌入式表示，而不是通过传入 input_ids。这在您想要比模型内部的嵌入查找矩阵有更多控制权时非常有用。
• head_mask (torch.FloatTensor of shape (num_heads,) or (num_layers, num_heads), 可选) — 用于取消自注意力模块中选中头部的掩码。掩码值在 [0, 1] 之间选择：
  • 1 表示头部 未被掩码，
  • 0 表示头部 被掩码。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。请参阅返回张量下的 attentions 以获取更多详细信息。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。请参阅返回张量下的 hidden_states 以获取更多详细信息。
• return_dict (bool, 可选) — 是否返回ModelOutput而不是一个普通的元组。
• labels (torch.LongTensor具有形状(batch_size, sequence_length)，可选) — 为了计算掩盖语言模型损失而提供的标签。索引应在[-100, 0, ..., config.vocab_size]（见input_ids文档字符串）之间，具有索引设置为-100的标记将被忽略（掩盖），仅对位于[0, ..., config.vocab_size]中的标签的标记进行计算损失。
• entity_labels (torch.LongTensor的形状为(batch_size, entity_length)，可选) — 为了计算掩盖语言模型损失而提供的标签。索引应在[-100, 0, ..., config.vocab_size]之间（见input_ids文档字符串）标记具有索引设置为-100的将被忽略（掩盖），只对具有索引在[0, ..., config.vocab_size]之间的标记计算损失。

一个transformers.models.luke.modeling_luke.LukeMaskedLMOutput或一个包含多个元素且依赖于配置（LukeConfig）和输入的torch.FloatTensor元组（如果传递了return_dict=False或当config.return_dict=False）。

• 损失 (torch.FloatTensor 形状为 (1,)，可选，当提供 labels 时返回) — 掩码语言模型 (MLM) 损失与实体预测损失的总和。

• mlm_loss (torch.FloatTensor 形状为 (1,)，可选，当提供 labels 时返回) — 掩码语言模型 (MLM) 损失。

• mep_loss (torch.FloatTensor 形状为 (1,)，可选，当提供 labels 时返回) — 掩码实体预测 (MEP) 损失。

• logits (torch.FloatTensor 形状为 (batch_size, sequence_length, config.vocab_size)) — 语言模型头的预测得分（在 SoftMax 之前每个词汇表标记的得分）。

• entity_logits (torch.FloatTensor 形状为 (batch_size, sequence_length, config.vocab_size)) — 实体预测头的预测得分（在 SoftMax 之前每个实体词汇表标记的得分）。

• hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 嵌入输出加每个层输出 torch.FloatTensor 的元组（每个层一个）形状为 (batch_size, sequence_length, hidden_size)。

  模型在每层输出和初始嵌入输出的隐藏状态。

• entity_hidden_states (tuple(torch.FloatTensor), optional，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 形状为 (batch_size, entity_length, hidden_size) 的 torch.FloatTensor 的元组（一个用于初始实体嵌入输出，一个用于每个层的输出）。每个层的实体隐藏状态以及初始实体嵌入输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — 每个层 torch.FloatTensor 的元组（每个层一个）形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的注意力权重，用于自我注意力头中的加权平均。

参数

• input_ids (torch.LongTensor 形状 (batch_size, sequence_length)) — 输入序列token在词汇表中的索引。

  索引可以通过 AutoTokenizer 获取。更详细的信息请查看 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入ID？

• attention_mask (torch.FloatTensor 的形状为 (batch_size, sequence_length)，可选) — 用于避免对填充标记索引执行注意力的掩码。掩码值选择在 [0, 1] 中：
  • 1 表示 未掩码 的标记，
  • 0 表示 掩码 的标记。

  什么是注意力掩码？

• token_type_ids (torch.LongTensor 的形状为 (batch_size, sequence_length)，可选) — 用于指示输入第一和第二部分的段标记索引。索引在 [0, 1] 中选择：
  • 0 对应于 句子 A 标记，
  • 1 对应于 句子 B 标记。

  什么是标记类型 ID？

• position_ids (torch.LongTensor 的形状为 (batch_size, sequence_length)，可选) — 每个输入序列标记在位置嵌入中的索引。选择在范围 [0, config.max_position_embeddings - 1] 中。

  什么是位置 ID？

• entity_ids (torch.LongTensor 形状 (batch_size, entity_length)) — 实体词汇中实体标记的索引。

  可以使用 AutoTokenizer 获取索引。详细信息参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

• entity_attention_mask (torch.FloatTensor 形状 (batch_size, entity_length)，可选) — 用来防止对填充实体标记索引执行注意力的掩码。掩码值选择 [0, 1]：
  • 1 对应未掩码的实体标记，
  • 0 对应已掩码的实体标记。
• entity_token_type_ids (torch.LongTensor 形状 (batch_size, entity_length)，可选) — 段落标记索引，用于指示实体标记输入的第一和第二部分。索引选择 [0, 1]：
  • 0 对应实体标记的部分 A，
  • 1 对应实体标记的部分 B。
• entity_position_ids (torch.LongTensor 形状 (batch_size, entity_length, max_mention_length)，可选) —— 每个输入实体在位置嵌入中的位置索引。在范围 [0, config.max_position_embeddings - 1] 内选择。
• inputs_embeds (torch.FloatTensor 形状 (batch_size, sequence_length, hidden_size)，可选) —— 可选地，您可以选择直接传递嵌入表示，而不是传递 input_ids。如果您希望比模型内部嵌入查找矩阵有更多控制权，使其将 input_ids 索引转换为相关向量，则此功能非常有用。
• head_mask (torch.FloatTensor 形状 (num_heads,) 或 (num_layers, num_heads)，可选) —— 用于屏蔽自注意力模块中选定头的掩码。所选掩码值在 [0, 1] 内：
  • 1 表示头未被 屏蔽
  • 0 表示头被 屏蔽
• output_attentions （bool，可选）— 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states （bool，可选）— 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict （bool，可选）— 是否返回ModelOutput 而不返回普通元组。
• labels (torch(LongTensor)，形状为 (batch_size,) 或 (batch_size, num_labels)，可选）— 用于计算分类损失的标签。如果形状为 (batch_size,)，则使用交叉熵损失进行单标签分类。在这种情况下，标签应包含位于 [0, ..., config.num_labels - 1] 内的索引。如果形状为 (batch_size, num_labels)，则使用二元交叉熵损失进行多标签分类。在这种情况下，标签应仅包含 [0, 1]，其中 0 和 1 分别表示假和真。

A transformers.models.luke.modeling_luke.EntityClassificationOutput 或 torch 浮点数 元组的实例（如果 return_dict=False 传递或当 config.return_dict=False）由配置（LukeConfig）和输入定义。

• loss （torch(LongTensor)，形状为 (1,)，可选，在提供 labels 时返回）— 分类损失。
• logits （torch(LongTensor)，形状为 (batch_size, config.num_labels)）— 分类得分（SoftMax 之前）。
• hidden_states (tuple(torch.FloatTensor), optional，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 的元组（一个用于嵌入输出的输出，一个用于每个层的输出）。每个层的隐藏状态以及初始嵌入输出。
• entity_hidden_states (tuple(torch.FloatTensor), optional，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 形状为 (batch_size, entity_length, hidden_size) 的 torch.FloatTensor 的元组（一个用于初始实体嵌入输出，一个用于每个层的输出）。每个层的实体隐藏状态以及初始实体嵌入输出。
• attentions （torch(LongTensor) 元组，可选，在传递 output_attentions=True 或当 config.output_attentions=True）— 形状的每个层的 torch(LongTensor)（一个层一个 torch(LongTensor)）元组 (batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax后的注意力权重，用于在自注意力头中计算加权平均值。

参数

• input_ids (torch.LongTensor of shape (batch_size, sequence_length)) — 输入序列标记的索引，在词汇表中。

  索引可以通过使用 AutoTokenizer 获取。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask（torch.FloatTensor 形状为 (batch_size, sequence_length)，可选）—为了防止在填充token索引上执行注意力，需要使用的掩码。掩码值选择范围为 [0, 1]：
• token_type_ids（torch.LongTensor 形状为 (batch_size, sequence_length)，可选）—用于表示输入的两个部分（第一部分和第二部分）的token索引。索引选择范围为 [0, 1]：
• position_ids（torch.LongTensor 形状为 (batch_size, sequence_length)，可选）—每个输入序列token在位置嵌入中的位置索引。选择范围在 [0, config.max_position_embeddings - 1] 内。

  什么是位置ID？

• entity_ids (torch.LongTensor 形状 (batch_size, entity_length)) — 实体词汇中的实体标记索引。

  可以借助 AutoTokenizer 获取索引。有关详细信息，请查阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

• entity_attention_mask (torch.FloatTensor 形状 (batch_size, entity_length)，可选) — 避免对填充实体标记索引执行注意力的掩码。掩码值选择在 [0, 1]：
  • 1 对应于未掩码的实体标记，
  • 0 对应于掩码的实体标记。
• entity_token_type_ids (torch.LongTensor 形状 (batch_size, entity_length)，可选) — 段标记索引以指示实体标记输入的第一和第二部分。索引选择在 [0, 1]：
  • 0 对应于部分 A 的实体标记，
  • 1 对应于部分 B 的实体标记。
• entity_position_ids (torch.LongTensor 形状 (batch_size, entity_length, max_mention_length), 可选) — 每个输入实体在位置嵌入中的位置索引。选择范围 [0, config.max_position_embeddings - 1]。
• inputs_embeds (torch.FloatTensor 形状 (batch_size, sequence_length, hidden_size), 可选) — 可选，您可以直接传递嵌入表示，而不是传递 input_ids。如果您想要比模型的内部嵌入查找矩阵有更多的控制权，将 input_ids 索引转换成相关向量时，这种方式很有用。
• head_mask (torch.FloatTensor 形状 (num_heads,) 或者 (num_layers, num_heads), 可选) — 用于屏蔽自注意力模块所选头的掩码。掩码值在 [0, 1] 范围内：
  • 1 表示未 屏蔽 头;
  • 0 表示已 屏蔽 头。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。详见返回张量下的 attentions 以获得更多细节。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。详见返回张量下的 hidden_states 以获得更多细节。
• return_dict (bool, 可选) — 是否返回ModelOutput 而不是普通的元组。
• labels (torch.LongTensor of shape (batch_size,) or (batch_size, num_labels), 可选) — 用于计算分类损失的标签。如果形状为 (batch_size,)，则使用交叉熵损失进行单标签分类。在这种情况下，标签应包含应在 [0, ..., config.num_labels - 1] 范围内的索引。如果形状为 (batch_size, num_labels)，则使用二值交叉熵损失进行多标签分类。在这种情况下，标签应只包含 [0, 1]，其中0和1分别表示假和真。

A transformers.models.luke.modeling_luke.EntityPairClassificationOutput 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False），它包含了根据配置（LukeConfig）和输入而变化的多个元素。

• loss （torch(LongTensor)，形状为 (1,)，可选，在提供 labels 时返回）— 分类损失。
• logits （torch(LongTensor)，形状为 (batch_size, config.num_labels)）— 分类得分（SoftMax 之前）。
• hidden_states (tuple(torch.FloatTensor), optional，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 的元组（一个用于嵌入输出的输出，一个用于每个层的输出）。每个层的隐藏状态以及初始嵌入输出。
• entity_hidden_states (tuple(torch.FloatTensor), optional，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 形状为 (batch_size, entity_length, hidden_size) 的 torch.FloatTensor 的元组（一个用于初始实体嵌入输出，一个用于每个层的输出）。每个层的实体隐藏状态以及初始实体嵌入输出。
• attentions （torch(LongTensor) 元组，可选，在传递 output_attentions=True 或当 config.output_attentions=True）— 形状的每个层的 torch(LongTensor)（一个层一个 torch(LongTensor)）元组 (batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax后的注意力权重，用于在自注意力头中计算加权平均值。

参数

• input_ids (torch.LongTensor of shape (batch_size, sequence_length)) — 输入序列_token在词汇表中的索引。

  索引可以通过使用 AutoTokenizer 获取。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入索引？

• attention_mask （形状为 (batch_size, sequence_length) 的 torch.FloatTensor，可选）— 用于避免对填充标记索引执行注意力的掩码。选定的掩码值在 [0, 1]：
  • 1 代表未进行掩码的标记，
  • 0 代表进行掩码的标记。
  什么是注意力掩码？
• token_type_ids （形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选）— 段标记索引，用于指示输入的第一部分和第二部分。索引在 [0, 1]：
  • 0 代表句子 A 的标记，
  • 1 代表句子 B 的标记。
  什么是标记类型 ID？
• position_ids （形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选）— 每个输入序列标记在位置嵌入中的索引。在范围 [0, config.max_position_embeddings - 1] 中选择。

  什么是位置 ID？

• entity_ids (torch.LongTensor 形状 (batch_size, entity_length)) — 实体词汇中的实体标记索引。

  索引可以通过使用 AutoTokenizer 获取。详细信息请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

• entity_attention_mask (torch.FloatTensor 形状 (batch_size, entity_length)，可选) — 避免在填充实体标记索引上执行注意力的掩码。掩码值选择范围为 [0, 1]：
  • 1 表示 未掩码 的实体标记；
  • 0 表示 掩码 的实体标记。
• entity_token_type_ids (torch.LongTensor 形状 (batch_size, entity_length)，可选) — 表示实体标记输入的第一部分和第二部分的段标记索引。索引选择范围为 [0, 1]：
  • 0 对应 部分 A 实体标记；
  • 1 对应 部分 B 实体标记。
• entity_position_ids （形状为 torch.LongTensor，大小为 (batch_size, entity_length, max_mention_length) 的张量，可选） — 每个输入实体在位置嵌入中的位置索引。选择范围在 [0, config.max_position_embeddings - 1] 之间。
• inputs_embeds （形状为 torch.FloatTensor，大小为 (batch_size, sequence_length, hidden_size) 的张量，可选） — 可选的，你可以直接传递嵌入表示，而不是通过 input_ids。如果想要比模型内部的嵌入查找矩阵更大程度地控制如何将 input_ids 索引转换成相关的向量，这个选项非常有用。
• head_mask （形状为 torch.FloatTensor，大小为 (num_heads,) 或 (num_layers, num_heads) 的张量，可选） — 用于取消选择自注意力模块中选中头部的掩码。掩码值选择的范围在 [0, 1]：
  • 1 表示头部 未掩码，
  • 0 表示头部 掩码。
• output_attentions (bool, 可选) — 是否返回所有注意力层的数据张量。更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 对象而不是一个普通的元组。
• entity_start_positions (torch.LongTensor) — 单词标记序列中实体的起始位置。

• loss （torch(LongTensor)，形状为 (1,)，可选，在提供 labels 时返回）— 分类损失。
• hidden_states (tuple(torch.FloatTensor), optional，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 的元组（一个用于嵌入输出的输出，一个用于每个层的输出）。每个层的隐藏状态以及初始嵌入输出。
• entity_hidden_states (tuple(torch.FloatTensor), optional，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 形状为 (batch_size, entity_length, hidden_size) 的 torch.FloatTensor 的元组（一个用于初始实体嵌入输出，一个用于每个层的输出）。每个层的实体隐藏状态以及初始实体嵌入输出。
• attentions （torch(LongTensor) 元组，可选，在传递 output_attentions=True 或当 config.output_attentions=True）— 形状的每个层的 torch(LongTensor)（一个层一个 torch(LongTensor)）元组 (batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax后的注意力权重，用于在自注意力头中计算加权平均值。

参数

• input_ids (torch.LongTensor of shape (batch_size, sequence_length)) — 输入序列token在词典中的索引。

  索引可以通过使用 AutoTokenizer 获得。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入ID？

• attention_mask (torch.FloatTensor 形状为 (batch_size, sequence_length)，可选) — 避免对填充标记索引执行注意力操作的掩码。选定的掩码值在 [0, 1] 范围内：
  • 1 代表 未掩码 的标记，
  • 0 代表 掩码 的标记。

  什么是注意力掩码？

• token_type_ids (torch.LongTensor 形状为 (batch_size, sequence_length)，可选) — 标记段索引，用于指示输入的第1部分和第2部分。索引值选自 [0, 1]：
  • 0 表示 句子A 标记，
  • 1 表示 句子B 标记。

  什么是标记类型ID？

• position_ids (torch.LongTensor 形状为 (batch_size, sequence_length)，可选) — 每个输入序列标记在位置嵌入中的索引。选择范围在 [0, config.max_position_embeddings - 1]。

  什么是位置ID？

• entity_ids （形如 torch.LongTensor 的张量，形状为 (batch_size, entity_length)）— 实体词汇中的实体标记索引。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

• entity_attention_mask （形如 torch.FloatTensor 的张量，形状为 (batch_size, entity_length)，可选）— 用于避免在填充实体标记索引上执行注意力的掩码。掩码值选择在 [0, 1] 范围内：
  • 1 用于未掩码的实体标记；
  • 0 用于掩码的实体标记。
• entity_token_type_ids （形如 torch.LongTensor 的张量，形状为 (batch_size, entity_length)，可选）— 用于指示实体标记输入的第一和第二部分的段标记索引。索引选择在 [0, 1] 范围内：
  • 0 对应于部分 A 的实体标记；
  • 1 对应于部分 B 的实体标记。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。更多详情请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多详情请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。
• labels (torch.LongTensor 形状为 (batch_size,)，可选项) — 用于计算序列分类/回归损失的标签。索引应在 [0, ..., config.num_labels - 1] 范围内。如果 config.num_labels == 1 则计算回归损失（均方损失），如果 config.num_labels > 1 则计算分类损失（交叉熵）。

transformers.models.luke.modeling_luke.LukeSequenceClassifierOutput 或一个 torch.FloatTensor 的元组（如果传递了return_dict=False 或当 config.return_dict=False），取决于配置（《LukeConfig》）和输入的元素。

• loss（torch.FloatTensor 形状为 (1,)，可选项，在提供 labels 时返回）—— 分类（如果 config.num_labels==1则为回归）损失。

• logits（torch.FloatTensor 形状为 (batch_size, config.num_labels)）—— 分类（如果 config.num_labels==1则为回归）分数（在 SoftMax 之前）。

• hidden_states（tuple(torch.FloatTensor)，可选项，在传递output_hidden_states=True时返回或当 config.output_hidden_states=True 时返回）—— 一个包含 torch.FloatTensor 的元组（如果模型有嵌入层，则为嵌入层的输出 + 每个层的输出）的形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层的输出以及可选的初始嵌入输出的隐藏状态。

• entity_hidden_states (tuple(torch.FloatTensor), optional，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 形状为 (batch_size, entity_length, hidden_size) 的 torch.FloatTensor 的元组（一个用于初始实体嵌入输出，一个用于每个层的输出）。每个层的实体隐藏状态以及初始实体嵌入输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — 每个层 torch.FloatTensor 的元组（每个层一个）形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的注意力权重，用于自我注意力头中的加权平均。

参数

• input_ids (torch.LongTensor of shape (batch_size, num_choices, sequence_length)) — 输入序列标记的索引，在词汇表中的索引。

  可以通过 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入索引？

• attention_mask（一个形状为 (batch_size, num_choices, sequence_length) 的 torch.FloatTensor，可选） — 用于避免对填充token索引执行注意力操作的掩码。掩码值的选择在 [0, 1] 中：
  • 1 表示 未被掩码 的token
  • 0 表示 被掩码 的token

  什么是注意力掩码？

• token_type_ids（一个形状为 (batch_size, num_choices, sequence_length) 的 torch.LongTensor，可选） — 标记段索引以指明输入的各个部分。选择在 [0, 1] 中：
  • 0 对应于 句子 A 标记
  • 1 对应于 句子 B 标记

  什么是标记类型ID？

• position_ids（一个形状为 (batch_size, num_choices, sequence_length) 的 torch.LongTensor，可选） — 每个输入序列token在位置嵌入中的索引。在范围 [0, config.max_position_embeddings - 1] 内选择。

  什么是位置ID？

• entity_ids (torch.LongTensor of shape (batch_size, entity_length)) — 实体词汇中的实体标记索引。

  可以使用 AutoTokenizer 获取索引。详见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call() 的详细信息。

• entity_attention_mask (torch.FloatTensor of shape (batch_size, entity_length), 可选) — 避免对填充实体标记索引执行注意力操作的掩码。掩码值选择在 [0, 1]:
  • 1 表示未 掩码 的实体标记，
  • 0 表示已 掩码 的实体标记。
• entity_token_type_ids (torch.LongTensor of shape (batch_size, entity_length), 可选) — 分段标记索引，以指示实体标记输入的第一和第二部分。索引选择在 [0, 1]:
  • 0 对应于 部分 A 的实体标记，
  • 1 对应于 部分 B 的实体标记。
• entity_position_ids (torch.LongTensor 的形状为 (batch_size, entity_length, max_mention_length)，可选) — 每个输入实体在位置嵌入中的位置索引。在 [0, config.max_position_embeddings - 1] 范围内选择。
• inputs_embeds (torch.FloatTensor 的形状为 (batch_size, num_choices, sequence_length, hidden_size)，可选) — 可选的，您可以直接传递嵌入表示，而不是传递 input_ids。如果您希望对如何将 input_ids 索引转换为相关向量有更多控制权，这将很有用。
• head_mask (torch.FloatTensor 的形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于取消选择自注意力模块选定头部的掩码。掩码值在 [0, 1] 之间选择：
  • 1 表示头部 未掩码，
  • 0 表示头部 已掩码。
• output_attentions (bool, 可选) — 是否返回所有注意力层注意力的张量。有关返回的张量中的更多详情，请参见 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关返回的张量中的更多详情，请参见 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是纯元组。
• labels (torch.LongTensor of shape (batch_size,), optional) — 计算多选分类损失的标签。索引应该在代码 [0, ..., num_choices-1] 中，其中 num_choices 是输入张量的第二维大小。 (见上面代码 input_ids )

一个 transformers.models.luke.modeling_luke.LukeMultipleChoiceModelOutput 或一个 torch.FloatTensor 元组（如果传递了 return_dict=False 或 config.return_dict=False），根据配置 (LukeConfig) 和输入包含各种元素。

• loss (torch.FloatTensor of shape (1,), optional, 附加当提供 labels 时) — 分类损失。

• logits (torch.FloatTensor of shape (batch_size, num_choices)) — num_choices 是输入张量的第二维。 (见上面代码 input_ids )

  分类分数（在SoftMax之前）。

• hidden_states（tuple(torch.FloatTensor)，可选项，在传递output_hidden_states=True时返回或当 config.output_hidden_states=True 时返回）—— 一个包含 torch.FloatTensor 的元组（如果模型有嵌入层，则为嵌入层的输出 + 每个层的输出）的形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层的输出以及可选的初始嵌入输出的隐藏状态。

• entity_hidden_states (tuple(torch.FloatTensor), optional，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 形状为 (batch_size, entity_length, hidden_size) 的 torch.FloatTensor 的元组（一个用于初始实体嵌入输出，一个用于每个层的输出）。每个层的实体隐藏状态以及初始实体嵌入输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — 每个层 torch.FloatTensor 的元组（每个层一个）形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的注意力权重，用于自我注意力头中的加权平均。

参数

• input_ids (torch.LongTensor of shape (batch_size, sequence_length)) — 输入序列标记在词汇表中的索引。

  索引可以使用 AutoTokenizer 获取。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 IDs？

• attention_mask (torch.FloatTensor 的形状为 (batch_size, sequence_length)，可选） — 用于避免在填充标记索引处执行注意力的掩码。选定的掩码值范围在 [0, 1]：
  • 1 表示 未掩码 的标记，
  • 0 表示 已掩码 的标记。

  什么是注意掩码？

• token_type_ids (torch.LongTensor 的形状为 (batch_size, sequence_length)，可选） — 用于指示输入的两个部分的分段标记索引。索引选择在 [0, 1] 之间：
  • 0 对应于 句子 A 标记，
  • 1 对应于 句子 B 标记。

  什么是标记类型 ID？

• position_ids (torch.LongTensor 的形状为 (batch_size, sequence_length)，可选） — 每个输入序列标记在位置嵌入中的位置索引。选择的范围在 [0, config.max_position_embeddings - 1] 之间。

  什么是位置 ID？

• entity_ids (torch.LongTensor 形状为 (batch_size, entity_length)) — 实体词汇中的实体标记索引。

  可以使用 AutoTokenizer 获取索引。详见 PreTrainedTokenizer.encode() 及 PreTrainedTokenizer.call() 的细节。

• entity_attention_mask (torch.FloatTensor 形状为 (batch_size, entity_length)，可选) — 用于避免在填充实体标记索引上执行注意力的掩码。掩码值选择在 [0, 1] 之间：
  • 1 表示未进行掩码的实体标记，
  • 0 表示进行掩码的实体标记。
• entity_token_type_ids (torch.LongTensor 形状为 (batch_size, entity_length)，可选) — 表示实体标记输入的前后部分的段标记索引。索引选择在 [0, 1] 之间：
  • 0 对应于 部分 A 实体标记，
  • 1 对应于 部分 B 实体标记。
• entity_position_ids (torch.LongTensor of shape (batch_size, entity_length, max_mention_length), 可选) — 每个输入实体的位置在位置嵌入中的索引。范围在 [0, config.max_position_embeddings - 1] 内选定。
• inputs_embeds (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), 可选) — 可选地，直接传入嵌入表示，而不是 input_ids。这有助于当你需要更多控制如何将 input_ids 索引转换为相关向量时，而不是模型内建的嵌入查找矩阵。
• head_mask (torch.FloatTensor of shape (num_heads,) 或 (num_layers, num_heads), 可选) — 用于取消选择自注意力模块中选定头部的掩码。掩码值在 [0, 1] 之间选定：
  • 1 表示头部 未掩码，
  • 0 表示头部 已掩码。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回的张量下的attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回的张量下的hidden_states。
• return_dict (bool, 可选) — 是否返回ModelOutput而不是普通的元组。
• labels (torch.LongTensor of shape (batch_size,), 可选) — 计算多选分类损失的标签。索引应在 [0, ..., num_choices-1] 范围内，其中 num_choices 是输入张量第二维的大小。（见上方 input_ids）

一个 transformers.models.luke.modeling_luke.LukeTokenClassifierOutput，或者一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False）组成，取决于配置（LukeConfig）和输入。

• loss （torch(LongTensor)，形状为 (1,)，可选，在提供 labels 时返回）— 分类损失。

• logits （形状为 torch.FloatTensor(batch_size, sequence_length, config.num_labels) 的 torch.FloatTensor）—— 分类得分（SoftMax 之前）。

• hidden_states（tuple(torch.FloatTensor)，可选项，在传递output_hidden_states=True时返回或当 config.output_hidden_states=True 时返回）—— 一个包含 torch.FloatTensor 的元组（如果模型有嵌入层，则为嵌入层的输出 + 每个层的输出）的形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层的输出以及可选的初始嵌入输出的隐藏状态。

• entity_hidden_states (tuple(torch.FloatTensor), optional，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 形状为 (batch_size, entity_length, hidden_size) 的 torch.FloatTensor 的元组（一个用于初始实体嵌入输出，一个用于每个层的输出）。每个层的实体隐藏状态以及初始实体嵌入输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — 每个层 torch.FloatTensor 的元组（每个层一个）形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的注意力权重，用于自我注意力头中的加权平均。

参数

• input_ids (torch.LongTensor of shape (batch_size, sequence_length)) — 输入序列在词汇表中的索引。

  索引可以通过 AutoTokenizer 获取。详细信息请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (torch.FloatTensor of shape (batch_size, sequence_length), optional) — 避免在填充token索引上执行注意力的掩码。掩码值在[0, 1]之间选择：
  • 1 对应于 未掩码的token，
  • 0 对应于masked的token。

  什么是注意掩码？

• token_type_ids (torch.LongTensor of shape (batch_size, sequence_length), optional) — 指示输入的前后部分的段token索引。索引在[0, 1]之间选择：
  • 0 对应于句子 A的token，
  • 1 对应于句子 B的token。

  什么是token类型ID？

• position_ids (torch.LongTensor of shape (batch_size, sequence_length), optional) — 输入序列中每个token的位置索引。在范围[0, config.max_position_embeddings - 1]内选择。

  什么是位置ID？

• entity_ids （形状为 (batch_size, entity_length) 的 torch.LongTensor） — 实体词汇中的实体标记的索引。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

• entity_attention_mask （形状为 (batch_size, entity_length) 的 torch.FloatTensor，可选） — 避免对填充实体标记索引执行注意力的掩码。掩码值选择在 [0, 1] 之间：
  • 对于未掩码的实体标记为 1，
  • 对于掩码的实体标记为 0。
• entity_token_type_ids （形状为 (batch_size, entity_length) 的 torch.LongTensor，可选） — 段标记索引以指示实体标记输入的第一部分和第二部分。索引选择在 [0, 1] 之间：
  • 0 对应于部分 A 的实体标记，
  • 1 对应于部分 B 的实体标记。
• entity_position_ids (torch.LongTensor 的形状为 (batch_size, entity_length, max_mention_length)，可选) — 每个输入实体在位置嵌入中的位置索引。选择范围为 [0, config.max_position_embeddings - 1]。
• inputs_embeds (torch.FloatTensor 的形状为 (batch_size, sequence_length, hidden_size)，可选) — 可选地，您可以选择直接传递嵌入表示，而不是 input_ids。这在使用模型内部的嵌入查找矩阵转换 input_ids 索引为相关向量方法时很有用。
• head_mask (torch.FloatTensor 的形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于将自注意力模块中选定的头置 null 的掩码。掩码值在 [0, 1] 范围内选择：
  • 1 表示头 未掩码，
  • 0 表示头 掩码。
• output_attentions （bool，可选） — 是否返回所有注意力层的注意力张量。请参阅返回张量下的attsentions，获取更多详细信息。
• output_hidden_states （bool，可选） — 是否返回所有层的隐藏状态。请参阅返回张量下的hidden_states，获取更多详细信息。
• return_dict （bool，可选） — 是否返回ModelOutput对象而非普通元组。
• start_positions (torch.LongTensor of shape (batch_size,), optional) — 标记标记跨度起始位置（索引）的标签，用于计算token分类损失。位置被限制在序列长度（sequence_length）内。序列之外的输出位置不计入损失计算。
• end_positions (torch.LongTensor of shape (batch_size,), optional) — 标记标记跨度结束位置（索引）的标签，用于计算token分类损失。位置被限制在序列长度（sequence_length）内。序列之外的输出位置不计入损失计算。

A transformers.models.luke.modeling_luke.LukeQuestionAnsweringModelOutput 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False），包括根据配置（LukeConfig）和输入的各种元素。

• loss (torch.FloatTensor of shape (1,), optional, returned when labels is provided) — 总跨度提取损失是开始和结束位置的交叉熵之和。

• start_logits (torch.FloatTensor of shape (batch_size, sequence_length)) — 跨度起始得分（在 SoftMax 之前）。

• end_logits (torch.FloatTensor of shape (batch_size, sequence_length)) — 跨度结束得分（在 SoftMax 之前）。

• hidden_states（tuple(torch.FloatTensor)，可选项，在传递output_hidden_states=True时返回或当 config.output_hidden_states=True 时返回）—— 一个包含 torch.FloatTensor 的元组（如果模型有嵌入层，则为嵌入层的输出 + 每个层的输出）的形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层的输出以及可选的初始嵌入输出的隐藏状态。

• entity_hidden_states (tuple(torch.FloatTensor), optional，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 形状为 (batch_size, entity_length, hidden_size) 的 torch.FloatTensor 的元组（一个用于初始实体嵌入输出，一个用于每个层的输出）。每个层的实体隐藏状态以及初始实体嵌入输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — 每个层 torch.FloatTensor 的元组（每个层一个）形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的注意力权重，用于自我注意力头中的加权平均。