参数

• token_ids_0 (list[int]) — 将要添加特殊词元的 ID 列表。
• token_ids_1 (list[int], 可选) — 用于序列对的可选的第二组 ID 列表。

带有适当特殊标记的输入ID列表。

参数

• token_ids_0 (list[int]) — ID 列表。
• token_ids_1 (list[int], 可选) — 用于序列对的可选的第二组 ID 列表。
• already_has_special_tokens (bool, 可选，默认为 False) — 词元列表是否已使用模型的特殊词元进行格式化。

一个范围为 [0, 1] 的整数列表：1 表示特殊标记，0 表示序列标记。

参数

• token_ids_0 (list[int]) — ID 列表。
• token_ids_1 (list[int], 可选) — 用于序列对的可选的第二组 ID 列表。

零列表。

参数

• batch_text_or_text_pairs (list[str], list[tuple[str, str]], list[list[str]], list[tuple[list[str], list[str]]], 对于非快速分词器，还支持 list[list[int]], list[tuple[list[int], list[int]]]) — 待编码的序列批次或序列对批次。这可以是一个字符串/字符串序列/整数序列的列表，或者是一个字符串/字符串序列/整数序列对的列表（详情请见 `encode_plus`）。

参数

• token_ids_0 (list[int]) — 将要添加特殊词元的 ID 列表。
• token_ids_1 (list[int], 可选) — 用于序列对的可选的第二组 ID 列表。

带有适当特殊标记的输入ID列表。

参数

• text (str, list[str], list[list[str]]) — 待编码的序列或序列批次。每个序列可以是一个字符串、一个字符串列表（单个示例的单词或一批示例的问题）或一个字符串列表的列表（一批单词）。
• text_pair (list[str], list[list[str]]) — 待编码的序列或序列批次。每个序列应为一个字符串列表（预分词的字符串）。
• boxes (list[list[int]], list[list[list[int]]]) — 词级边界框。每个边界框都应归一化到 0-1000 的范围。
• word_labels (list[int], list[list[int]], 可选) — 词级整数标签（用于如 FUNSD、CORD 等词元分类任务）。
• add_special_tokens (bool, 可选，默认为 True) — 是否使用与模型相关的特殊词元对序列进行编码。
• padding (bool, str 或 PaddingStrategy, 可选，默认为 False) — 激活并控制填充。接受以下值：
  • True 或 'longest': 填充到批次中最长的序列（如果只提供单个序列则不填充）。
  • 'max_length': 填充到由 `max_length` 参数指定的最大长度，如果未提供该参数，则填充到模型的最大可接受输入长度。
  • False 或 'do_not_pad' (默认): 不填充（即可以输出具有不同长度序列的批次）。
• truncation (bool, str 或 TruncationStrategy, 可选，默认为 False) — 激活并控制截断。接受以下值：
  • True 或 'longest_first': 截断到由 `max_length` 参数指定的最大长度，如果未提供该参数，则截断到模型的最大可接受输入长度。如果提供了一对序列（或一批序列对），这将逐个词元地截断，从最长的序列中移除一个词元。
  • 'only_first': 截断到由 `max_length` 参数指定的最大长度，如果未提供该参数，则截断到模型的最大可接受输入长度。如果提供了一对序列（或一批序列对），这只会截断第一个序列。
  • 'only_second': 截断到由 `max_length` 参数指定的最大长度，如果未提供该参数，则截断到模型的最大可接受输入长度。如果提供了一对序列（或一批序列对），这只会截断第二个序列。
  • False 或 'do_not_truncate' (默认): 不截断（即可以输出序列长度大于模型最大可接受输入尺寸的批次）。
• max_length (int, 可选) — 控制截断/填充参数使用的最大长度。

  如果未设置或设置为 None，当截断/填充参数需要最大长度时，将使用预定义的模型最大长度。如果模型没有特定的最大输入长度（如 XLNet），则停用截断/填充到最大长度的功能。

• stride (int, 可选，默认为 0) — 如果与 `max_length` 一起设置，当 `return_overflowing_tokens=True` 时返回的溢出词元将包含一些来自返回的截断序列末尾的词元，以提供截断和溢出序列之间的一些重叠。此参数的值定义了重叠词元的数量。
• pad_to_multiple_of (int, 可选) — 如果设置，将序列填充到所提供值的倍数。这对于在计算能力 `>= 7.5` (Volta) 的 NVIDIA 硬件上使用 Tensor Cores 特别有用。
• return_tensors (str 或 TensorType, 可选) — 如果设置，将返回张量而不是 Python 整数列表。可接受的值为：
  • 'tf': 返回 TensorFlow tf.constant 对象。
  • 'pt': 返回 PyTorch torch.Tensor 对象。
  • 'np': 返回 Numpy np.ndarray 对象。
• return_token_type_ids (bool, 可选) — 是否返回词元类型 ID。如果保留默认值，将根据特定分词器的默认设置返回词元类型 ID，该设置由 `return_outputs` 属性定义。

  什么是词元类型 ID？

• return_attention_mask (bool, 可选) — 是否返回注意力掩码。如果保留默认值，将根据特定分词器的默认设置返回注意力掩码，该设置由 `return_outputs` 属性定义。

  什么是注意力掩码？

• return_overflowing_tokens (bool, 可选，默认为 False) — 是否返回溢出的词元序列。如果提供了一对输入 ID 序列（或一批序列对）并使用 `truncation_strategy = longest_first` 或 `True`，则会引发错误，而不是返回溢出的词元。
• return_special_tokens_mask (bool, 可选，默认为 False) — 是否返回特殊词元掩码信息。
• return_offsets_mapping (bool, 可选，默认为 False) — 是否为每个词元返回 `(char_start, char_end)`。

  这仅在继承自 PreTrainedTokenizerFast 的快速分词器上可用，如果使用 Python 的分词器，此方法将引发 `NotImplementedError`。

• return_length (bool, 可选，默认为 False) — 是否返回编码输入的长度。
• verbose (bool, 可选，默认为 True) — 是否打印更多信息和警告。
• **kwargs — 传递给 `self.tokenize()` 方法

一个 BatchEncoding，包含以下字段：

• input_ids — 要输入到模型中的标记 ID 列表。

  什么是输入 ID？

• bbox — 待输入模型的边界框列表。

• token_type_ids — 要输入到模型中的标记类型 ID 列表（当 return_token_type_ids=True 或如果 *“token_type_ids”* 在 self.model_input_names 中时）。

  什么是标记类型 ID？

• attention_mask — 指定模型应关注哪些标记的索引列表（当 return_attention_mask=True 或如果 *“attention_mask”* 在 self.model_input_names 中时）。

  什么是注意力掩码？

• labels — 待输入模型的标签列表。（当指定 word_labels 时）。

• overflowing_tokens — 溢出标记序列列表（当指定 max_length 且 return_overflowing_tokens=True 时）。

• num_truncated_tokens — 截断标记的数量（当指定 max_length 且 return_overflowing_tokens=True 时）。

• special_tokens_mask — 0 和 1 的列表，其中 1 表示添加的特殊标记，0 表示常规序列标记（当 add_special_tokens=True 且 return_special_tokens_mask=True 时）。

• length — 输入的长度（当 return_length=True 时）。

参数

• token_ids_0 (list[int]) — ID 列表。
• token_ids_1 (list[int], optional) — 可选的第二个ID列表，用于序列对。

零列表。

参数

• 使用分词器和词汇表，将字符串 转换 为ID序列（整数）。与执行以下操作相同 —
• self.convert_tokens_to_ids(self.tokenize(text))。 — text (str, list[str] 或 list[int]): 要编码的第一个序列。这可以是一个字符串、一个字符串列表（使用 tokenize 方法分词后的字符串）或一个整数列表（使用 convert_tokens_to_ids 方法分词后的字符串ID）。text_pair (str, list[str] 或 list[int], optional): 可选的要编码的第二个序列。这可以是一个字符串、一个字符串列表（使用 tokenize 方法分词后的字符串）或一个整数列表（使用 convert_tokens_to_ids 方法分词后的字符串ID）。

参数

• text (str, list[str] or (for non-fast tokenizers) list[int]) — 要编码的第一个序列。这可以是一个字符串、一个字符串列表（使用 tokenize 方法分词后的字符串）或一个整数列表（使用 convert_tokens_to_ids 方法分词后的字符串ID）。
• text_pair (str, list[str] or list[int], optional) — 可选的要编码的第二个序列。这可以是一个字符串、一个字符串列表（使用 tokenize 方法分词后的字符串）或一个整数列表（使用 convert_tokens_to_ids 方法分词后的字符串ID）。

参数

• input_ids (torch.Tensor，形状为 (batch_size, sequence_length), optional) — 词汇表中输入序列词元的索引。默认情况下，填充将被忽略。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (torch.Tensor，形状为 (batch_size, sequence_length), optional) — 用于避免对填充词元索引执行注意力操作的掩码。掩码值在 [0, 1] 中选择：
  • 对于未被掩码的词元，值为1，
  • 对于被掩码的词元，值为0。

  什么是注意力掩码？

• bbox (torch.LongTensor，形状为 ({0}, 4), optional) — 每个输入序列词元的边界框。在 `[0, config.max_2d_position_embeddings-1]` 范围内选择。每个边界框应为 (x0, y0, x1, y1) 格式的归一化版本，其中 (x0, y0) 对应边界框左上角的位置，(x1, y1) 表示右下角的位置。

  注意，`sequence_length = token_sequence_length + patch_sequence_length + 1`，其中 `1` 是为 [CLS] 词元。关于 `patch_sequence_length`，请参见 `pixel_values`。

• pixel_values (torch.Tensor，形状为 (batch_size, num_channels, image_size, image_size), optional) — 与输入图像对应的张量。可以使用 `{image_processor_class}` 获取像素值。有关详细信息，请参阅 `{image_processor_class}.__call__`（`{processor_class}` 使用 `{image_processor_class}` 处理图像）。
• visual_bbox (torch.LongTensor，形状为 (batch_size, patch_sequence_length, 4), optional) — 图像中每个补丁的边界框。如果未提供，将在模型中创建边界框。
• decoder_input_ids (torch.LongTensor，形状为 (batch_size, target_sequence_length), optional) — 词汇表中解码器输入序列词元的索引。可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。 什么是解码器输入ID？ T5使用 `pad_token_id` 作为生成 `decoder_input_ids` 的起始词元。如果使用 `past_key_values`，可以选择只输入最后的 `decoder_input_ids`（参见 `past_key_values`）。要了解如何为预训练准备 `decoder_input_ids`，请参阅 T5训练。
• decoder_attention_mask (torch.BoolTensor，形状为 (batch_size, target_sequence_length), optional) — 默认行为：生成一个忽略 `decoder_input_ids` 中填充词元的张量。默认情况下也会使用因果掩码。
• inputs_embeds (torch.Tensor，形状为 (batch_size, sequence_length, hidden_size), optional) — 可选地，您可以选择直接传递嵌入表示，而不是传递 `input_ids`。如果您希望比模型内部的嵌入查找矩阵更好地控制如何将 `input_ids` 索引转换为关联向量，这将非常有用。
• encoder_outputs (torch.Tensor, optional) — 元组，包含 (`last_hidden_state`, optional: `hidden_states`, optional: `attentions`)。`last_hidden_state` 的形状为 `(batch_size, sequence_length, hidden_size)`，optional) 是编码器最后一层输出的隐藏状态序列。用于解码器的交叉注意力。
• past_key_values (torch.Tensor, optional) — 预计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常是在解码的先前阶段，当 `use_cache=True` 或 `config.use_cache=True` 时，由模型返回的 `past_key_values`。

  允许两种格式：

  • 一个 Cache 实例，请参阅我们的 kv 缓存指南；
  • 长度为 `config.n_layers` 的 `tuple(torch.FloatTensor)` 的元组，每个元组有两个形状为 `(batch_size, num_heads, sequence_length, embed_size_per_head)` 的张量。这也称为旧版缓存格式。

  模型将输出与输入相同的缓存格式。如果未传递 `past_key_values`，将返回旧版缓存格式。

  如果使用 `past_key_values`，用户可以选择只输入最后的 `input_ids`（那些没有将其过去键值状态提供给此模型的 `input_ids`），形状为 `(batch_size, 1)`，而不是所有形状为 `(batch_size, sequence_length)` 的 `input_ids`。

• head_mask (torch.Tensor，形状为 (num_heads,) 或 (num_layers, num_heads), optional) — 用于将自注意力模块的选定头部置零的掩码。掩码值在 `[0, 1]` 中选择：
  • 1 表示头部未被掩码，
  • 0 表示头部被掩码。
• decoder_inputs_embeds (torch.Tensor，形状为 (batch_size, target_sequence_length, hidden_size), optional) — 可选地，您可以选择直接传递嵌入表示，而不是传递 `decoder_input_ids`。如果使用 `past_key_values`，可以选择只输入最后的 `decoder_inputs_embeds`（参见 `past_key_values`）。如果您希望比模型内部的嵌入查找矩阵更好地控制如何将 `decoder_input_ids` 索引转换为关联向量，这将非常有用。

  如果 `decoder_input_ids` 和 `decoder_inputs_embeds` 都未设置，`decoder_inputs_embeds` 的值将取自 `inputs_embeds`。

• decoder_head_mask (torch.FloatTensor，形状为 (num_heads,) 或 (num_layers, num_heads), optional) — 用于将解码器中自注意力模块的选定头部置零的掩码。掩码值在 `[0, 1]` 中选择：
  • 1 表示头部未被掩码，
  • 0 表示头部被掩码。
• cross_attn_head_mask (torch.Tensor，形状为 (num_heads,) 或 (num_layers, num_heads), optional) — 用于将解码器中交叉注意力模块的选定头部置零的掩码。掩码值在 `[0, 1]` 中选择：
  • 1 表示头部未被掩码，
  • 0 表示头部被掩码。
• use_cache (`, 默认为 True) -- 如果设置为 True，则返回 past_key_values` 键值状态，可用于加速解码（参见 `past_key_values`）。
• output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 `attentions`。
• output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 `hidden_states`。
• return_dict (bool, optional) — 是否返回一个 ModelOutput 而不是一个普通的元组。
• cache_position (torch.LongTensor，形状为 (sequence_length), optional) — 描绘输入序列词元在序列中位置的索引。与 `position_ids` 不同，此张量不受填充影响。它用于在正确的位置更新缓存并推断完整的序列长度。

参数

• input_ids (torch.Tensor，形状为 (batch_size, sequence_length), optional) — 词汇表中输入序列词元的索引。默认情况下，填充将被忽略。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (torch.Tensor，形状为 (batch_size, sequence_length), optional) — 用于避免对填充词元索引执行注意力操作的掩码。掩码值在 [0, 1] 中选择：
  • 对于未被掩码的词元，值为1，
  • 对于被掩码的词元，值为0。

  什么是注意力掩码？

• bbox (torch.LongTensor，形状为 ({0}, 4), optional) — 每个输入序列词元的边界框。在 `[0, config.max_2d_position_embeddings-1]` 范围内选择。每个边界框应为 (x0, y0, x1, y1) 格式的归一化版本，其中 (x0, y0) 对应边界框左上角的位置，(x1, y1) 表示右下角的位置。

  注意，`sequence_length = token_sequence_length + patch_sequence_length + 1`，其中 `1` 是为 [CLS] 词元。关于 `patch_sequence_length`，请参见 `pixel_values`。

• pixel_values (torch.Tensor，形状为 (batch_size, num_channels, image_size, image_size), optional) — 与输入图像对应的张量。可以使用 `{image_processor_class}` 获取像素值。有关详细信息，请参阅 `{image_processor_class}.__call__`（`{processor_class}` 使用 `{image_processor_class}` 处理图像）。
• visual_bbox (torch.LongTensor，形状为 (batch_size, patch_sequence_length, 4), optional) — 图像中每个补丁的边界框。如果未提供，将在模型中创建边界框。
• decoder_input_ids (torch.LongTensor，形状为 (batch_size, target_sequence_length)，可选) — 解码器输入序列在词汇表中的 token 索引。索引可以使用 AutoTokenizer 获取。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。什么是解码器输入 ID？ T5 使用 pad_token_id 作为生成 decoder_input_ids 的起始 token。如果使用 past_key_values，可以选择只输入最后一个 decoder_input_ids（参见 past_key_values）。要了解更多关于如何为预训练准备 decoder_input_ids 的信息，请参阅 T5 训练。
• decoder_attention_mask (torch.BoolTensor，形状为 (batch_size, target_sequence_length)，可选) — 默认行为：生成一个忽略 decoder_input_ids 中填充 token 的张量。默认情况下也会使用因果掩码。
• inputs_embeds (torch.Tensor，形状为 (batch_size, sequence_length, hidden_size)，可选) — 可选地，你可以不传递 input_ids，而是直接传递一个嵌入表示。如果你想比模型内部的嵌入查找矩阵更好地控制如何将 input_ids 索引转换为关联向量，这会很有用。
• encoder_outputs (torch.Tensor，可选) — 元组，包含 (last_hidden_state, 可选: hidden_states, 可选: attentions)。形状为 (batch_size, sequence_length, hidden_size) 的 last_hidden_state（可选）是编码器最后一层输出的隐藏状态序列。用于解码器的交叉注意力机制。
• past_key_values (torch.Tensor，可选) — 预先计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速序列解码。这通常包括模型在解码的前一个阶段返回的 past_key_values，此时 use_cache=True 或 config.use_cache=True。

  允许两种格式：

  • 一个 Cache 实例，请参阅我们的 kv 缓存指南；
  • 一个长度为 config.n_layers 的 tuple(torch.FloatTensor) 元组，每个元组包含 2 个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量）。这也称为传统缓存格式。

  模型将输出与输入相同的缓存格式。如果没有传递 past_key_values，将返回传统缓存格式。

  如果使用了 past_key_values，用户可以选择只输入最后一个 input_ids（那些没有给出其过去键值状态的 token），其形状为 (batch_size, 1)，而不是所有形状为 (batch_size, sequence_length) 的 input_ids。

• head_mask (torch.Tensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于置零自注意力模块中选定头的掩码。掩码值选自 [0, 1]：
  • 1 表示头未被遮盖，
  • 0 表示头被遮盖。
• decoder_inputs_embeds (torch.Tensor，形状为 (batch_size, target_sequence_length, hidden_size)，可选) — 可选地，你可以不传递 decoder_input_ids，而是直接传递一个嵌入表示。如果使用 past_key_values，可以选择只输入最后一个 decoder_inputs_embeds（参见 past_key_values）。如果你想比模型内部的嵌入查找矩阵更好地控制如何将 decoder_input_ids 索引转换为关联向量，这会很有用。

  如果 decoder_input_ids 和 decoder_inputs_embeds 都未设置，decoder_inputs_embeds 将取 inputs_embeds 的值。

• decoder_head_mask (torch.FloatTensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于置零解码器中自注意力模块选定头的掩码。掩码值选自 [0, 1]：
  • 1 表示头未被遮盖，
  • 0 表示头被遮盖。
• cross_attn_head_mask (torch.Tensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于置零解码器中交叉注意力模块选定头的掩码。掩码值选自 [0, 1]：
  • 1 表示头未被遮盖，
  • 0 表示头被遮盖。
• use_cache (`，默认为 True) -- 如果设置为 True，将返回 past_key_values` 的键值状态，可用于加速解码（参见 `past_key_values`）。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool，可选) — 是否返回 ModelOutput 而不是普通的元组。
• labels (torch.LongTensor，形状为 (batch_size,)，可选) — 用于计算语言建模损失的标签。索引应在 [-100, 0, ..., config.vocab_size - 1] 范围内。所有设置为 -100 的标签都会被忽略（遮盖），损失仅对 [0, ..., config.vocab_size] 范围内的标签进行计算。
• cache_position (torch.LongTensor，形状为 (sequence_length)，可选) — 描绘输入序列 token 在序列中位置的索引。与 position_ids 相反，此张量不受填充影响。它用于在正确的位置更新缓存并推断完整的序列长度。

参数

• input_ids (torch.LongTensor，形状为 (batch_size, sequence_length)) — 输入序列在词汇表中的 token 索引。T5 是一个带有相对位置嵌入的模型，因此你应该能够对输入的左右两边进行填充。

  索引可以使用 AutoTokenizer 获取。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  要了解更多关于如何为预训练准备 input_ids 的信息，请参阅 T5 训练。

• bbox (torch.LongTensor，形状为 ({0}, 4)，可选) — 每个输入序列 token 的边界框。选择范围在 [0, config.max_2d_position_embeddings-1]。每个边界框应为 (x0, y0, x1, y1) 格式的归一化版本，其中 (x0, y0) 对应边界框左上角的位置，(x1, y1) 表示右下角的位置。

  请注意，sequence_length = token_sequence_length + patch_sequence_length + 1，其中 1 是 [CLS] token。有关 patch_sequence_length，请参阅 pixel_values。

• attention_mask (torch.Tensor，形状为 (batch_size, sequence_length)，可选) — 用于避免对填充 token 索引执行注意力的掩码。掩码值选自 [0, 1]：
  • 1 表示 token 未被遮盖，
  • 0 表示 token 被遮盖。

  什么是注意力掩码？

• pixel_values (torch.Tensor，形状为 (batch_size, num_channels, image_size, image_size)，可选) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获取。有关详细信息，请参阅 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
• visual_bbox (torch.LongTensor，形状为 (batch_size, patch_sequence_length, 4)，可选) — 图像中每个补丁的边界框。如果未提供，则在模型中创建边界框。
• head_mask (torch.Tensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于置零自注意力模块中选定头的掩码。掩码值选自 [0, 1]：
  • 1 表示头未被遮盖，
  • 0 表示头被遮盖。
• inputs_embeds (torch.Tensor，形状为 (batch_size, sequence_length, hidden_size)，可选) — 可选地，你可以不传递 input_ids，而是直接传递一个嵌入表示。如果你想比模型内部的嵌入查找矩阵更好地控制如何将 input_ids 索引转换为关联向量，这会很有用。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool，可选) — 是否返回 ModelOutput 而不是普通的元组。

一个 transformers.models.udop.modeling_udop.BaseModelOutputWithAttentionMask 或一个 torch.FloatTensor 元组（如果传递了 return_dict=False 或 config.return_dict=False），根据配置（UdopConfig）和输入，包含不同的元素。

• last_hidden_state (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。如果使用 past_key_values，则只输出序列的最后一个隐藏状态，形状为 (batch_size, 1, hidden_size)。
• attention_mask (torch.FloatTensor，形状为 (batch_size, sequence_length)，可选) — 在模型的前向传播中使用的注意力掩码，用于避免对填充 token 索引执行注意力。掩码值选自 [0, 1] — - 1 表示 token 未被遮盖，
  • 0 代表**被掩码**的标记。
• past_key_values (tuple(tuple(torch.FloatTensor))，可选，在传递 use_cache=True 或 config.use_cache=True 时返回) — 长度为 config.n_layers 的 tuple(torch.FloatTensor) 元组，每个元组包含 2 个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量，如果 config.is_encoder_decoder=True，则可选地包含 2 个额外的形状为 (batch_size, num_heads, encoder_sequence_length, embed_size_per_head) 的张量。包含预计算的隐藏状态（自注意力块中的键和值，如果 config.is_encoder_decoder=True 则可选地包含交叉注意力块中的键和值），可用于（参见 past_key_values 输入）加速序列解码。
• hidden_states (tuple(torch.FloatTensor)，可选，在传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型有嵌入层，则一个用于嵌入层的输出，+ 每个层一个输出），形状为 (batch_size, sequence_length, hidden_size)。模型在每个层输出的隐藏状态以及可选的初始嵌入输出。
• attentions (tuple(torch.FloatTensor)，可选，在传递 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 之后的注意力权重，用于在自注意力头中计算加权平均值。
• cross_attentions (tuple(torch.FloatTensor)，可选，在传递 output_attentions=True 和 config.add_cross_attention=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。解码器交叉注意力层的注意力权重，在注意力 softmax 之后，用于在交叉注意力头中计算加权平均值。