参数

• token_ids_0 (List[int]) — 将向其添加特殊标记的 ID 列表。
• token_ids_1 (List[int], optional) — 序列对的可选的第二个 ID 列表。

带有适当特殊标记的 输入 ID 列表。

参数

• token_ids_0 (List[int]) — ID 列表。
• token_ids_1 (List[int], optional) — 序列对的可选的第二个 ID 列表。
• already_has_special_tokens (bool, 可选, 默认为 False) — 指示 token 列表是否已针对模型进行了特殊 token 格式化。

一个整数列表，范围为 [0, 1]：1 代表特殊 token，0 代表序列 token。

参数

• token_ids_0 (List[int]) — ID 列表。
• token_ids_1 (List[int], 可选) — 用于序列对的可选的第二个 ID 列表。

零列表。

参数

• batch_text_or_text_pairs (List[str], List[Tuple[str, str]], List[List[str]], List[Tuple[List[str], List[str]]], 以及对于非快速 tokenizer，还有 List[List[int]], List[Tuple[List[int], List[int]]]) — 要编码的序列批次或序列对批次。这可以是字符串/字符串序列/整数序列的列表，也可以是字符串/字符串序列/整数序列对的列表（详见 encode_plus）。

参数

• token_ids_0 (List[int]) — 将向其添加特殊 token 的 ID 列表。
• token_ids_1 (List[int], 可选) — 用于序列对的可选的第二个 ID 列表。

带有适当特殊标记的 输入 ID 列表。

参数

• text (str, List[str], List[List[str]]) — The sequence or batch of sequences to be encoded. Each sequence can be a string, a list of strings (words of a single example or questions of a batch of examples) or a list of list of strings (batch of words).
• text_pair (List[str], List[List[str]]) — The sequence or batch of sequences to be encoded. Each sequence should be a list of strings (pretokenized string).
• boxes (List[List[int]], List[List[List[int]]]) — Word-level bounding boxes. Each bounding box should be normalized to be on a 0-1000 scale.
• word_labels (List[int], List[List[int]], optional) — Word-level integer labels (for token classification tasks such as FUNSD, CORD).
• add_special_tokens (bool, optional, defaults to True) — Whether or not to encode the sequences with the special tokens relative to their model.
• padding (bool, str or PaddingStrategy, optional, defaults to False) — Activates and controls padding. Accepts the following values:
  • True or 'longest': Pad to the longest sequence in the batch (or no padding if only a single sequence if provided).
  • 'max_length': Pad to a maximum length specified with the argument max_length or to the maximum acceptable input length for the model if that argument is not provided.
  • False or 'do_not_pad' (default): No padding (i.e., can output a batch with sequences of different lengths).
• truncation (bool, str or TruncationStrategy, optional, defaults to False) — Activates and controls truncation. Accepts the following values:
  • True or 'longest_first': Truncate to a maximum length specified with the argument max_length or to the maximum acceptable input length for the model if that argument is not provided. This will truncate token by token, removing a token from the longest sequence in the pair if a pair of sequences (or a batch of pairs) is provided.
  • 'only_first': Truncate to a maximum length specified with the argument max_length or to the maximum acceptable input length for the model if that argument is not provided. This will only truncate the first sequence of a pair if a pair of sequences (or a batch of pairs) is provided.
  • 'only_second': Truncate to a maximum length specified with the argument max_length or to the maximum acceptable input length for the model if that argument is not provided. This will only truncate the second sequence of a pair if a pair of sequences (or a batch of pairs) is provided.
  • False or 'do_not_truncate' (default): No truncation (i.e., can output batch with sequence lengths greater than the model maximum admissible input size).
• max_length (int, optional) — Controls the maximum length to use by one of the truncation/padding parameters.

  If left unset or set to None, this will use the predefined model maximum length if a maximum length is required by one of the truncation/padding parameters. If the model has no specific maximum input length (like XLNet) truncation/padding to a maximum length will be deactivated.

• stride (int, optional, defaults to 0) — If set to a number along with max_length, the overflowing tokens returned when return_overflowing_tokens=True will contain some tokens from the end of the truncated sequence returned to provide some overlap between truncated and overflowing sequences. The value of this argument defines the number of overlapping tokens.
• pad_to_multiple_of (int, optional) — If set will pad the sequence to a multiple of the provided value. This is especially useful to enable the use of Tensor Cores on NVIDIA hardware with compute capability >= 7.5 (Volta).
• return_tensors (str or TensorType, optional) — If set, will return tensors instead of list of python integers. Acceptable values are:
  • 'tf': Return TensorFlow tf.constant objects.
  • 'pt': Return PyTorch torch.Tensor objects.
  • 'np': Return Numpy np.ndarray objects.
• return_token_type_ids (bool, optional) — Whether to return token type IDs. If left to the default, will return the token type IDs according to the specific tokenizer’s default, defined by the return_outputs attribute.

  What are token type IDs?

• return_attention_mask (bool, optional) — Whether to return the attention mask. If left to the default, will return the attention mask according to the specific tokenizer’s default, defined by the return_outputs attribute.

  What are attention masks?

• return_overflowing_tokens (bool, optional, defaults to False) — Whether or not to return overflowing token sequences. If a pair of sequences of input ids (or a batch of pairs) is provided with truncation_strategy = longest_first or True, an error is raised instead of returning overflowing tokens.
• return_special_tokens_mask (bool, optional, defaults to False) — Whether or not to return special tokens mask information.
• return_offsets_mapping (bool, optional, defaults to False) — Whether or not to return (char_start, char_end) for each token.

  This is only available on fast tokenizers inheriting from PreTrainedTokenizerFast, if using Python’s tokenizer, this method will raise NotImplementedError.

• return_length (bool, optional, defaults to False) — Whether or not to return the lengths of the encoded inputs.
• verbose (bool, optional, defaults to True) — Whether or not to print more information and warnings. **kwargs — passed to the self.tokenize() method

A BatchEncoding with the following fields

• input_ids — List of token ids to be fed to a model.

  What are input IDs?

• bbox — List of bounding boxes to be fed to a model.

• token_type_ids — List of token type ids to be fed to a model (when return_token_type_ids=True or if “token_type_ids” is in self.model_input_names).

  What are token type IDs?

• attention_mask — List of indices specifying which tokens should be attended to by the model (when return_attention_mask=True or if “attention_mask” is in self.model_input_names).

  What are attention masks?

• labels — List of labels to be fed to a model. (when word_labels is specified).

• overflowing_tokens — List of overflowing tokens sequences (when a max_length is specified and return_overflowing_tokens=True).

• num_truncated_tokens — Number of tokens truncated (when a max_length is specified and return_overflowing_tokens=True).

• special_tokens_mask — List of 0s and 1s, with 1 specifying added special tokens and 0 specifying regular sequence tokens (when add_special_tokens=True and return_special_tokens_mask=True).

• length — The length of the inputs (when return_length=True).

参数

• token_ids_0 (List[int]) — List of IDs.
• token_ids_1 (List[int], optional) — 可选的序列对的第二个 ID 列表。

零列表。

参数

• Converts 使用分词器和词汇表将字符串转换为 ID 序列（整数）。与执行 self.convert_tokens_to_ids(self.tokenize(text)) 相同。 — text (str, List[str] 或 List[int]): 要编码的第一个序列。可以是字符串、字符串列表（使用 tokenize 方法分词的字符串）或整数列表（使用 convert_tokens_to_ids 方法分词的字符串 ID）。 text_pair (str, List[str] 或 List[int], 可选): 可选的要编码的第二个序列。可以是字符串、字符串列表（使用 tokenize 方法分词的字符串）或整数列表（使用 convert_tokens_to_ids 方法分词的字符串 ID）。

参数

• text (str, List[str] 或（对于非快速分词器）List[int]) — 要编码的第一个序列。可以是字符串、字符串列表（使用 tokenize 方法分词的字符串）或整数列表（使用 convert_tokens_to_ids 方法分词的字符串 ID）。
• text_pair (str, List[str] 或 List[int], optional) — 可选的要编码的第二个序列。可以是字符串、字符串列表（使用 tokenize 方法分词的字符串）或整数列表（使用 convert_tokens_to_ids 方法分词的字符串 ID）。

参数

• input_ids (torch.LongTensor，形状为 (batch_size, sequence_length)) — 词汇表中输入序列 token 的索引。 UDOP 是一个带有相对位置嵌入的模型，因此您应该能够在右侧和左侧填充输入。 索引可以使用 AutoTokenizer 获得。 有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。 什么是输入 ID？
• attention_mask (torch.FloatTensor，形状为 (batch_size, sequence_length), 可选) — 掩码，用于避免在 padding token 索引上执行注意力机制。 掩码值在 [0, 1] 中选择：
  • 1 表示 未被掩盖 的 token，
  • 0 表示 被掩盖 的 token。 什么是注意力掩码？
• bbox (torch.LongTensor，形状为 ({0}, 4), 可选) — 每个输入序列 token 的边界框。 在范围 [0, config.max_2d_position_embeddings-1] 中选择。 每个边界框都应该是 (x0, y0, x1, y1) 格式的归一化版本，其中 (x0, y0) 对应于边界框中左上角的位置，(x1, y1) 代表右下角的位置。

  请注意，sequence_length = token_sequence_length + patch_sequence_length + 1，其中 1 用于 [CLS] token。 有关 patch_sequence_length，请参阅 pixel_values。

• pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, height, width)) — 文档图像批次。 每个图像被分成形状为 (num_channels, config.patch_size, config.patch_size) 的 patch，并且 patch 的总数 (=patch_sequence_length) 等于 ((height / config.patch_size) * (width / config.patch_size))。
• visual_bbox (torch.LongTensor, 形状为 (batch_size, patch_sequence_length, 4), 可选) — 图像中每个补丁的边界框。如果未提供，则在模型中创建边界框。
• decoder_input_ids (torch.LongTensor, 形状为 (batch_size, target_sequence_length), 可选) — 词汇表中解码器输入序列 tokens 的索引。索引可以使用 AutoTokenizer 获得。 有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。 什么是解码器输入 ID？ T5 使用 pad_token_id 作为 decoder_input_ids 生成的起始 token。如果使用 past_key_values，则可以选择仅输入最后的 decoder_input_ids（请参阅 past_key_values）。要了解更多关于如何为预训练准备 decoder_input_ids 的信息，请查看 T5 训练。
• decoder_attention_mask (torch.BoolTensor, 形状为 (batch_size, target_sequence_length), 可选) — 默认行为：生成一个忽略 decoder_input_ids 中的 padding tokens 的 tensor。默认情况下也将使用因果掩码。
• head_mask (torch.FloatTensor, 形状为 (num_heads,) 或 (num_layers, num_heads), 可选) — 用于 nullify 编码器中 self-attention 模块的选定 head 的掩码。在 [0, 1] 中选择的掩码值：
  • 1 表示 head 未被掩蔽，
  • 0 表示 head 被掩蔽。
• decoder_head_mask (torch.FloatTensor, 形状为 (num_heads,) 或 (num_layers, num_heads), 可选) — 用于 nullify 解码器中 self-attention 模块的选定 head 的掩码。在 [0, 1] 中选择的掩码值：
  • 1 表示 head 未被掩蔽，
  • 0 表示 head 被掩蔽。
• cross_attn_head_mask (torch.Tensor, 形状为 (num_heads,) 或 (num_layers, num_heads), 可选) — 用于 nullify 解码器中 cross-attention 模块的选定 head 的掩码。在 [0, 1] 中选择的掩码值：
  • 1 表示 head 未被掩蔽，
  • 0 表示 head 被掩蔽。
• encoder_outputs (tuple(tuple(torch.FloatTensor), 可选) — 由 (last_hidden_state, optional: hidden_states, optional: attentions) 组成的元组。形状为 (batch_size, sequence_length, hidden_size) 的 last_hidden_state 是编码器最后一层的输出处的 hidden states 序列。在解码器的 cross-attention 中使用。
• past_key_values (tuple(tuple(torch.FloatTensor)), 长度为 config.n_layers，每个元组有 4 个形状为 (batch_size, num_heads, sequence_length - 1, embed_size_per_head) 的 tensors) — 包含 attention blocks 的预先计算的 key 和 value hidden states。 可以用于加速解码。 如果使用 past_key_values，用户可以选择仅输入最后的 decoder_input_ids（那些没有将其 past key value states 提供给此模型的），形状为 (batch_size, 1)，而不是形状为 (batch_size, sequence_length) 的所有 decoder_input_ids。
• inputs_embeds (torch.FloatTensor, 形状为 (batch_size, sequence_length, hidden_size), 可选) — 可选地，您可以选择直接传递嵌入表示，而不是传递 input_ids。如果您希望比模型的内部 embedding lookup matrix 更好地控制如何将 input_ids 索引转换为关联的向量，这将非常有用。
• decoder_inputs_embeds (torch.FloatTensor, 形状为 (batch_size, target_sequence_length, hidden_size), 可选) — 可选地，您可以选择直接传递嵌入表示，而不是传递 decoder_input_ids。如果使用 past_key_values，则可以选择仅输入最后的 decoder_inputs_embeds（请参阅 past_key_values）。如果您希望比模型的内部 embedding lookup matrix 更好地控制如何将 decoder_input_ids 索引转换为关联的向量，这将非常有用。如果 decoder_input_ids 和 decoder_inputs_embeds 均未设置，则 decoder_inputs_embeds 取 inputs_embeds 的值。
• use_cache (bool, 可选) — 如果设置为 True，则返回 past_key_values key value states，并可用于加速解码（请参阅 past_key_values）。
• output_attentions (bool, 可选) — 是否返回所有 attention 层的 attentions tensors。 有关更多详细信息，请参阅返回的 tensors 下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的 hidden states。 有关更多详细信息，请参阅返回的 tensors 下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是 plain tuple。

一个 transformers.modeling_outputs.Seq2SeqModelOutput 或一个 torch.FloatTensor 的 tuple （如果传递了 return_dict=False 或当 config.return_dict=False 时），包含各种元素，具体取决于配置 (UdopConfig) 和输入。

• last_hidden_state (torch.FloatTensor, 形状为 (batch_size, sequence_length, hidden_size)) — 模型解码器最后一层输出处的 hidden-states 序列。

  如果使用 past_key_values，则仅输出形状为 (batch_size, 1, hidden_size) 的序列的最后一个 hidden-state。

• past_key_values (tuple(tuple(torch.FloatTensor)), 可选, 当传递 use_cache=True 或当 config.use_cache=True 时返回) — 长度为 config.n_layers 的 tuple(torch.FloatTensor) 的元组，每个元组具有 2 个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的 tensors 和 2 个形状为 (batch_size, num_heads, encoder_sequence_length, embed_size_per_head) 的附加 tensors。

  包含可用于加速顺序解码的预先计算的 hidden-states（self-attention blocks 和 cross-attention blocks 中的 key 和 values）（请参阅 past_key_values 输入）。

• decoder_hidden_states (tuple(torch.FloatTensor), 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型具有 embedding 层，则为 embeddings 的输出 + 每层的输出一个），形状为 (batch_size, sequence_length, hidden_size)。

  解码器在每层输出处的 Hidden-states，加上可选的初始 embedding 输出。

• decoder_attentions (tuple(torch.FloatTensor), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  解码器的 attention weights，在 attention softmax 之后，用于计算 self-attention heads 中的加权平均值。

• cross_attentions (tuple(torch.FloatTensor), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  解码器的 cross-attention 层的 attention weights，在 attention softmax 之后，用于计算 cross-attention heads 中的加权平均值。

• encoder_last_hidden_state (torch.FloatTensor, 形状为 (batch_size, sequence_length, hidden_size), 可选) — 模型编码器最后一层输出处的 hidden-states 序列。

• encoder_hidden_states (tuple(torch.FloatTensor), 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型具有 embedding 层，则为 embeddings 的输出 + 每层的输出一个），形状为 (batch_size, sequence_length, hidden_size)。

  编码器在每层输出处的 Hidden-states，加上可选的初始 embedding 输出。

• encoder_attentions (tuple(torch.FloatTensor), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  编码器的 attention weights，在 attention softmax 之后，用于计算 self-attention heads 中的加权平均值。

参数

• input_ids (torch.LongTensor, 形状为 (batch_size, sequence_length)) — 词汇表中输入序列 tokens 的索引。UDOP 是一个具有相对位置 embeddings 的模型，因此您应该能够在右侧和左侧 padding 输入。索引可以使用 AutoTokenizer 获得。 有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。 什么是输入 ID？
• attention_mask (torch.FloatTensor, 形状为 (batch_size, sequence_length), 可选) — 用于避免对 padding token 索引执行 attention 的掩码。在 [0, 1] 中选择的掩码值：
  • 1 表示 tokens 未被掩蔽，
  • 0 表示 tokens 被掩蔽。 什么是 attention masks？
• bbox (torch.LongTensor, 形状为 ({0}, 4), 可选) — 每个输入序列 tokens 的边界框。在范围 [0, config.max_2d_position_embeddings-1] 中选择。每个边界框应为 (x0, y0, x1, y1) 格式的归一化版本，其中 (x0, y0) 对应于边界框中左上角的位置，而 (x1, y1) 表示右下角的位置。

  请注意，sequence_length = token_sequence_length + patch_sequence_length + 1，其中 1 用于 [CLS] token。有关 patch_sequence_length，请参阅 pixel_values。

• pixel_values (torch.FloatTensor, 形状为 (batch_size, num_channels, height, width)) — 批量文档图像。每个图像被分成形状为 (num_channels, config.patch_size, config.patch_size) 的 patches，并且 patches 的总数 (=patch_sequence_length) 等于 ((height / config.patch_size) * (width / config.patch_size))。
• visual_bbox (torch.LongTensor, 形状为 (batch_size, patch_sequence_length, 4), 可选) — 图像中每个patch的边界框。如果未提供，则在模型中创建边界框。
• decoder_input_ids (torch.LongTensor, 形状为 (batch_size, target_sequence_length), 可选) — 词汇表中解码器输入序列 tokens 的索引。可以使用 AutoTokenizer 获取索引。 有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。 什么是解码器输入 IDs？ T5 使用 pad_token_id 作为 decoder_input_ids 生成的起始 token。如果使用 past_key_values，则可以选择仅输入最后的 decoder_input_ids（请参阅 past_key_values）。要了解有关如何为预训练准备 decoder_input_ids 的更多信息，请查看 T5 训练。
• decoder_attention_mask (torch.BoolTensor, 形状为 (batch_size, target_sequence_length), 可选) — 默认行为：生成一个忽略 decoder_input_ids 中的 pad tokens 的 tensor。默认情况下还将使用因果掩码。
• head_mask (torch.FloatTensor, 形状为 (num_heads,) 或 (num_layers, num_heads), 可选) — 用于 nullify 编码器中 self-attention 模块的选定 head 的 Mask。在 [0, 1] 中选择的 Mask 值：
  • 1 表示 head 未被掩盖 (not masked)，
  • 0 表示 head 被掩盖 (masked)。
• decoder_head_mask (torch.FloatTensor, 形状为 (num_heads,) 或 (num_layers, num_heads), 可选) — 用于 nullify 解码器中 self-attention 模块的选定 head 的 Mask。在 [0, 1] 中选择的 Mask 值：
  • 1 表示 head 未被掩盖 (not masked)，
  • 0 表示 head 被掩盖 (masked)。
• cross_attn_head_mask (torch.Tensor, 形状为 (num_heads,) 或 (num_layers, num_heads), 可选) — 用于 nullify 解码器中 cross-attention 模块的选定 head 的 Mask。在 [0, 1] 中选择的 Mask 值：
  • 1 表示 head 未被掩盖 (not masked)，
  • 0 表示 head 被掩盖 (masked)。
• encoder_outputs (tuple(tuple(torch.FloatTensor), 可选) — Tuple 由 (last_hidden_state, optional: hidden_states, optional: attentions) 组成。 形状为 (batch_size, sequence_length, hidden_size) 的 last_hidden_state 是编码器最后一层的输出端的 hidden states 序列。在解码器的 cross-attention 中使用。
• past_key_values (tuple(tuple(torch.FloatTensor)), 长度为 config.n_layers，每个 tuple 有 4 个形状为 (batch_size, num_heads, sequence_length - 1, embed_size_per_head) 的 tensors) — 包含 attention blocks 的预先计算的 key 和 value hidden states。 可用于加速解码。 如果使用 past_key_values，用户可以选择仅输入最后的 decoder_input_ids（那些没有将其 past key value states 提供给此模型的），形状为 (batch_size, 1)，而不是所有形状为 (batch_size, sequence_length) 的 decoder_input_ids。
• inputs_embeds (torch.FloatTensor, 形状为 (batch_size, sequence_length, hidden_size), 可选) — 可选地，您可以选择直接传递嵌入表示，而不是传递 input_ids。 如果您希望比模型的内部嵌入查找矩阵更精细地控制如何将 input_ids 索引转换为关联的向量，这将非常有用。
• decoder_inputs_embeds (torch.FloatTensor, 形状为 (batch_size, target_sequence_length, hidden_size), 可选) — 可选地，您可以选择直接传递嵌入表示，而不是传递 decoder_input_ids。 如果使用 past_key_values，则可以选择仅输入最后的 decoder_inputs_embeds（请参阅 past_key_values）。 如果您希望比模型的内部嵌入查找矩阵更精细地控制如何将 decoder_input_ids 索引转换为关联的向量，这将非常有用。 如果 decoder_input_ids 和 decoder_inputs_embeds 均未设置，则 decoder_inputs_embeds 采用 inputs_embeds 的值。
• use_cache (bool, 可选) — 如果设置为 True，则返回 past_key_values key value states，可用于加速解码（请参阅 past_key_values）。
• output_attentions (bool, 可选) — 是否返回所有 attention 层的 attentions tensors。 有关更多详细信息，请参阅返回的 tensors 下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的 hidden states。 有关更多详细信息，请参阅返回的 tensors 下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通 tuple。
• labels (torch.LongTensor, 形状为 (batch_size,), 可选) — 用于计算语言建模 loss 的标签。索引应在 [-100, 0, ..., config.vocab_size - 1] 中。 所有设置为 -100 的标签都将被忽略（masked），loss 仅针对 [0, ..., config.vocab_size] 中的标签计算。

一个 transformers.modeling_outputs.Seq2SeqLMOutput 或一个 torch.FloatTensor 的 tuple（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含各种元素，具体取决于配置 (UdopConfig) 和输入。

• loss (torch.FloatTensor, 形状为 (1,), 可选, 当提供 labels 时返回) — 语言建模 loss。

• logits (torch.FloatTensor, 形状为 (batch_size, sequence_length, config.vocab_size)) — 语言建模 head 的预测分数（SoftMax 之前每个词汇表 token 的分数）。

• past_key_values (tuple(tuple(torch.FloatTensor)), 可选, 当传递 use_cache=True 或当 config.use_cache=True 时返回) — 长度为 config.n_layers 的 tuple(torch.FloatTensor) 的元组，每个元组具有 2 个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的 tensors 和 2 个形状为 (batch_size, num_heads, encoder_sequence_length, embed_size_per_head) 的附加 tensors。

  包含可用于加速顺序解码的预先计算的 hidden-states（self-attention blocks 和 cross-attention blocks 中的 key 和 values）（请参阅 past_key_values 输入）。

• decoder_hidden_states (tuple(torch.FloatTensor), 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型具有 embedding 层，则为 embeddings 的输出 + 每层的输出一个），形状为 (batch_size, sequence_length, hidden_size)。

  解码器在每一层输出端的 Hidden-states 加上初始嵌入输出。

• decoder_attentions (tuple(torch.FloatTensor), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  解码器的 attention weights，在 attention softmax 之后，用于计算 self-attention heads 中的加权平均值。

• cross_attentions (tuple(torch.FloatTensor), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  解码器的 cross-attention 层的 attention weights，在 attention softmax 之后，用于计算 cross-attention heads 中的加权平均值。

• encoder_last_hidden_state (torch.FloatTensor, 形状为 (batch_size, sequence_length, hidden_size), 可选) — 模型编码器最后一层输出处的 hidden-states 序列。

• encoder_hidden_states (tuple(torch.FloatTensor), 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型具有 embedding 层，则为 embeddings 的输出 + 每层的输出一个），形状为 (batch_size, sequence_length, hidden_size)。

  编码器在每一层输出端的 Hidden-states 加上初始嵌入输出。

• encoder_attentions (tuple(torch.FloatTensor), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  编码器的 attention weights，在 attention softmax 之后，用于计算 self-attention heads 中的加权平均值。

参数

• input_ids (torch.LongTensor, 形状为 (batch_size, sequence_length)) — 词汇表中输入序列 tokens 的索引。 T5 是一个具有相对位置嵌入的模型，因此您应该能够在右侧和左侧填充输入。

  可以使用 AutoTokenizer 获取索引。 有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  要了解有关如何为预训练准备 input_ids 的更多信息，请查看 T5 训练。

• attention_mask (torch.FloatTensor, 形状为 (batch_size, sequence_length), 可选) — 用于避免在 padding token 索引上执行 attention 的 Mask。 在 [0, 1] 中选择的 Mask 值：
  • 1 表示 tokens 未被掩盖 (not masked)，
  • 0 表示 tokens 被掩盖 (masked)。

  什么是 attention masks？

• bbox (torch.LongTensor, 形状为 ({0}, 4), 可选) — 每个输入序列 tokens 的边界框。 在范围 [0, config.max_2d_position_embeddings-1] 中选择。 每个边界框都应该是 (x0, y0, x1, y1) 格式的归一化版本，其中 (x0, y0) 对应于边界框中左上角的位置，(x1, y1) 表示右下角的位置。

  请注意，sequence_length = token_sequence_length + patch_sequence_length + 1，其中 1 用于 [CLS] token。 有关 patch_sequence_length，请参阅 pixel_values。

• pixel_values (torch.FloatTensor, 形状为 (batch_size, num_channels, height, width)) — 批量的文档图像。 每个图像都分为形状为 (num_channels, config.patch_size, config.patch_size) 的 patches，patches 的总数 (=patch_sequence_length) 等于 ((height / config.patch_size) * (width / config.patch_size))。
• visual_bbox (torch.LongTensor，形状为 (batch_size, patch_sequence_length, 4)，可选) — 图像中每个补丁的边界框。如果未提供，则在模型中创建边界框。
• head_mask (torch.FloatTensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于 nullify 自注意力模块中选定头的掩码。在 [0, 1] 中选择的掩码值：
  • 1 表示头是未被掩蔽的，
  • 0 表示头是被掩蔽的。
• inputs_embeds (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size)，可选) — 可选地，您可以选择直接传递嵌入表示，而不是传递 input_ids。 如果您想要比模型的内部嵌入查找矩阵更精细地控制如何将 input_ids 索引转换为关联向量，这将非常有用。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool，可选) — 是否返回 ModelOutput 而不是普通元组。

一个 transformers.models.udop.modeling_udop.BaseModelOutputWithAttentionMask 或 torch.FloatTensor 元组（如果传递了 return_dict=False 或者当 config.return_dict=False 时），包含取决于配置 (UdopConfig) 和输入的各种元素。

• last_hidden_state (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。如果使用 past_key_values，则仅输出形状为 (batch_size, 1, hidden_size) 的序列的最后一个隐藏状态。
• past_key_values (tuple(tuple(torch.FloatTensor))，可选，当传递 use_cache=True 或
• 当 config.use_cache=True 时返回) — tuple(torch.FloatTensor) 的元组，长度为 config.n_layers，每个元组具有 2 个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量，并且可选地，如果 config.is_encoder_decoder=True，则具有 2 个形状为 (batch_size, num_heads, encoder_sequence_length, embed_size_per_head) 的附加张量。 包含预先计算的隐藏状态（自注意力块中的键和值，以及可选地，如果 config.is_encoder_decoder=True，则在交叉注意力块中），可以用于（参见 past_key_values 输入）加速顺序解码。
• hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或
• 当 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组（如果模型具有嵌入层，则为嵌入输出的元组 + 每个层输出的元组），形状为 (batch_size, sequence_length, hidden_size)。 模型在每一层输出的隐藏状态，加上可选的初始嵌入输出。
• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当
• config.output_attentions=True): torch.FloatTensor 元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。 注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。
• cross_attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 且
• config.add_cross_attention=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。 解码器交叉注意力层的注意力权重，在注意力 softmax 之后，用于计算交叉注意力头中的加权平均值。