参数

• batch_text_or_text_pairs (List[str], List[Tuple[str, str]], List[List[str]], List[Tuple[List[str], List[str]], and for not-fast tokenizers, also List[List[int]], List[Tuple[List[int], List[int]]) — 要编码的序列批次或序列对批次。这可以是字符串/字符串序列/整数字符串或字符串/字符串序列/整数字符串（见encode_plus中的详情）。

参数

• token_ids_0 (List[int]) — 添加特殊标记的ID列表。
• token_ids_1 (整型列表, 可选的) — 可选的第二条ID列表用于序列对。

具有适当特殊标记的输入ID列表。

参数

• text (str, List[str], List[List[str]]) — 待编码的序列或序列批。每个序列可以是字符串、字符串列表（单个示例的单词或示例批次的提问）或字符串列表列表（单词批次）。
• text_pair (List[str], List[List[str]]) — 待编码的序列或序列批次。每个序列应为字符串列表（预处理字符串）。
• boxes (List[List[int]], List[List[List[int]]]) — 单词级边界框。每个边界框应归一化到0-1000的范围。
• word_labels (List[int], List[List[int]], 可选) — 单词级整数标签（用于如FUNSD、CORD这样的标记分类任务）。
• add_special_tokens (bool, 可选，默认为 True) — 是否以相对于模型的方式编码序列 特殊标记。
• padding (bool 或 str 或 PaddingStrategy，可选，默认为 False) — 激活并控制填充。接受以下值：
  • True 或 'longest'：填充到批量中最长的序列（或如果只提供了一个序列则不填充）。
  • 'max_length'：填充到使用参数 max_length 指定的最大长度，或填充到模型的可接受输入长度的最大值，如果未提供该参数。
  • False 或 'do_not_pad'（默认）：不填充（即可以输出具有不同长度的序列的批量）。
• 截断（truncation）（《bool》、《str》或TruncationStrategy，可选，默认为《False》）— 激活并控制截断。接受以下值：
  • 《True》或《'longest_first'》：截断到使用《max_length》参数指定的最大长度，或如果不提供该参数，则截断到模型可接受的最大输入长度。如果提供一对序列（或一对序列的批次），则会逐个标记进行截断，从最长的序列中移除一个标记。
  • 《'only_first'》：截断到使用《max_length》参数指定的最大长度，或如果不提供该参数，则截断到模型可接受的最大输入长度。如果提供一对序列（或一对序列的批次），则仅截断第一序列。
  • 《'only_second'》：截断到使用《max_length》参数指定的最大长度，或如果不提供该参数，则截断到模型可接受的最大输入长度。如果提供一对序列（或一对序列的批次），则仅截断第二序列。
  • 《False》或《'do_not_truncate'》（默认）：不截断（即可以输出序列长度大于模型最大容许输入大小的批次）。
• 最大长度（max_length）（《int》，可选）— 通过截断/填充参数之一来控制使用的最大长度。

  如果未设置或设置为《None》，则该值将在需要截断/填充参数最大长度时使用预定义的模型最大长度。如果模型没有特定的最大输入长度（如XLNet），则不会激活截断/填充到最大长度。

• stride (int, 可选, 默认值 0) — 如果与 max_length 一起设置，并且将 return_overflowing_tokens=True，当返回溢出标记时将包含一些标记，这些标记来自截断序列的末尾，以提供截断序列和溢出序列之间的重叠。此参数的值定义重叠标记的数量。
• pad_to_multiple_of (int, 可选) — 如果设置了，将序列填充到提供值的倍数。这对于在 NVIDIA 硬件上的 Tesla 核心使用（算力 >= 7.5 的 Volta）特别有用。
• return_tensors (str 或 TensorType, 可选) — 如果设置了，将返回张量而不是 Python 整数列表。可接受的值包括：
• return_token_type_ids (bool, 可选) — 是否返回标记类型ID。若未指定，将根据特定标记化器的默认设置返回标记类型ID，该默认设置由return_outputs属性定义。

  什么是标记类型ID？

• return_attention_mask (bool, 可选) — 是否返回注意力掩码。若未指定，将根据特定标记化器的默认设置返回注意力掩码，该默认设置由return_outputs属性定义。

  什么是注意力掩码？

• return_overflowing_tokens (bool, 可选, 默认为False) — 是否返回溢出的标记序列。当提供输入ID序列的成对序列（或一对序列的批次）并且truncation_strategy = longest_first或True时，将引发错误而不是返回溢出标记。
• 返回特殊词元掩码 （布尔值，可选，默认为 False） — 是否返回特殊词元掩码信息。
• 返回偏移映射 （布尔值，可选，默认为 False） — 是否为每个标记返回 (char_start, char_end)。
• 返回编码输入的长度 （布尔值，可选，默认为 False） — 是否返回编码输入的长度。
• verbose (bool, 可选, 默认为 True) — 是否打印更多信息和警告。**kwargs** — 传递给 self.tokenize() 方法

包含以下字段的 BatchEncoding

• input_ids — 要输入模型中的 token id 列表。

  什么是输入 ID？

• bbox — 要输入模型中的边界框列表。

• token_type_ids — 要输入模型中的 token 类型 id 列表（当 return_token_type_ids=True 或 “token_type_ids” 在 self.model_input_names 中时）。

  什么是 token 类型 ID？

• attention_mask — 指定模型应该关注的 token 的索引列表（当 return_attention_mask=True 或 “attention_mask” 在 self.model_input_names 中时）。

  什么是注意力掩码？

• labels — 要输入模型的标签列表。（当指定了 word_labels 时）。

• overflowing_tokens — 超出长度限制的 token 序列列表（当指定了 max_length 并且 return_overflowing_tokens=True 时）。

• num_truncated_tokens — 被截断的 token 数量（当指定了 max_length 并且 return_overflowing_tokens=True 时）。

• special_tokens_mask — 包含 0 和 1 的列表，其中 1 表示添加了特殊 token，0 表示正则序列 token（当 add_special_tokens=True 并且 return_special_tokens_mask=True 时）。

• length — 输入的长度（当 return_length=True 时）。

参数

• token_ids_0 (整数列表) — 整数列表。
• token_ids_1 (整数列表, 可选) — 可选的第二个ID列表，用于序列对。

零的列表。

参数

• Converts 将字符串转换为ID序列（整数），使用词元化和词汇进行。等同于进行 —— self.convert_tokens_to_ids(self.tokenize(text))。 —— text（《str》，《List[str>`或`List[int]`）；要编码的第一个序列。这可以是一个字符串，一个字符串列表（使用`tokenize`方法标记的字符串）或一个整数列表（使用`convert_tokens_to_ids`方法标记的字符串ID）。text_pair（《str》，《List[str>`或`List[int]`，《可选》）：可选的第二个要编码的序列。这可以是一个字符串，一个字符串列表（使用`tokenize`方法标记的字符串）或一个整数列表（使用`convert_tokens_to_ids`方法标记的字符串ID）。

参数

• text (str, List[str] or (for non-fast tokenizers) List[int]) — 需要编码的第一个序列。这可以是一个字符串，一个字符串列表（使用 tokenize 方法分词的字符串）或一个整数列表（使用 convert_tokens_to_ids 方法转换的分词字符串 ID）。
• text_pair （str，List[str] 或 List[int]，可选）— 可选的第二个序列进行编码。这可以是一个字符串，一个字符串列表（使用 tokenize 方法标记化的字符串）或整数列表（使用 convert_tokens_to_ids 方法标记化的字符串 ids）。

参数

• input_ids (torch.LongTensor 形状 (batch_size, sequence_length)) — 词汇表中的输入序列标记索引。UDOP是一个具有相对位置嵌入的模型，所以您应该在左右两侧填充输入。索引可以使用 AutoTokenizer 获取。详见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。 什么是输入ID？
• attention_mask (torch.FloatTensor 形状 (batch_size, sequence_length), 可选) — 避免对填充标记索引执行注意力的掩码。掩码值选择在 [0, 1]：
  • 1 对于没有被掩码的标记,
  • 0 对于被掩码的标记。 什么是注意力掩码？
• bbox （torch.LongTensor 形状为 ({0}, 4)，可选） — 每个输入序列标记的边界框。选择在 [0, config.max_2d_position_embeddings-1] 的范围内。每个边界框应该是（x0, y0, x1, y1）格式的归一化版本，其中（x0, y0）对应于边界框中左上角的位置，而（x1, y1）表示右下角的位置。

  注意，sequence_length = token_sequence_length + patch_sequence_length + 1，其中 1 是 [CLS] 标记。参见 pixel_values 的 patch_sequence_length。

• pixel_values （torch.FloatTensor 形状为 (batch_size, num_channels, height, width)） — 文档图像批次。每个图像被划分为形状为 (num_channels, config.patch_size, config.patch_size) 的补丁，总补丁数（=patch_sequence_length）等于 ((height / config.patch_size) * (width / config.patch_size))。
• visual_bbox （torch.LongTensor 形状为 (batch_size, patch_sequence_length, 4)，可选） — 图像中每个补丁的边界框。如果没有提供，模型将创建边界框。
• decoder_input_ids (torch.LongTensor of shape (batch_size, target_sequence_length), 可选) — 解码器输入序列的标签分类器在词汇表中的索引。可以使用AutoTokenizer获得索引。请参阅AutoTokenizer。有关详细信息，请参阅PreTrainedTokenizer.encode()和PreTrainedTokenizer.call()。有关解码器输入ID的更多信息，请参阅什么是解码器输入ID？ T5使用pad_token_id作为decoder_input_ids生成的起始标记。如果使用past_key_values，则可以可选地仅输入最后一个decoder_input_ids（请参阅past_key_values）。有关如何为预训练准备decoder_input_ids的更多信息，请参阅T5 Training。
• decoder_attention_mask (torch.BoolTensor of shape (batch_size, target_sequence_length), 可选) — 默认行为：生成一个tensor，忽略decoder_input_ids中的填充token。默认还会使用因果掩码。
• head_mask (torch.FloatTensor of shape (num_heads,) or (num_layers, num_heads), 可选) — 用于取消编码器中自注意力模块选定头的null掩码。选择的掩码值在[0, 1]内：
  • 1 表示头未被掩码;
  • 0 表示头被掩码。
• decoder_head_mask (torch.FloatTensor of shape (num_heads,) or (num_layers, num_heads), optional) — 用于解码器中的自注意力模块中取消选中头部的掩码。掩码值在 [0, 1] 之间：
  • 1 表示头部未被掩码，
  • 0 表示头部被掩码。
• cross_attn_head_mask (torch.Tensor of shape (num_heads,) or (num_layers, num_heads), optional) — 用于解码器中的跨注意力模块中取消选中头部的掩码。掩码值在 [0, 1] 之间：
  • 1 表示头部未被掩码，
  • 0 表示头部被掩码。
• encoder_outputs (tuple(tuple(torch.FloatTensor), optional) — 包含（《last_hidden_state”，可选:hidden_states，可选:attentions）的元组。 last_hidden_state 的形状为 (batch_size, sequence_length, hidden_size)，表示编码器最后层的隐藏状态序列。用于解码器的跨注意力机制。
• past_key_values （长度为 config.n_layers 的 tuple(tuple(torch.FloatTensor))，每个元素包含4个形状为 (batch_size, num_heads, sequence_length - 1, embed_size_per_head) 的张量） — 包含注意力块的预计算的键和值隐藏状态。可用于加速解码。如果使用了 past_key_values，用户可以选择性地只输入最后的 decoder_input_ids（没有给出此模型过去键值状态的那些）的形状为 (batch_size, 1)，而不是形状为 (batch_size, sequence_length) 的所有 decoder_input_ids。
• inputs_embeds （形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor，可选） — 可选地，您可以直接传递一个嵌入表示，而不是传递 input_ids。当您需要比模型内部嵌入查找矩阵更多的控制来转换 input_ids 索引到相关向量时，这非常有用。
• decoder_inputs_embeds （torch.FloatTensor 形状为 (batch_size, target_sequence_length, hidden_size)，可选）— 可以选择直接传递嵌入式表示，而不传递 decoder_input_ids。如果使用 past_key_values，则可以选择仅输入最后的 decoder_inputs_embeds（请参阅 past_key_values）。这在使用比模型的内部嵌入查找矩阵具有更多控制权来转换 decoder_input_ids 索引到相关向量时很有用。如果 decoder_input_ids 和 decoder_inputs_embeds 都未设置，则 decoder_inputs_embeds 取 inputs_embeds 的值。
• use_cache （bool，可选）— 如果设置为 True，则返回 past_key_values 键值状态，并将其用于加速解码（请参阅 past_key_values）。
• output_attentions （bool，可选）— 是否返回所有注意力层的注意力张量。有关更多信息，请参阅返回的张量下的 attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。详细信息请参考返回张量的hidden_states。
• return_dict (bool, optional) — 是否返回一个ModelOutput，而不是一个普通的元组。

A transformers.modeling_outputs.Seq2SeqModelOutput或一组torch.FloatTensor（如果传递了参数return_dict=False或config.return_dict=False）包含各种元素，具体取决于配置（UdopConfig）和输入。

• last_hidden_state (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size)) — 模型解码器最后一层的输出隐藏状态的序列。

  如果使用了 past_key_values，则只输出序列的最后一隐藏状态，形状为 (batch_size, 1, hidden_size)。

• past_key_values (tuple(tuple(torch.FloatTensor)), optional, returned when use_cache=True is passed or when config.use_cache=True) — 长度为 config.n_layers 的 tuple(torch.FloatTensor)，每个元组包含两个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量，以及两个形状为 (batch_size, num_heads, encoder_sequence_length, embed_size_per_head) 的额外张量。

  包含预计算的隐藏状态（自我注意块和交叉注意块中的键和值），可用于加快序列解码（请参阅past_key_values输入）。

• decoder_hidden_states (tuple(torch.FloatTensor), optional, returned when output_hidden_states=True is passed or when config.output_hidden_states=True) — 含有形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 的元组（如果有嵌入层，则为嵌入输出加上每层的输出）。

  解码器在每个层的输出隐藏状态加上可选的初始嵌入输出。

• decoder_attentions (tuple(torch.FloatTensor), 可选，在传递 output_attentions=True 或 config.output_attentions=True 时返回) — 每一层对应一个 torch.FloatTensor 的元组，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  解码器的注意力权重，在注意力 Softmax 之后使用，用于计算自注意力头中的加权平均。

• cross_attentions (tuple(torch.FloatTensor), 可选，在传递 output_attentions=True 或 config.output_attentions=True 时返回) — 每一层对应一个 torch.FloatTensor 的元组，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  解码器交叉注意力层的注意力权重，在注意力 Softmax 之后使用，用于计算交叉注意力头中的加权平均。

• encoder_last_hidden_state (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size)，可选) — 模型编码器最后一层的隐藏状态序列。

• encoder_hidden_states (tuple(torch.FloatTensor)，可选，在传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型有嵌入层，其中一个为嵌入输出，其余为每层输出），形状为 (batch_size, sequence_length, hidden_size)。

  编码器在每层输出的隐藏状态序列以及可选的初始嵌入输出。

• encoder_attentions (tuple(torch.FloatTensor)，可选，在传递 output_attentions=True 或 config.output_attentions=True 时返回) — 每一层对应一个 torch.FloatTensor 的元组，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  编码器的注意力权重，在注意力 Softmax 之后使用，用于计算自注意力头中的加权平均。

参数

• input_ids (torch.LongTensor 形状 (batch_size, sequence_length)) —词汇表中的输入序列标记的索引。UDOP是一个带有相对位置嵌入的模型，因此您可以在左右两侧填充输入。可以使用AutoTokenizer获得这些索引。有关详细信息，请参阅PreTrainedTokenizer.encode()和PreTrainedTokenizer.call()。 什么是输入ID？
• attention_mask (torch.FloatTensor 形状 (batch_size, sequence_length)，可选) —避免在填充标记索引上执行注意力的掩码。掩码值选择在[0, 1]：
  • 1 表示未掩码的标记，
  • 0 表示掩码的标记。 什么是注意力掩码？
• bbox (torch.LongTensor 形状 ({0}, 4)，可选) —每个输入序列标记的边界框。选中范围为 [0, config.max_2d_position_embeddings-1]。每个边界框应为形式为 (x0, y0, x1, y1) 的归一化版本，其中 (x0, y0) 对应于边界框中上角的位置，而 (x1, y1) 代表边界框中下角的位置。

  注意，sequence_length = token_sequence_length + patch_sequence_length + 1，其中 1 为 [CLS] 标记。请参阅 pixel_values 以了解 patch_sequence_length。

• pixel_values （形状为 torch.FloatTensor 的 (batch_size, num_channels, height, width) 批量文档图像。每个图像被分割为形状为 (num_channels, config.patch_size, config.patch_size) 的补丁，补丁总数（=patch_sequence_length）等于 ((height / config.patch_size) * (width / config.patch_size))。
• visual_bbox （形状为 torch.LongTensor 的 (batch_size, patch_sequence_length, 4) 的，可选） — 图像中每个补丁的边界框。如果不提供，模型将创建边界框。
• decoder_input_ids （形状为 torch.LongTensor 的 (batch_size, target_sequence_length) 的，可选） — 解码器输入序列token在词汇表中的索引。索引可以通过 AutoTokenizer 获取。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。有关解码器输入ID的解释，请参阅 What are decoder input IDs? T5 使用 pad_token_id 作为 decoder_input_ids 生成的起始token。如果使用 past_key_values，则可能只需输入最后 decoder_input_ids（请参阅 past_key_values）。有关如何为预训练准备 decoder_input_ids 的更多信息，请参阅 T5 Training。
• decoder_attention_mask (torch.BoolTensor 形状为 (batch_size, target_sequence_length)，可选) — 默认行为：生成一个Tensor，忽略decoder_input_ids中的填充标记。默认还会使用因果掩码。
• head_mask (torch.FloatTensor 形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于禁用编码器中自注意力模块选定的头的掩码。掩码值在 [0, 1] 之间选择：
  • 1表示头没有被掩码，
  • 0表示头被掩码。
• decoder_head_mask (torch.FloatTensor 形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于禁用解码器中自注意力模块选定的头的掩码。掩码值在 [0, 1] 之间选择：
  • 1表示头没有被掩码，
  • 0表示头被掩码。
• cross_attn_head_mask (torch.Tensor的形状为(num_heads,)或(num_layers, num_heads)，可选) — 解码器中nullify选定的交叉注意力模块的头部的掩码。掩码值选中在[0, 1]：
  • 1表示头部未被< strong> maskeD，
  • 0表示头部被< strong> maskEd。
• encoder_outputs (tuple(tuple(torch.FloatTensor))，可选) — 元组包含(last_hidden_state，可选: hidden_states，可选: attentions) last_hidden_state的形状为(batch_size, sequence_length, hidden_size)是编码器最后一层的隐藏状态序列。用于解码器的交叉注意力。
• past_key_values (tuple(tuple(torch.FloatTensor))的长度为config.n_layers，每个元组包含形状为(batch_size, num_heads, sequence_length - 1, embed_size_per_head)的张量4个) — 包含预计算的注意力块的关键和值隐藏状态。可用于加速解码。如果使用past_key_values，用户可以选择只输入最后decoder_input_ids(那些没有给这个模型提供过去的关键值状态的)的形状为(batch_size, 1)，而不是所有decoder_input_ids的形状为(batch_size, sequence_length)。
• inputs_embeds (torch.FloatTensor 形状 (batch_size, sequence_length, hidden_size)，可选) — 可选地，而不是传递 input_ids，您可以选择直接传递一个嵌入表示。如果您想要比模型的内部嵌入查找矩阵有更多控制权，如何将 input_ids 索引转换为相关向量，这种方法很有用。
• decoder_inputs_embeds (torch.FloatTensor 形状 (batch_size, target_sequence_length, hidden_size)，可选) — 可选地，而不是传递 decoder_input_ids，您可以选择直接传递一个嵌入表示。如果使用 past_key_values，则可选地只输入最后的 decoder_inputs_embeds（请参阅 past_key_values）。如果您想要比模型的内部嵌入查找矩阵有更多控制权，如何将 decoder_input_ids 索引转换为相关向量，这种方法很有用。如果未设置 decoder_input_ids 和 decoder_inputs_embeds，则 decoder_inputs_embeds 将采用 inputs_embeds 的值。
• use_cache (bool，可选) — 如果设置为 True，则返回 past_key_values 密钥值状态并可用来加速解码（请参阅 past_key_values）。
• output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回的张量部分中的attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回的张量部分中的hidden_states。
• return_dict (bool, optional) — 是否返回一个ModelOutput而不是一个普通的元组。
• labels (torch.LongTensor of shape (batch_size,), optional) — 计算语言模型损失的标签。索引应在 [-100, 0, ..., config.vocab_size - 1] 范围内。所有设置为 -100 的标签将被忽略（屏蔽），仅计算 [0, ..., config.vocab_size] 范围内的标签的损失。

A transformers.modeling_outputs.Seq2SeqLMOutput 或一个由 torch.FloatTensor 组成的元组（如果传递了 return_dict=False 或当 config.return_dict=False），包含根据配置（UdopConfig）和输入的多个元素。

• loss (torch.FloatTensor of shape (1,), optional, returned when labels is provided) — 语言模型损失。

• logits (torch.FloatTensor of shape (batch_size, sequence_length, config.vocab_size)) — 语言模型头部的预测得分（SoftMax之前的每个词汇表的得分）。

• past_key_values (tuple(tuple(torch.FloatTensor)), optional, returned when use_cache=True is passed or when config.use_cache=True) — 长度为 config.n_layers 的 tuple(torch.FloatTensor)，每个元组包含两个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量，以及两个形状为 (batch_size, num_heads, encoder_sequence_length, embed_size_per_head) 的额外张量。

  包含预计算的隐藏状态（自我注意块和交叉注意块中的键和值），可用于加快序列解码（请参阅past_key_values输入）。

• decoder_hidden_states (tuple(torch.FloatTensor), optional, returned when output_hidden_states=True is passed or when config.output_hidden_states=True) — 含有形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 的元组（如果有嵌入层，则为嵌入输出加上每层的输出）。

  每个层输出的解码器隐藏状态加上初始嵌入输出。

• decoder_attentions (tuple(torch.FloatTensor), 可选，在传递 output_attentions=True 或 config.output_attentions=True 时返回) — 每一层对应一个 torch.FloatTensor 的元组，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  解码器的注意力权重，在注意力 Softmax 之后使用，用于计算自注意力头中的加权平均。

• cross_attentions (tuple(torch.FloatTensor), 可选，在传递 output_attentions=True 或 config.output_attentions=True 时返回) — 每一层对应一个 torch.FloatTensor 的元组，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  解码器交叉注意力层的注意力权重，在注意力 Softmax 之后使用，用于计算交叉注意力头中的加权平均。

• encoder_last_hidden_state (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size)，可选) — 模型编码器最后一层的隐藏状态序列。

• encoder_hidden_states (tuple(torch.FloatTensor)，可选，在传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型有嵌入层，其中一个为嵌入输出，其余为每层输出），形状为 (batch_size, sequence_length, hidden_size)。

  每个层输出的编码器隐藏状态加上初始嵌入输出。

• encoder_attentions (tuple(torch.FloatTensor)，可选，在传递 output_attentions=True 或 config.output_attentions=True 时返回) — 每一层对应一个 torch.FloatTensor 的元组，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  编码器的注意力权重，在注意力 Softmax 之后使用，用于计算自注意力头中的加权平均。

参数

• input_ids (torch.LongTensor of shape (batch_size, sequence_length)) — 输入序列中词汇表中标记索引。T5模型具有相对位置嵌入，因此您可以同时在左侧和右侧填充输入。

  索引可以通过 AutoTokenizer 获取。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  有关如何为预训练准备 input_ids 的更多信息，请参阅 T5 Training。

• attention_mask (torch.FloatTensor，形状为(batch_size, sequence_length)，可选) - 用于防止在填充词索引上执行关注的掩码。掩码值选自[0, 1]：
  • 1代表未被掩码的词;
  • 0代表被掩码的词。

  什么是关注掩码？

• bbox (torch.LongTensor，形状为 pixel_values (torch.FloatTensor，形状为(batch_size, num_channels, height, width)) - 文档图像的批次。每个图像分为形状为(num_channels, config.patch_size, config.patch_size)的块，块的总数(=patch_sequence_length)等于(((height / config.patch_size) * (width / config.patch_size))。
• visual_bbox (torch.LongTensor 形状为 (batch_size, patch_sequence_length, 4)，可选) — 图像中每个补丁的边界框。如果未提供，模型将创建边界框。
• head_mask (torch.FloatTensor 形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于无效化自注意力模块所选头的掩码。掩码值选择在 [0, 1] 中：
  • 1 表示头 未掩码，
  • 0 表示头 掩码。
• inputs_embeds (torch.FloatTensor 形状为 (batch_size, sequence_length, hidden_size)，可选) — 可选择直接传递嵌入表示，而不是传递 input_ids。如果您希望比模型内部的嵌入查找矩阵有更多的控制权来将 input_ids 索引转换为相关向量，则很有用。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是一个普通的元组。

transformers.models.udop.modeling_udop.BaseModelOutputWithAttentionMask 或一个由多个元素组成的 torch.FloatTensor 的元组（如果传递了 return_dict=False 或 config.return_dict=False）。

• last_hidden_state (torch.FloatTensor 的形状为 (批次大小, 序列长度, 隐藏大小)) — 模型最后层的输出的隐藏状态序列。如果使用了 past_key_values，则只输出形状为 (批次大小, 1, 隐藏大小) 的序列的最后隐藏状态。
• past_key_values (tuple(tuple(torch.FloatTensor)), 可选，当传递了 use_cache=True 时返回)
• 当 config.use_cache=True 时) — 一个长度为 config.n_layers 的 tuple(torch.FloatTensor) 元组，其中每个元组包含 2 个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量，可选地，如果 config.is_encoder_decoder=True，则还包括 2 个形状为 (batch_size, num_heads, encoder_sequence_length, embed_size_per_head) 的额外张量。包含预计算的隐藏状态（自我注意力块中的键和值以及可选地如果 config.is_encoder_decoder=True，则在交叉注意力块中）可以用来（见 past_key_values 输入）加速顺序解码。
• hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或
• 当 config.output_hidden_states=True) — 一个 torch.FloatTensor 元组（如果一个模型有嵌入层，则代表嵌入层的输出 + 每层的输出），形状为 (batch_size, sequence_length, hidden_size)。模型的隐藏状态在每个层输出处加上可选的初始嵌入输出。
• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当
• config.output_attentions=True): 一个形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元组（每个层一个），包含注意力软云后的注意力权重，用于计算自我注意力首部的加权平均。
• cross_attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 和
• config.add_cross_attention=True 是或当 config.output_attentions=True 时) — 一个形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元组（每个层一个），包含解码器交叉注意力层注意力软云后的注意力权重，用于计算交叉注意力首部的加权平均。