一个配置对象的实例

参数

• images (ImageInput) — 预处理图像。期望单张或多张图像。
• header_text (Union[List[str], str], 可选) — 作为头部渲染的文本。只有当 image_processor.is_vqa 为 True 时才有效。
• do_convert_rgb (bool, 可选, 默认为 self.do_convert_rgb) — 是否将图像转换为RGB格式。
• do_normalize (bool, 可选, 默认为 self.do_normalize) — 是否对图像进行归一化处理。
• max_patches (int, 可选, 默认为 self.max_patches) — 最大提取补丁数。
• patch_size (dict, 可选, 默认为 self.patch_size) — 包含补丁高度和宽度字典。
• return_tensors (str 或 TensorType，可选）— 返回张量的类型。可以是以下之一：
  • 未设置：返回一个 np.ndarray 列表。
  • TensorType.TENSORFLOW 或 'tf'：返回类型为 tf.Tensor 的批次。
  • TensorType.PYTORCH 或 'pt'：返回类型为 torch.Tensor 的批次。
  • TensorType.NUMPY 或 'np'：返回类型为 np.ndarray 的批次。
  • TensorType.JAX 或 'jax'：返回类型为 jax.numpy.ndarray 的批次。
• data_format （ChannelDimension 或 str，可选，默认为 ChannelDimension.FIRST）— 输出图像的通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
  • 未设置：使用输入图像的通道维度格式。
• — input_data_format (ChannelDimension 或 str，可选）— 输入图像的通道维度格式。如果未设置，将根据输入图像推断通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：图像格式为 (通道数，高度，宽度)。
  • "channels_last" 或 ChannelDimension.LAST：图像格式为 (高度，宽度，通道数)。
  • "none" 或 ChannelDimension.NONE：图像格式为 (高度，宽度)。

参数

• input_ids (torch.LongTensor of shape (batch_size, sequence_length)) — 输入序列token在词汇表中的索引。Pix2StructText是一个具有相对位置嵌入的模型，因此您应该能够在左右两端填充输入。

  可以通过 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  输入ID是什么？

  有关如何为预训练准备 input_ids 的更多说明，请参阅 Pix2StructText 训练。

• attention_mask (torch.FloatTensor of shape (batch_size, sequence_length), optional) — 避免在填充token索引上执行注意力的掩码。掩码值选择在 [0, 1]:
  • 1 代表 未掩码 的token，
  • 0 代表 掩码 的token。

  什么是attention masks?

• decoder_input_ids (torch.LongTensor of shape (batch_size, target_sequence_length), optional) — 词汇表中的解码器输入序列token的索引。

  索引可以通过使用 AutoTokenizer 来获得。请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call() 以了解详细信息。

  什么是解码器输入ID?

  Pix2StructText使用 pad_token_id 作为 decoder_input_ids 生成的起始token。如果使用 past_key_values，则可选地只需要输入最后的 decoder_input_ids（参见 past_key_values）。

  有关如何为预训练准备 decoder_input_ids 的更多信息，请参阅Pix2StructText 训练。

• decoder_attention_mask (torch.BoolTensor 形状为 (batch_size, target_sequence_length)，可选) — 默认行为：生成一个tensor，忽略 decoder_input_ids 中的填充token。默认还将使用因果掩码。
• head_mask (torch.FloatTensor 形状为 (num_heads,) 或者 (num_layers, num_heads)，可选) — 用于使编码器中的自注意力模块的被选头失效的掩码。选中的掩码值在 [0, 1] 中：
  • 1 表示头未掩码，
  • 0 表示头已掩码。
• decoder_head_mask (torch.FloatTensor 形状为 (num_heads,) 或者 (num_layers, num_heads)，可选) — 用于使解码器中的自注意力模块的被选头失效的掩码。选中的掩码值在 [0, 1] 中：
  • 1 表示头未掩码，
  • 0 表示头已掩码。
• cross_attn_head_mask (torch.Tensor of shape (num_heads,) or (num_layers, num_heads), optional) — 用于取消跨注意力模块中选定头部的掩码。掩码值在 [0, 1] 之间选择：
  • 1 表示头部未掩码，
  • 0 表示头部已掩码。
• encoder_outputs (tuple(tuple(torch.FloatTensor), optional) — 包含元素为 (last_hidden_state, optional: hidden_states, optional: attentions) 的元组 last_hidden_state 的形状为 (batch_size, sequence_length, hidden_size)，这是编码器最后一层输出的隐藏状态序列。用于解码器中的跨注意力计算。
• past_key_values （长度为 config.n_layers 的 tuple(tuple(torch.FloatTensor))，每个元组包含4个形状为 (batch_size, num_heads, sequence_length - 1, embed_size_per_head) 的张量） - 包含注意力层的预计算键和值隐藏状态。可用于加速解码。

  如果使用 past_key_values，用户可以选择只输入形状为 (batch_size, 1) 的最后 decoder_input_ids（那些没有给此模型提供过去键值状态的）而不是输入所有形状为 (batch_size, sequence_length) 的 decoder_input_ids。

• inputs_embeds（形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor，可选）——你可以选择直接传递一个嵌入表示，而不是传递 input_ids。这在你想比模型的内部嵌入查找矩阵有更多控制权时很有用。
• decoder_inputs_embeds （形状为 (batch_size, target_sequence_length, hidden_size) 的 torch.FloatTensor，可选） — 可以选择不传递 decoder_input_ids，直接传递嵌入表示。如果使用了 past_key_values，则可选的只输入最后的 decoder_inputs_embeds（参见 past_key_values）。如果您想要比模型的内部嵌入查找矩阵有更多控制权来转换 decoder_input_ids 索引到相关向量，这个选项很有用。

  如果未设置 decoder_input_ids 和 decoder_inputs_embeds，则 decoder_inputs_embeds 将取 inputs_embeds 的值。

• use_cache （布尔值，可选） — 如果设置为 True，将返回 past_key_values 的键值状态，可用于加速解码（参见 past_key_values）。
• output_attentions （布尔值，可选） — 是否返回所有注意力层的注意力张量。有关详细信息，请参见返回张量下的 attentions。
• — output_hidden_states (bool，可选) - 是否返回所有层的隐藏状态。有关更多详情，请参阅返回张量下的 hidden_states。
• — return_dict (bool，可选) - 是否返回 ModelOutput 而不是普通的元组。

A transformers.modeling_outputs.CausalLMOutputWithCrossAttentions 或一个由 torch.FloatTensor 组成的元组（如果传递了 return_dict=False 或当 config.return_dict=False）包含各种元素，具体取决于配置（Pix2StructConfig）和输入。

• loss （torch.FloatTensor 形状为 (1,)，可选，当提供的 labels 时返回）- 语言模型损失（用于下一个令牌预测）。

• logits （torch.FloatTensor 形状为 (batch_size, sequence_length, config.vocab_size)）- 语言建模头的预测分数（在 SoftMax 之前每个词汇表令牌的分数）。

• hidden_states （tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 时返回，或者当 config.output_hidden_states=True）- 由 torch.FloatTensor 组成的元组（一个用于嵌入层的输出，如果模型有嵌入层，+一个用于每个层的输出）的形状为 (batch_size, sequence_length, hidden_size)。

  每个层的模型输出隐藏状态以及可选的初始嵌入输出。

• attentions （tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 时返回，或者当 config.output_attentions=True）- 由 torch.FloatTensor 组成的元组（每个层一个）形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于在自我注意力头中计算加权平均值。

• cross_attentions （tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 时返回，或者当 config.output_attentions=True）- 由 torch.FloatTensor 组成的元组（每个层一个）形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力softmax后的交叉注意力权重，用于在交叉注意力头中计算加权平均。

• past_key_values (tuple(tuple(torch.FloatTensor)), 可选，当传递use_cache=True或当config.use_cache=True时返回) — 长度为config.n_layers的多个torch.FloatTensor元组的元组，其中每个元组包含在编码器-解码器设置中使用模型时自我注意力和交叉注意力层的缓存键值状态。只有在config.is_decoder = True时相关。

  包含可以用于加速顺序解码的预计算的隐藏状态（注意力块中的键和值）。

参数

• flattened_patches (torch.FilesFloat的形状为(batch_size, sequence_length, num_channels x patch_height x patch_width)) — 扁平化和填充的像素值。这些值可以使用AutoImageProcessor获取。有关详细信息，请参阅Pix2StructVisionImageProcessor.__call__。更多信息请参阅原始论文（图5）。
• attention_mask (torch.FilesFloat的形状为(batch_size, sequence_length)，可选) — 避免对填充像素值执行注意力的掩码。掩码值选择在[0, 1]中：
• head_mask (torch.FilesFloat的形状为(num_heads,)或(num_layers, num_heads)，可选) — 用于将自注意力模块中选定的头置为无效的掩码。掩码值选择在[0, 1]中：
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。详见返回张量下的attentions详情。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。详见返回张量下的hidden_states详情。
• return_dict (bool, 可选) — 是否返回一个ModelOutput对象而非普通元组。

A transformers.modeling_outputs.BaseModelOutputWithPooling 或一个包含torch.FloatTensor的元组（如果传递了return_dict=False或当config.return_dict=False时），包含根据配置（Pix2StructConfig）和输入的各种元素。

• last_hidden_state (torch.FloatTensor shifting shape (batch_size, sequence_length, hidden_size)) — 模型的最后一层输出的隐藏状态序列。

• pooler_output （形状为(batch_size, hidden_size)的torch.FloatTensor） —— 在经过附加预训练任务中使用的层进一步处理后，序列中第一个标记（分类标记）的最后一层隐藏状态。例如，对于BERT模型系列，这将在线性层和tanh激活函数之后返回分类标记。线性层的权重是在预训练过程中通过下一句预测（分类）目标进行训练的。

• hidden_states （tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 时返回，或者当 config.output_hidden_states=True）- 由 torch.FloatTensor 组成的元组（一个用于嵌入层的输出，如果模型有嵌入层，+一个用于每个层的输出）的形状为 (batch_size, sequence_length, hidden_size)。

  每个层的模型输出隐藏状态以及可选的初始嵌入输出。

• attentions （tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 时返回，或者当 config.output_attentions=True）- 由 torch.FloatTensor 组成的元组（每个层一个）形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于在自我注意力头中计算加权平均值。

参数

• flattened_patches (torch.FloatTensor of shape (batch_size, seq_length, hidden_size)) — 展平的像素补丁。隐藏尺寸的计算公式如下：hidden_size = num_channels × patch_size × patch_size

  像素补丁的展平过程是通过Pix2StructProcessor来完成的。

• attention_mask (torch.FloatTensor of shape (batch_size, sequence_length), optional) — 用于避免在填充标记索引上执行注意力的掩码。[0, 1]中的掩码值：
  • 1 表示未掩码的标记，
  • 0 表示掩码的标记。

  注意掩码是什么？

• decoder_input_ids (torch.LongTensor 的形状为 (batch_size, target_sequence_length)，可选) — 词库中解码输入序列标记的索引。

  索引可以通过使用 AutoTokenizer 来获取。详情请见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  解码输入 ID 是什么？

  Pix2StructText 使用 pad_token_id 作为 decoder_input_ids 生成的起始标记。如果使用 past_key_values，则通常仅输入最后的 decoder_input_ids（参见 past_key_values）。

  有关如何准备预训练的 decoder_input_ids 的更多信息，请参阅 Pix2StructText 训练。

• decoder_attention_mask (torch.BoolTensor 的形状为 (batch_size, target_sequence_length)，可选) — 默认行为：生成一个忽略 decoder_input_ids 中填充标记的张量。默认也将使用掩码掩码。

• head_mask（《torch.FloatTensor》形状为(num_heads,)或(num_layers, num_heads)，可选) — 用于取消重复选定的编码器自注意力模块头部的掩码。掩码值在[0, 1]选择：
  • 1 表示头部未掩码，
  • 0 表示头部已掩码。
• decoder_head_mask（《torch.FloatTensor》形状为(num_heads,)或(num_layers, num_heads)，可选) — 用于取消重复选定的解码器自注意力模块头部掩码的掩码。掩码值在[0, 1]选择：
  • 1 表示头部未掩码，
  • 0 表示头部已掩码。
• cross_attn_head_mask（《torch.Tensor》形状为(num_heads,)或(num_layers, num_heads)，可选) — 用于取消重复选定解码器交叉注意力模块头部掩码的掩码。掩码值在[0, 1]选择：
  • 1 表示头部未掩码，
  • 0 表示头部已掩码。
• encoder_outputs (tuple(tuple(torch.FloatTensor), optional) — Tuple consists of (last_hidden_state, optional: hidden_states, optional: attentions) last_hidden_state of shape (batch_size, sequence_length, hidden_size) is a sequence of hidden states at the output of the last layer of the encoder. Used in the cross-attention of the decoder.
• past_key_values (tuple(tuple(torch.FloatTensor)) of length config.n_layers with each tuple having 4 tensors of shape (batch_size, num_heads, sequence_length - 1, embed_size_per_head)) — Contains precomputed key and value hidden states of the attention layers. Can be used to speed up decoding.

  If past_key_values are used, the user can optionally input only the last decoder_input_ids (those that don’t have their past key value states given to this model) of shape (batch_size, 1) instead of all decoder_input_ids of shape (batch_size, sequence_length).

• decoder_inputs_embeds （torch.FloatTensor 格式为 (batch_size, target_sequence_length, hidden_size)，可选）— 选择性地，而不是传递 decoder_input_ids，可以直接传递嵌入表示。如果使用 past_key_values，则可选地只输入最后一个 decoder_inputs_embeds（参见 past_key_values）。这在您想更多地控制如何将 decoder_input_ids 索引转换为相关向量而不使用模型的内部嵌入查找矩阵时非常有用。

  如果 decoder_input_ids 和 decoder_inputs_embeds 均未设置，则 decoder_inputs_embeds 采用 inputs_embeds 的值。

• labels （torch.LongTensor 格式为 (batch_size, sequence_length)，可选）— 用于计算解码器掩码语言建模损失标签。
• use_cache （bool，可选）— 如果设置为 True，则返回 past_key_values 键值状态，并可用于加快解码（参见 past_key_values）。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。请参阅返回张量下的 attentions 以获取更多详细信息。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。请参阅返回张量下的 hidden_states 以获取更多详细信息。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。

A transformers.modeling_outputs.Seq2SeqModelOutput 或一个包含连接 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False）的元素，具体取决于配置（Pix2StructConfig）和输入。

• last_hidden_state (torch.FloatTensor 的形状为 (batch_size, sequence_length, hidden_size)) — 模型解码器最后一层输出处的隐藏状态顺序。

  如果使用了 past_key_values，则只输出形状为 (batch_size, 1, hidden_size) 的序列的最后隐藏状态。

• past_key_values （tuple(tuple(torch.FloatTensor))，可选，当传入 use_cache=True 或 config.use_cache=True 时返回）— 长度为 config.n_layers 的 tuple(torch.FloatTensor) 元组，每个元组包含 2 个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量，以及 2 个额外的形状为 (batch_size, num_heads, encoder_sequence_length, embed_size_per_head) 的张量。

  包含预计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于（参见 past_key_values 输入）以加速顺序解码。

• decoder_hidden_states （tuple(torch.FloatTensor)，可选，当传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回）— torch.FloatTensor 元组，如果模型有嵌入层，则包含嵌入层的输出，每个层都有一个输出，形状为 (batch_size, sequence_length, hidden_size)。

  解码器在每层输出以及可选的初始嵌入输出后的隐藏状态。

• decoder_attentions （tuple(torch.FloatTensor)，可选，当传入 output_attentions=True 或 config.output_attentions=True 时返回）— 每个层都有一个形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元组。

  解码器的注意力权重，在注意力 softmax 后使用，用于计算自注意力头中的加权平均。

• cross_attentions （tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 时返回，或者当 config.output_attentions=True）- 由 torch.FloatTensor 组成的元组（每个层一个）形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  解码器的交叉注意力层的注意力权重，在注意力 softmax 后使用，用于计算交叉注意力头中的加权平均。

• encoder_last_hidden_state （形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor，可选）— 模型编码器的最后一层输出处的隐藏状态序列。

• encoder_hidden_states （tuple(torch.FloatTensor)，可选，当传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回）— torch.FloatTensor 元组，如果模型有嵌入层，则包含嵌入层的输出，每个层都有一个输出，形状为 (batch_size, sequence_length, hidden_size)。

  编码器在每层输出以及可选的初始嵌入输出后的隐藏状态。

• encoder_attentions （tuple(torch.FloatTensor)，可选，当传入 output_attentions=True 或 config.output_attentions=True 时返回）— 每个层都有一个形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元组。

  编码器的注意力权重，在注意力 softmax 后使用，用于计算自注意力头中的加权平均。