配置对象的实例

参数

• images (ImageInput) — 要预处理的图像。接受单个或一批图像。
• header_text (Union[List[str], str], optional) — 要渲染为标题的文本。仅当 image_processor.is_vqa 为 True 时才有效。
• do_convert_rgb (bool, optional, defaults to self.do_convert_rgb) — 是否将图像转换为 RGB。
• do_normalize (bool, optional, defaults to self.do_normalize) — 是否对图像进行归一化。
• max_patches (int, optional, defaults to self.max_patches) — 要提取的最大patch数量。
• patch_size (dict, optional, defaults to self.patch_size) — 包含patch高度和宽度的字典。
• return_tensors (str 或 TensorType, optional) — 返回的tensor类型。可以是以下之一：
  • Unset: 返回 np.ndarray 列表。
  • TensorType.TENSORFLOW 或 'tf': 返回 tf.Tensor 类型的batch。
  • TensorType.PYTORCH 或 'pt': 返回 torch.Tensor 类型的batch。
  • TensorType.NUMPY 或 'np': 返回 np.ndarray 类型的batch。
  • TensorType.JAX 或 'jax': 返回 jax.numpy.ndarray 类型的batch。
• data_format (ChannelDimension 或 str, optional, defaults to ChannelDimension.FIRST) — 输出图像的通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST: 格式为 (num_channels, height, width) 的图像。
  • "channels_last" 或 ChannelDimension.LAST: 格式为 (height, width, num_channels) 的图像。
  • Unset: 使用输入图像的通道维度格式。
• input_data_format (ChannelDimension 或 str, optional) — 输入图像的通道维度格式。如果未设置，则通道维度格式从输入图像推断。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST: 格式为 (num_channels, height, width) 的图像。
  • "channels_last" 或 ChannelDimension.LAST: 格式为 (height, width, num_channels) 的图像。
  • "none" 或 ChannelDimension.NONE: 格式为 (height, width) 的图像。

参数

• input_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor) — 词汇表中输入序列token的索引。Pix2StructText 是一个带有相对位置嵌入的模型，因此您应该能够在左右两侧填充输入。

  索引可以使用 AutoTokenizer 获得。有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 IDs？

  要了解有关如何为预训练准备 input_ids 的更多信息，请查看 Pix2StructText 训练。

• attention_mask (形状为 (batch_size, sequence_length) 的 torch.FloatTensor, optional) — 用于避免在填充 token 索引上执行 attention 的 Mask。 Mask 值在 [0, 1] 中选择：
  • 1 表示 token 未被 mask，
  • 0 表示 token 已被 mask。

  什么是 attention mask？

• decoder_input_ids (形状为 (batch_size, target_sequence_length) 的 torch.LongTensor, optional) — 词汇表中解码器输入序列 token 的索引。

  索引可以使用 AutoTokenizer 获得。有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是解码器输入 IDs？

  Pix2StructText 使用 pad_token_id 作为 decoder_input_ids 生成的起始 token。如果使用 past_key_values，则可以选择仅输入最后一个 decoder_input_ids（那些没有将其过去的键值状态提供给此模型的）（请参阅 past_key_values）。

  要了解有关如何为预训练准备 decoder_input_ids 的更多信息，请查看 Pix2StructText 训练。

• decoder_attention_mask (形状为 (batch_size, target_sequence_length) 的 torch.BoolTensor, optional) — 默认行为：生成一个忽略 decoder_input_ids 中的 pad token 的 tensor。默认情况下，也将使用因果 mask。
• head_mask (形状为 (num_heads,) 或 (num_layers, num_heads) 的 torch.FloatTensor, optional) — 用于 nullify 编码器中 self-attention 模块的选定 head 的 Mask。 Mask 值在 [0, 1] 中选择：
  • 1 表示 head 未被 mask，
  • 0 表示 head 已被 mask。
• decoder_head_mask (形状为 (num_heads,) 或 (num_layers, num_heads) 的 torch.FloatTensor, optional) — 用于 nullify 解码器中 self-attention 模块的选定 head 的 Mask。 Mask 值在 [0, 1] 中选择：
  • 1 表示 head 未被 mask，
  • 0 表示 head 已被 mask。
• cross_attn_head_mask (形状为 (num_heads,) 或 (num_layers, num_heads) 的 torch.Tensor, optional) — 用于 nullify 解码器中 cross-attention 模块的选定 head 的 Mask。 Mask 值在 [0, 1] 中选择：
  • 1 表示 head 未被 mask，
  • 0 表示 head 已被 mask。
• encoder_outputs (tuple(tuple(torch.FloatTensor), optional) — Tuple 由 (last_hidden_state, optional: hidden_states, optional: attentions) 组成，形状为 (batch_size, sequence_length, hidden_size) 的 last_hidden_state 是编码器最后一层的输出端的隐藏状态序列。用于解码器的 cross-attention 中。
• past_key_values (长度为 config.n_layers 的 tuple(tuple(torch.FloatTensor))，其中每个 tuple 都有 4 个形状为 (batch_size, num_heads, sequence_length - 1, embed_size_per_head) 的 tensor) — 包含 attention 层的预计算的键和值隐藏状态。可用于加速解码。

  如果使用 past_key_values，用户可以选择仅输入最后 decoder_input_ids（那些没有将其过去的键值状态提供给此模型的），其形状为 (batch_size, 1)，而不是所有形状为 (batch_size, sequence_length) 的 decoder_input_ids。

• inputs_embeds (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, optional) — （可选）您可以选择直接传递嵌入表示，而不是传递 input_ids。如果您希望比模型的内部嵌入查找矩阵更精细地控制如何将 input_ids 索引转换为关联的向量，这将非常有用。
• decoder_inputs_embeds (形状为 (batch_size, target_sequence_length, hidden_size) 的 torch.FloatTensor, optional) — （可选）您可以选择直接传递嵌入表示，而不是传递 decoder_input_ids。如果使用 past_key_values，则可以选择仅输入最后一个 decoder_inputs_embeds（请参阅 past_key_values）。如果您希望比模型的内部嵌入查找矩阵更精细地控制如何将 decoder_input_ids 索引转换为关联的向量，这将非常有用。

  如果 decoder_input_ids 和 decoder_inputs_embeds 均未设置，则 decoder_inputs_embeds 采用 inputs_embeds 的值。

• use_cache (bool, optional) — 如果设置为 True，则返回 past_key_values 键值状态，并且可以用于加速解码（请参阅 past_key_values）。
• output_attentions (bool, optional) — 是否返回所有 attention 层的 attention tensor。 有关更多详细信息，请参见返回的 tensor 下的 attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。 更多细节请查看返回张量下的 hidden_states 。
• return_dict (bool, optional) — 是否返回 ModelOutput 而不是纯粹的元组。

一个 transformers.modeling_outputs.CausalLMOutputWithCrossAttentions 或一个 torch.FloatTensor 元组 (如果传递了 return_dict=False 或者当 config.return_dict=False 时)，包含各种元素，具体取决于配置 (Pix2StructConfig) 和输入。

• loss (torch.FloatTensor，形状为 (1,)，可选，当提供 labels 时返回) — 语言建模损失（用于下一个 token 预测）。

• logits (torch.FloatTensor，形状为 (batch_size, sequence_length, config.vocab_size)) — 语言建模头的预测分数（SoftMax 之前的每个词汇 token 的分数）。

• hidden_states (tuple(torch.FloatTensor)，可选，当传递了 output_hidden_states=True 或者当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组 (对于嵌入的输出，如果模型有一个嵌入层，则有一个；对于每一层的输出，则有一个)，形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出端的隐藏状态，加上可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递了 output_attentions=True 或者当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组 (每一层一个)，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。

• cross_attentions (tuple(torch.FloatTensor)，可选，当传递了 output_attentions=True 或者当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组 (每一层一个)，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  交叉注意力 softmax 之后的交叉注意力权重，用于计算交叉注意力头中的加权平均值。

• past_key_values (tuple(tuple(torch.FloatTensor))，可选，当传递了 use_cache=True 或者当 config.use_cache=True 时返回) — torch.FloatTensor 元组的元组，长度为 config.n_layers，每个元组包含自注意力层的缓存键、值状态，以及交叉注意力层（如果模型在编码器-解码器设置中使用）。仅当 config.is_decoder = True 时相关。

  包含预先计算的隐藏状态（注意力块中的键和值），可以用于（参见 past_key_values 输入）加速顺序解码。

参数

• flattened_patches (torch.FloatTensor，形状为 (batch_size, sequence_length, num_channels x patch_height x patch_width)) — 展平并填充的像素值。 这些值可以使用 AutoImageProcessor 获得。 有关详细信息，请参阅 Pix2StructVisionImageProcessor.__call__。 有关更多详细信息，请查看 原始论文（图 5）。
• attention_mask (torch.FloatTensor，形状为 (batch_size, sequence_length)，可选) — 用于避免对填充像素值执行注意力的掩码。 在 [0, 1] 中选择的掩码值：
• head_mask (torch.FloatTensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于使自注意力模块的选定头无效的掩码。 在 [0, 1] 中选择的掩码值：
  • 1 表示头未被掩蔽，
  • 0 表示头被掩蔽。
• output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。 更多细节请查看返回张量下的 attentions 。
• output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。 更多细节请查看返回张量下的 hidden_states 。
• return_dict (bool, optional) — 是否返回 ModelOutput 而不是纯粹的元组。

一个 transformers.modeling_outputs.BaseModelOutputWithPooling 或一个 torch.FloatTensor 元组 (如果传递了 return_dict=False 或者当 config.return_dict=False 时)，包含各种元素，具体取决于配置 (Pix2StructConfig) 和输入。

• last_hidden_state (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出端的隐藏状态序列。

• pooler_output (torch.FloatTensor，形状为 (batch_size, hidden_size)) — 序列的第一个 token（分类 token）的最后一层隐藏状态，在通过用于辅助预训练任务的层进一步处理之后。 例如，对于 BERT 系列模型，这会返回通过线性层和 tanh 激活函数处理后的分类 token。 线性层权重通过预训练期间的下一句预测（分类）目标进行训练。

• hidden_states (tuple(torch.FloatTensor)，可选，当传递了 output_hidden_states=True 或者当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组 (对于嵌入的输出，如果模型有一个嵌入层，则有一个；对于每一层的输出，则有一个)，形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出端的隐藏状态，加上可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递了 output_attentions=True 或者当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组 (每一层一个)，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• flattened_patches (torch.FloatTensor，形状为 (batch_size, seq_length, hidden_size)) — 展平的像素块。 hidden_size 通过以下公式获得： hidden_size = num_channels patch_size patch_size

  展平像素块的过程由 Pix2StructProcessor 完成。

• attention_mask (torch.FloatTensor，形状为 (batch_size, sequence_length)，可选) — 用于避免在 padding token 索引上执行 attention 的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示 token 未被掩盖，
  • 0 表示 token 已被掩盖。

  什么是 attention 掩码？

• decoder_input_ids (torch.LongTensor，形状为 (batch_size, target_sequence_length)，可选) — 解码器输入序列 token 在词汇表中的索引。

  索引可以使用 AutoTokenizer 获得。请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call() 以了解详情。

  什么是解码器输入 ID？

  Pix2StructText 使用 pad_token_id 作为 decoder_input_ids 生成的起始 token。如果使用了 past_key_values，则可以选择只输入最后的 decoder_input_ids (请参阅 past_key_values)。

  要了解更多关于如何为预训练准备 decoder_input_ids 的信息，请查看 Pix2StructText 训练。

• decoder_attention_mask (torch.BoolTensor，形状为 (batch_size, target_sequence_length)，可选) — 默认行为：生成一个忽略 decoder_input_ids 中的 pad token 的 tensor。默认情况下，也会使用因果掩码。
• head_mask (torch.FloatTensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于 nullify 编码器中 self-attention 模块的选定 head 的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示 head 未被掩盖，
  • 0 表示 head 已被掩盖。
• decoder_head_mask (torch.FloatTensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于 nullify 解码器中 self-attention 模块的选定 head 的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示 head 未被掩盖，
  • 0 表示 head 已被掩盖。
• cross_attn_head_mask (torch.Tensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于 nullify 解码器中 cross-attention 模块的选定 head 的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示 head 未被掩盖，
  • 0 表示 head 已被掩盖。
• encoder_outputs (tuple(tuple(torch.FloatTensor)，可选) — 由 (last_hidden_state，可选: hidden_states，可选: attentions) 组成的元组。 形状为 (batch_size, sequence_length, hidden_size) 的 last_hidden_state 是编码器最后一层的输出处的 hidden state 序列。在解码器的 cross-attention 中使用。
• past_key_values (tuple(tuple(torch.FloatTensor))，长度为 config.n_layers，其中每个元组有 4 个形状为 (batch_size, num_heads, sequence_length - 1, embed_size_per_head) 的 tensor) — 包含 attention 层的预计算 key 和 value hidden state。可用于加速解码。

  如果使用了 past_key_values，用户可以选择只输入最后的 decoder_input_ids (那些没有将其 past key value state 给予此模型的) ，形状为 (batch_size, 1)，而不是所有形状为 (batch_size, sequence_length) 的 decoder_input_ids。

• decoder_inputs_embeds (torch.FloatTensor，形状为 (batch_size, target_sequence_length, hidden_size)，可选) — 可以选择直接传递嵌入表示，而不是传递 decoder_input_ids。如果使用了 past_key_values，则可以选择只输入最后的 decoder_inputs_embeds (请参阅 past_key_values)。如果您希望比模型的内部 embedding lookup matrix 更精细地控制如何将 decoder_input_ids 索引转换为关联的向量，这将非常有用。

  如果 decoder_input_ids 和 decoder_inputs_embeds 均未设置，则 decoder_inputs_embeds 取 inputs_embeds 的值。

• labels (torch.LongTensor，形状为 (batch_size, sequence_length)，可选) — 用于计算解码器的 masked language modeling loss 的标签。
• use_cache (bool，可选) — 如果设置为 True，则返回 past_key_values key value state，并可用于加速解码 (请参阅 past_key_values)。
• output_attentions (bool，可选) — 是否返回所有 attention 层的 attention tensor。 有关更多详细信息，请参阅返回的 tensor 下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的 hidden state。 有关更多详细信息，请参阅返回的 tensor 下的 hidden_states。
• return_dict (bool，可选) — 是否返回 ModelOutput 而不是普通元组。

一个 transformers.modeling_outputs.Seq2SeqModelOutput 或一个 torch.FloatTensor 元组 (如果传递了 return_dict=False 或当 config.return_dict=False 时)，包含各种元素，具体取决于配置 (Pix2StructConfig) 和输入。

• last_hidden_state (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size)) — 模型解码器最后一层输出处的 hidden-state 序列。

  如果使用 past_key_values，则仅输出形状为 (batch_size, 1, hidden_size) 的序列的最后一个 hidden-state。

• past_key_values (tuple(tuple(torch.FloatTensor))，可选，当传递 use_cache=True 或当 config.use_cache=True 时返回) — 长度为 config.n_layers 的 tuple(tuple(torch.FloatTensor)) 元组，每个元组具有 2 个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的 tensor 和 2 个形状为 (batch_size, num_heads, encoder_sequence_length, embed_size_per_head) 的附加 tensor。

  包含预计算的 hidden-state (self-attention 块和 cross-attention 块中的 key 和 value)，可用于加速顺序解码 (请参阅 past_key_values 输入)。

• decoder_hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组 (如果模型具有 embedding 层，则为 embedding 输出一个，+ 每层输出一个)，形状为 (batch_size, sequence_length, hidden_size)。

  解码器在每层输出处的 Hidden-state 加上可选的初始 embedding 输出。

• decoder_attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 元组 (每层一个)，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  解码器的 attention 权重，在 attention softmax 之后，用于计算 self-attention head 中的加权平均值。

• cross_attentions (tuple(torch.FloatTensor)，可选，当传递了 output_attentions=True 或者当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组 (每一层一个)，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  解码器的 cross-attention 层的 attention 权重，在 attention softmax 之后，用于计算 cross-attention head 中的加权平均值。

• encoder_last_hidden_state (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size)，可选) — 模型编码器最后一层输出处的 hidden-state 序列。

• encoder_hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组 (如果模型具有 embedding 层，则为 embedding 输出一个，+ 每层输出一个)，形状为 (batch_size, sequence_length, hidden_size)。

  编码器在每层输出处的 Hidden-state 加上可选的初始 embedding 输出。

• encoder_attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 元组 (每层一个)，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  编码器的 attention 权重，在 attention softmax 之后，用于计算 self-attention head 中的加权平均值。