参数

• images (ImageInput) — 预处理图像。期望是像素值范围为0至255的单个或批量图像。如果传入像素值在0和1之间的图像，设 do_rescale=False。
• do_resize (布尔值, 可选，默认为 self.do_resize) —— 是否调整图像大小。
• size （Dict[str, int]，可选，默认为 self.size）—— 控制在 resize 之后图像的大小。将图像的短边调整为 size["shortest_edge"]，同时保持宽高比不变。如果调整后图像的最长边 > int(size["shortest_edge"] * (1333 / 800))，则再次调整大小，使最长边等于 int(size["shortest_edge"] * (1333 / 800))。
• size_divisor （int，可选，默认为 self.size_divisor）—— 将图像调整到此值倍数的大小。
• resample （PILImageResampling，可选，默认为 self.resample）—— 如果设置 do_resize 为 True 时，在调整图像大小时要使用的重采样过滤器。
• do_rescale （bool，可选，默认为 self.do_rescale） — 是否重新调整图像值在 [0 - 1] 之间。
• rescale_factor （float，可选，默认为 self.rescale_factor） — 如果 do_rescale 设置为 True，用于重新调整图像的缩放因子。
• do_normalize （bool，可选，默认为 self.do_normalize） — 是否对图像进行归一化处理。
• image_mean （float 或 List[float]，可选，默认为 self.image_mean） — 如果 do_normalize 设置为 True，用于归一化图像的图像均值。
• image_std (float 或 List[float]，可选，默认为 self.image_std） — 如果 do_normalize 设置为 True，通过它来标准化图像的图像标准差。
• do_pad (bool，可选，默认为 self.do_pad） — 是否将图像填充至班次的 (max_height, max_width)。如果为 True，也将创建并返回一个像素掩码。
• return_tensors (str 或 TensorType，可选） — 返回张量的类型。可以是以下之一：
  • 未设置：返回列表 np.ndarray。
  • TensorType.TENSORFLOW 或 'tf'：返回类型为 tf.Tensor 的批次。
  • TensorType.PYTORCH 或 'pt'：返回类型为 torch.Tensor 的批次。
  • TensorType.NUMPY 或 'np'：返回类型为 np.ndarray 的批次。
  • TensorType.JAX 或 'jax'：返回类型为 jax.numpy.ndarray 的批次。
• data_format (ChannelDimension 或 str，可选，默认为 ChannelDimension.FIRST) —— 输出图像的通道维度格式。可以是以下之一：
  • ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
  • ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
• input_data_format (ChannelDimension 或 str，可选）—— 输入图像的通道维度格式。如果未设置，则从输入图像推断通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
  • "none" 或 ChannelDimension.NONE：图像格式为 (height, width)。

参数

• input_ids (torch.LongTensor 的形状为 ({0})) — 输入序列标记的词汇索引。索引可以通过 AutoTokenizer 获取。详情请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。 什么是输入ID？
• attention_mask (torch.FloatTensor 的形状为 ({0})，非必需) — 避免在填充标记索引上执行注意力的掩码。掩码值选择在 [0, 1]：
  • 1 表示 未掩码 的标记，
  • 0 表示 掩码 的标记。 什么是注意力掩码？
• token_type_ids (torch.LongTensor 的形状为 ({0})，非必需) — 用于指示输入的第一和第二部分的标记段索引。索引选择在 [0, 1]：
  • 0 对应于 句子 A 标记，
  • 1 对应于 句子 B 标记。 什么是标记类型ID？
• pixel_values（《torch.FloatTensor》形状(batch_size, num_channels, height, width)）—像素值。像素值可以通过AutoImageProcessor获取。关于更详细的信息，请参阅ViltImageProcessor.call()。
• pixel_mask（《torch.LongTensor》形状(batch_size, height, width)，可选）—避免在填充像素值上执行注意力的掩码。掩码值选择的范围为[0, 1]：
  • 1表示像素是真实的（即未掩码），
  • 0表示像素是填充的（即掩码）。什么是注意力掩码？ <../glossary.html#attention-mask>
• head_mask（《torch.FloatTensor》形状(num_heads,)或(num_layers, num_heads)，可选）—遮蔽自注意力模块中选定的头。掩码值选择的范围为[0, 1]：
  • 1表示头部未被掩码，
  • 0表示头部被掩码。
• inputs_embeds (torch.FloatTensor 形状为 ({0}, hidden_size)，可选) — 可以选择不传递 input_ids，而是直接传递嵌入表示。当您希望对如何将 input_ids 索引转换为相关向量有更多控制时，这种情况很有用，比模型内部嵌入查找矩阵更灵活。
• image_embeds (torch.FloatTensor 形状为 (batch_size, num_patches, hidden_size)，可选) — 可以选择不传递 pixel_values，而是直接传递嵌入表示。当您希望更灵活地将 pixel_values 转换为补丁嵌入时，这种情况很有用。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回的张力下方的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关返回张量下hidden_states的详细情况，请参阅更多。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是纯元组。

返回一个 transformers.modeling_outputs.BaseModelOutputWithPooling 或一个 torch.FloatTensor 的元组（如果传入 return_dict=False 或当 config.return_dict=False），根据配置（例如ViltConfig）和输入包含各个元素。

• last_hidden_state (torch.FloatTensor 的形状为 (batch_size, sequence_length, hidden_size)) — 模型最后层输出处的隐藏状态序列。

• pooler_output (torch.FloatTensor 的形状为 (batch_size, hidden_size)) — 通过用于辅助预训练任务的层进一步处理后，序列首令牌（分类令牌）的最后层隐藏状态。例如，对于 BERT-family 模型，这返回在通过一个线性层和一个 tanh 激活函数处理后，分类令牌的结果。线性层的权重在预训练期间从下一个句子预测（分类）目标训练得到。

• hidden_states (tuple(torch.FloatTensor)，可选，在传入 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 的元组（如果模型有嵌入层，则为嵌入输出之后，每个层的输出一个）。

  在每个层输出处的模型的隐藏状态，加上可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor)，可选，在传入 output_attentions=True 或当 config.output_attentions=True 时返回) — 实例为 shape （batch_size, num_heads, sequence_length, sequence_length) 的 title 的元组（每个层一个）。

  在注意力softmax之后的注意权重，用于在自注意力头中计算加权平均。

参数

• input_ids (torch.LongTensor 形状 (batch_size, sequence_length)) — 词汇表中输入序列标记的索引。索引可以通过 AutoTokenizer 获得。有关详细信息，请见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。 什么是输入ID？
• attention_mask (torch.FloatTensor 形状 (batch_size, sequence_length), 可选) — 避免在填充标记索引上执行注意力的掩码。所选掩码值在 [0, 1] 内：
  • 1 表示 未掩码 的标记，
  • 0 表示 掩码 的标记。《什么是注意力掩码？
  • token_type_ids (torch.LongTensor 形状 (batch_size, sequence_length), 可选) — 用于指示输入的前后部分的段标记索引。索引在 [0, 1] 内选择：
    • 0 对应于 句子A 标记，
    • 1 对应于 句子B 标记。《什么是标记类型ID？
    • pixel_values（形状为 (batch_size, num_channels, height, width) 的 torch.FloatTensor）— 像素值。可以使用 AutoImageProcessor 获取像素值。有关详细信息，请参阅 ViltImageProcessor.call()。
    • pixel_mask（形状为（batch_size, height, width），可选）—— 用于避免在填充像素值上执行注意力的掩码。掩码值选择在 [0, 1] 中：
      • 1 表示真实的像素（即 非掩码），
      • 0 表示填充的像素（即 掩码）。 什么是注意力掩码？ <../glossary.html#attention-mask>
    • head_mask（形状为 (num_heads,) 或 (num_layers, num_heads)，可选）—— 用于无效化自注意力模块中选定的头的掩码。掩码值选择在 [0, 1] 中：
      • 1 表示頭部 未掩码，
      • 0 表示头部 掩码。
    • inputs_embeds (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), optional) — 可选，您可以选择直接传递嵌入表示而不是 input_ids，这在您想对将 input_ids 索引转换为相关向量有更多控制权时很有用，比模型内部嵌入查找矩阵更灵活。
    • image_embeds (torch.FloatTensor of shape (batch_size, num_patches, hidden_size), optional) — 可选，您可以选择直接传递嵌入表示而不是 pixel_values，这在您想对将 pixel_values 转换为补丁嵌入有更多控制权时很有用。
    • output_attentions (bool, optional) — 是否返回所有注意力层的张量。有关更多详细信息，请参阅返回张量下的 attentions。
    • output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多详情请参考返回的张量中的 hidden_states。
    • return_dict (bool, 可选) — 是否返回ModelOutput而不是普通的元组。
    • labels (形状为(batch_size, sequence_length)的torch.LongTensor，可选) — 用于计算掩码语言建模损失的标签。索引应在 [-100, 0, …, config.vocab_size] 范围内（见 input_ids 说明文档）-100 索引的标记将被忽略（被掩码），损失只计算标签在 [0, …, config.vocab_size] 范围内的标记。

    返回值

    transformers.modeling_outputs.MaskedLMOutput或tuple(torch.FloatTensor)

    A transformers.modeling_outputs.MaskedLMOutput或一个由torch.FloatTensor组成的元组（如果传递了return_dict=False或有config.return_dict=False），包含根据配置（ViltConfig）和输入的不同元素。

    • loss (形状为(1,)的torch.FloatTensor，可选，当提供labels时返回) — 掩码语言建模（MLM）损失。

    • logits (形状为(batch_size, sequence_length, config.vocab_size)的torch.FloatTensor) — 语言建模头部的预测分数（SoftMax前的每个词汇表的分数）。

    • hidden_states (tuple(torch.FloatTensor)，可选，在传入 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 的元组（如果模型有嵌入层，则为嵌入输出之后，每个层的输出一个）。

      在每个层输出处的模型的隐藏状态，加上可选的初始嵌入输出。

    • attentions (tuple(torch.FloatTensor)，可选，在传入 output_attentions=True 或当 config.output_attentions=True 时返回) — 实例为 shape （batch_size, num_heads, sequence_length, sequence_length) 的 title 的元组（每个层一个）。

      在注意力softmax之后的注意权重，用于在自注意力头中计算加权平均。