参数

• images (ImageInput) — 要预处理的图像。期望像素值范围为 0 到 255 的单张或批量图像。如果传入像素值在 0 到 1 之间的图像，请设置 do_rescale=False。
• do_resize (bool, optional, defaults to self.do_resize) — 是否调整图像大小。
• size (Dict[str, int], optional, defaults to self.size) — 控制 `resize` 之后图像的大小。图像的最短边将被调整为 size["shortest_edge"]，同时保持宽高比。如果调整大小后的图像的最长边 > `int(size["shortest_edge"] * (1333 / 800))`，则再次调整图像大小，使最长边等于 `int(size["shortest_edge"] * (1333 / 800))`。
• size_divisor (int, optional, defaults to self.size_divisor) — 图像将被调整为该值的倍数大小。
• resample (PILImageResampling, optional, defaults to self.resample) — 如果调整图像大小，使用的重采样滤波器。仅当 do_resize 设置为 True 时有效。
• do_rescale (bool, optional, defaults to self.do_rescale) — 是否将图像值重缩放到 [0 - 1] 之间。
• rescale_factor (float, optional, defaults to self.rescale_factor) — 如果 do_rescale 设置为 True，则按照此重缩放因子重缩放图像。
• do_normalize (bool, optional, defaults to self.do_normalize) — 是否归一化图像。
• image_mean (float or List[float], optional, defaults to self.image_mean) — 如果 do_normalize 设置为 True，则使用此图像均值归一化图像。
• image_std (float or List[float], optional, defaults to self.image_std) — 如果 do_normalize 设置为 True，则使用此图像标准差归一化图像。
• do_pad (bool, optional, defaults to self.do_pad) — 是否将图像填充到批次中的 `(max_height, max_width)`。如果为 True，则还会创建并返回像素掩码。
• return_tensors (str or TensorType, optional) — 要返回的张量类型。可以是以下之一：
  • 未设置：返回 np.ndarray 列表。
  • TensorType.TENSORFLOW 或 'tf'：返回 tf.Tensor 类型的批次。
  • TensorType.PYTORCH 或 'pt'：返回 torch.Tensor 类型的批次。
  • TensorType.NUMPY 或 'np'：返回 np.ndarray 类型的批次。
  • TensorType.JAX 或 'jax'：返回 jax.numpy.ndarray 类型的批次。
• data_format (ChannelDimension or str, optional, defaults to ChannelDimension.FIRST) — 输出图像的通道维度格式。可以是以下之一：
  • ChannelDimension.FIRST: `(num_channels, height, width)` 格式的图像。
  • ChannelDimension.LAST: `(height, width, num_channels)` 格式的图像。
• input_data_format (ChannelDimension or str, optional) — 输入图像的通道维度格式。如果未设置，则通道维度格式将从输入图像中推断。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST: `(num_channels, height, width)` 格式的图像。
  • "channels_last" 或 ChannelDimension.LAST: `(height, width, num_channels)` 格式的图像。
  • "none" 或 ChannelDimension.NONE: `(height, width)` 格式的图像。

参数

• input_ids (形状为 ({0}) 的 torch.LongTensor) — 词汇表中输入序列标记的索引。索引可以使用 AutoTokenizer 获得。 有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。 什么是输入 ID？
• attention_mask (形状为 ({0}) 的 torch.FloatTensor，可选) — 用于避免对填充标记索引执行注意力的掩码。在 [0, 1] 中选择的掩码值：
  • 1 表示未被掩盖的标记，
  • 0 表示被掩盖的标记。 什么是注意力掩码？
• token_type_ids (形状为 ({0}) 的 torch.LongTensor，可选) — 分段标记索引，用于指示输入的第一部分和第二部分。 索引在 [0, 1] 中选择：
  • 0 对应于句子 A 标记，
  • 1 对应于句子 B 标记。 什么是标记类型 ID？
• pixel_values (形状为 (batch_size, num_channels, height, width) 的 torch.FloatTensor) — 像素值。像素值可以使用 AutoImageProcessor 获得。 有关详细信息，请参阅 ViltImageProcessor.call()。
• pixel_mask (形状为 (batch_size, height, width) 的 torch.LongTensor，可选) — 用于避免对填充像素值执行注意力的掩码。在 [0, 1] 中选择的掩码值：
  • 1 表示真实像素（即未被掩盖），
  • 0 表示填充像素（即被掩盖）。 什么是注意力掩码？ <../glossary.html#attention-mask>__
• head_mask (形状为 (num_heads,) 或 (num_layers, num_heads) 的 torch.FloatTensor，可选) — 用于使自注意力模块的选定头部无效的掩码。在 [0, 1] 中选择的掩码值：
  • 1 表示头部未被掩盖，
  • 0 表示头部被掩盖。
• inputs_embeds (形状为 ({0}, hidden_size) 的 torch.FloatTensor，可选) — 可选地，您可以选择直接传递嵌入表示，而不是传递 input_ids。 如果您希望比模型的内部嵌入查找矩阵更好地控制如何将 input_ids 索引转换为关联向量，这将非常有用。
• image_embeds (形状为 (batch_size, num_patches, hidden_size) 的 torch.FloatTensor，可选) — 可选地，您可以选择直接传递嵌入表示，而不是传递 pixel_values。 如果您希望比如何将 pixel_values 转换为补丁嵌入更好地进行控制，这将非常有用。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参见返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参见返回张量下的 hidden_states。
• return_dict (bool，可选) — 是否返回 ModelOutput 而不是普通的元组。

一个 transformers.modeling_outputs.BaseModelOutputWithPooling 或 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包括取决于配置 (ViltConfig) 和输入的各种元素。

• last_hidden_state (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor) — 模型最后一层的输出处的隐藏状态序列。

• pooler_output (形状为 (batch_size, hidden_size) 的 torch.FloatTensor) — 序列的第一个标记（分类标记）的最后一层隐藏状态，在通过用于辅助预训练任务的层进行进一步处理之后。 例如，对于 BERT 系列模型，这将返回通过线性层和 tanh 激活函数处理后的分类标记。 线性层权重是通过预训练期间的下一个句子预测（分类）目标训练的。

• hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型具有嵌入层，则一个用于嵌入的输出，+ 每个层的输出一个），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出的隐藏状态，加上可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor) — 词汇表中输入序列标记的索引。索引可以使用 AutoTokenizer 获得。 有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。 什么是输入 IDs？
• attention_mask (形状为 (batch_size, sequence_length) 的 torch.FloatTensor, 可选) — 用于避免在填充标记索引上执行注意力的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示未被掩盖的标记，
  • 0 表示被掩盖的标记。 什么是注意力掩码？
• token_type_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor, 可选) — 分段标记索引以指示输入的第一个和第二个部分。索引在 [0, 1] 中选择：
  • 0 对应于 句子 A 标记，
  • 1 对应于 句子 B 标记。 什么是标记类型 IDs？
• pixel_values (形状为 (batch_size, num_channels, height, width) 的 torch.FloatTensor) — 像素值。像素值可以使用 AutoImageProcessor 获得。 有关详细信息，请参见 ViltImageProcessor.call()。
• pixel_mask (形状为 (batch_size, height, width) 的 torch.LongTensor, 可选) — 用于避免在填充像素值上执行注意力的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示真实的像素（即未被掩盖），
  • 0 表示填充像素（即被掩盖）。 什么是注意力掩码？ <../glossary.html#attention-mask>__
• head_mask (形状为 (num_heads,) 或 (num_layers, num_heads) 的 torch.FloatTensor, 可选) — 用于使自注意力模块的选定头无效的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示头未被掩盖，
  • 0 表示头被掩盖。
• inputs_embeds (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可选) — （可选）您可以选择直接传递嵌入表示，而不是传递 input_ids。如果您想要比模型的内部嵌入查找矩阵更好地控制如何将 input_ids 索引转换为关联的向量，这将非常有用。
• image_embeds (形状为 (batch_size, num_patches, hidden_size) 的 torch.FloatTensor, 可选) — （可选）您可以选择直接传递嵌入表示，而不是传递 pixel_values。如果您想要更好地控制如何将 pixel_values 转换为补丁嵌入，这将非常有用。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参见返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参见返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。
• labels (形状为 (batch_size, sequence_length) 的 torch.LongTensor, 可选) — 用于计算掩码语言建模损失的标签。索引应为 [-100, 0, …, config.vocab_size] （请参阅 input_ids 文档字符串） 索引设置为 -100 的标记将被忽略（掩盖），损失仅针对标签在 [0, …, config.vocab_size] 中的标记计算

一个 transformers.modeling_outputs.MaskedLMOutput 或一个 torch.FloatTensor 元组（如果传递 return_dict=False 或当 config.return_dict=False 时），包含各种元素，具体取决于配置 (ViltConfig) 和输入。

• loss (形状为 (1,) 的 torch.FloatTensor, 可选, 当提供 labels 时返回) — 掩码语言建模 (MLM) 损失。

• logits (形状为 (batch_size, sequence_length, config.vocab_size) 的 torch.FloatTensor) — 语言建模头的预测分数（SoftMax 之前每个词汇表标记的分数）。

• hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型具有嵌入层，则一个用于嵌入的输出，+ 每个层的输出一个），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出的隐藏状态，加上可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (torch.LongTensor, 形状: ({0})) — 词汇表中输入序列 tokens 的索引。索引可以使用 AutoTokenizer 获得。 参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call() 了解详情。 什么是输入 IDs？
• attention_mask (torch.FloatTensor, 形状: ({0}), 可选) — 用于避免在 padding token 索引上执行 attention 的 Mask。 Mask 值在 [0, 1] 中选择:
  • 1 代表 未被 mask 的 tokens，
  • 0 代表 已被 mask 的 tokens。 什么是 attention masks？
• token_type_ids (torch.LongTensor, 形状: ({0}), 可选) — 片段 token 索引，用于指示输入的第一部分和第二部分。索引在 [0, 1] 中选择:
  • 0 对应于 句子 A token，
  • 1 对应于 句子 B token。 什么是 token type IDs？
• pixel_values (torch.FloatTensor, 形状: (batch_size, num_channels, height, width)) — 像素值。 像素值可以使用 AutoImageProcessor 获得。 参阅 ViltImageProcessor.call() 了解详情。
• pixel_mask (torch.LongTensor, 形状: (batch_size, height, width), 可选) — 用于避免在 padding 像素值上执行 attention 的 Mask。 Mask 值在 [0, 1] 中选择:
  • 1 代表真实的像素 (即 未被 mask)，
  • 0 代表 padding 像素 (即 已被 mask)。 什么是 attention masks? <../glossary.html#attention-mask>__
• head_mask (torch.FloatTensor, 形状: (num_heads,) 或 (num_layers, num_heads), 可选) — 用于 nullify self-attention 模块中选定 heads 的 Mask。 Mask 值在 [0, 1] 中选择:
  • 1 表示 head 未被 mask，
  • 0 表示 head 已被 mask。
• inputs_embeds (torch.FloatTensor, 形状: ({0}, hidden_size), 可选) — (可选) 您可以选择直接传递嵌入表示，而不是传递 input_ids。如果您想要比模型的内部嵌入查找矩阵更精细地控制如何将 input_ids 索引转换为关联的向量，这将非常有用。
• image_embeds (torch.FloatTensor, 形状: (batch_size, num_patches, hidden_size), 可选) — (可选) 您可以选择直接传递嵌入表示，而不是传递 pixel_values。如果您想要比模型的内部 patch 嵌入更精细地控制如何将 pixel_values 转换为 patch 嵌入，这将非常有用。
• output_attentions (bool, 可选) — 是否返回所有 attention 层的 attentions tensors。 有关更多详细信息，请参见返回 tensors 下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的 hidden states。 有关更多详细信息，请参见返回 tensors 下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是纯 tuple。
• labels (torch.FloatTensor, 形状: (batch_size, num_labels), 可选) — 用于计算视觉问答损失的标签。此 tensor 必须是 batch 中给定示例的所有适用答案的 one-hot 编码，或者是指示哪些答案适用的 soft 编码，其中 1.0 是最高分。

一个 transformers.modeling_outputs.SequenceClassifierOutput 或 torch.FloatTensor 的 tuple (如果传递了 return_dict=False 或当 config.return_dict=False 时)，其中包含各种元素，具体取决于配置 (ViltConfig) 和输入。

• loss (torch.FloatTensor, 形状: (1,), 可选, 当提供 labels 时返回) — 分类 (或回归，如果 config.num_labels==1) 损失。

• logits (torch.FloatTensor, 形状: (batch_size, config.num_labels)) — 分类 (或回归，如果 config.num_labels==1) 分数 (SoftMax 之前)。

• hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型具有嵌入层，则一个用于嵌入的输出，+ 每个层的输出一个），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出的隐藏状态，加上可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (torch.LongTensor，形状为 ({0})) — 词汇表中输入序列 tokens 的索引。索引可以使用 AutoTokenizer 获得。 有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。 什么是输入 IDs？
• attention_mask (torch.FloatTensor，形状为 ({0})，可选) — 掩码，用于避免在 padding token 索引上执行 attention。掩码值在 [0, 1] 中选择：
  • 1 表示 tokens 未被掩盖，
  • 0 表示 tokens 被掩盖。 什么是 attention 掩码？
• token_type_ids (torch.LongTensor，形状为 ({0})，可选) — 分段 token 索引，用于指示输入的第一部分和第二部分。索引在 [0, 1] 中选择：
  • 0 对应于 sentence A token，
  • 1 对应于 sentence B token。 什么是 token 类型 IDs？
• pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, height, width)) — 像素值。像素值可以使用 AutoImageProcessor 获得。 有关详细信息，请参见 ViltImageProcessor.call()。
• pixel_mask (torch.LongTensor，形状为 (batch_size, height, width)，可选) — 掩码，用于避免在 padding 像素值上执行 attention。掩码值在 [0, 1] 中选择：
  • 1 表示像素是真实的（即未被掩盖），
  • 0 表示像素是 padding（即被掩盖）。 什么是 attention 掩码？ <../glossary.html#attention-mask>__
• head_mask (torch.FloatTensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 掩码，用于使 self-attention 模块的选定 head 无效。掩码值在 [0, 1] 中选择：
  • 1 表示 head 未被掩盖，
  • 0 表示 head 被掩盖。
• inputs_embeds (torch.FloatTensor，形状为 ({0}, hidden_size)，可选) — （可选）您可以选择直接传递嵌入表示，而不是传递 input_ids。如果您希望比模型的内部嵌入查找矩阵更精细地控制如何将 input_ids 索引转换为关联的向量，这将非常有用。
• image_embeds (torch.FloatTensor，形状为 (batch_size, num_patches, hidden_size)，可选) — （可选）您可以选择直接传递嵌入表示，而不是传递 pixel_values。如果您希望比如何将 pixel_values 转换为 patch 嵌入有更精细的控制，这将非常有用。
• output_attentions (bool，可选) — 是否返回所有 attention 层的 attentions 张量。 有关更多详细信息，请参见返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的 hidden states。 有关更多详细信息，请参见返回张量下的 hidden_states。
• return_dict (bool，可选) — 是否返回 ModelOutput 而不是普通元组。
• labels (torch.LongTensor，形状为 (batch_size,)，可选) — 二分类标签。

一个 transformers.models.vilt.modeling_vilt.ViltForImagesAndTextClassificationOutput 或一个 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含各种元素，具体取决于配置 (ViltConfig) 和输入。

• loss (torch.FloatTensor, 形状: (1,), 可选, 当提供 labels 时返回) — 分类 (或回归，如果 config.num_labels==1) 损失。
• logits (torch.FloatTensor, 形状: (batch_size, config.num_labels)) — 分类 (或回归，如果 config.num_labels==1) 分数 (SoftMax 之前)。
• hidden_states (List[tuple(torch.FloatTensor)]，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组的列表（每个图像-文本对一个元组，每个元组包含嵌入的输出 + 每层输出），形状为 (batch_size, sequence_length, hidden_size)。 模型在每一层输出的隐藏状态，加上初始嵌入输出。
• attentions (List[tuple(torch.FloatTensor)]，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 元组的列表（每个图像-文本对一个元组，每个元组包含形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 attention 权重。 attention softmax 之后的 Attention 权重，用于计算 self-attention head 中的加权平均值。

参数

• input_ids (torch.LongTensor，形状为 ({0})) — 词汇表中输入序列 tokens 的索引。索引可以使用 AutoTokenizer 获得。 有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。 什么是输入 IDs？
• attention_mask (torch.FloatTensor，形状为 ({0})，可选) — 掩码，用于避免在 padding token 索引上执行 attention。掩码值在 [0, 1] 中选择：
  • 1 表示 tokens 未被掩盖，
  • 0 表示 tokens 被掩盖。 什么是 attention 掩码？
• token_type_ids (torch.LongTensor，形状为 ({0})，可选) — 分段 token 索引，用于指示输入的第一部分和第二部分。索引在 [0, 1] 中选择：
  • 0 对应于 sentence A token，
  • 1 对应于 sentence B token。 什么是 token 类型 IDs？
• pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, height, width)) — 像素值。像素值可以使用 AutoImageProcessor 获得。 有关详细信息，请参见 ViltImageProcessor.call()。
• pixel_mask (torch.LongTensor，形状为 (batch_size, height, width)，可选) — 掩码，用于避免在 padding 像素值上执行 attention。掩码值在 [0, 1] 中选择：
  • 1 表示像素是真实的（即未被掩盖），
  • 0 表示像素是 padding（即被掩盖）。 什么是 attention 掩码？ <../glossary.html#attention-mask>__
• head_mask (形状为 (num_heads,) 或 (num_layers, num_heads) 的 torch.FloatTensor, 可选) — 用于置空自注意力模块中选定 head 的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示 head 不被掩盖，
  • 0 表示 head 被掩盖。
• inputs_embeds (形状为 ({0}, hidden_size) 的 torch.FloatTensor, 可选) — (可选) ，您可以选择直接传递嵌入表示而不是传递 input_ids。如果您希望比模型的内部嵌入查找矩阵更精细地控制如何将 input_ids 索引转换为关联的向量，这将非常有用。
• image_embeds (形状为 (batch_size, num_patches, hidden_size) 的 torch.FloatTensor, 可选) — (可选) ，您可以选择直接传递嵌入表示而不是传递 pixel_values。如果您希望更精细地控制如何将 pixel_values 转换为 patch embeddings，这将非常有用。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。
• labels (形状为 (batch_size,) 的 torch.LongTensor, 可选) — 当前不支持标签。

一个 transformers.modeling_outputs.SequenceClassifierOutput 或 torch.FloatTensor 的 tuple (如果传递了 return_dict=False 或当 config.return_dict=False 时)，其中包含各种元素，具体取决于配置 (ViltConfig) 和输入。

• loss (torch.FloatTensor, 形状: (1,), 可选, 当提供 labels 时返回) — 分类 (或回归，如果 config.num_labels==1) 损失。

• logits (torch.FloatTensor, 形状: (batch_size, config.num_labels)) — 分类 (或回归，如果 config.num_labels==1) 分数 (SoftMax 之前)。

• hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型具有嵌入层，则一个用于嵌入的输出，+ 每个层的输出一个），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出的隐藏状态，加上可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (形状为 ({0}) 的 torch.LongTensor) — 词汇表中输入序列 token 的索引。 索引可以使用 AutoTokenizer 获得。 有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。 什么是输入 IDs？
• attention_mask (形状为 ({0}) 的 torch.FloatTensor, 可选) — 避免对 padding token 索引执行 attention 的掩码。 掩码值在 [0, 1] 中选择：
  • 1 表示 token 不被掩盖，
  • 0 表示 token 被掩盖。 什么是 attention 掩码？
• token_type_ids (形状为 ({0}) 的 torch.LongTensor, 可选) — 分段 token 索引，用于指示输入的第一部分和第二部分。 索引在 [0, 1] 中选择：
  • 0 对应于 句子 A token，
  • 1 对应于 句子 B token。 什么是 token 类型 IDs？
• pixel_values (形状为 (batch_size, num_channels, height, width) 的 torch.FloatTensor) — 像素值。 像素值可以使用 AutoImageProcessor 获得。 有关详细信息，请参见 ViltImageProcessor.call()。
• pixel_mask (形状为 (batch_size, height, width) 的 torch.LongTensor, 可选) — 避免对 padding 像素值执行 attention 的掩码。 掩码值在 [0, 1] 中选择：
  • 1 表示像素是真实的（即未被掩盖），
  • 0 表示像素是 padding（即被掩盖）。 什么是 attention 掩码？ <../glossary.html#attention-mask>__
• head_mask (形状为 (num_heads,) 或 (num_layers, num_heads) 的 torch.FloatTensor, 可选) — 用于置空自注意力模块中选定 head 的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示 head 不被掩盖，
  • 0 表示 head 被掩盖。
• inputs_embeds (形状为 ({0}, hidden_size) 的 torch.FloatTensor, 可选) — (可选) ，您可以选择直接传递嵌入表示而不是传递 input_ids。如果您希望比模型的内部嵌入查找矩阵更精细地控制如何将 input_ids 索引转换为关联的向量，这将非常有用。
• image_embeds (形状为 (batch_size, num_patches, hidden_size) 的 torch.FloatTensor, 可选) — (可选) ，您可以选择直接传递嵌入表示而不是传递 pixel_values。如果您希望更精细地控制如何将 pixel_values 转换为 patch embeddings，这将非常有用。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。
• labels (形状为 (batch_size, text_sequence_length) 的 torch.LongTensor, 可选) — 用于计算 token 分类损失的标签。 索引应在 [0, ..., config.num_labels - 1] 中。

一个 transformers.modeling_outputs.TokenClassifierOutput 或 torch.FloatTensor 的元组 (如果传递了 return_dict=False 或当 config.return_dict=False 时)，包含取决于配置 (ViltConfig) 和输入的各种元素。

• loss (形状为 (1,) 的 torch.FloatTensor, 可选, 当提供 labels 时返回) — 分类损失。

• logits (形状为 (batch_size, sequence_length, config.num_labels) 的 torch.FloatTensor) — 分类得分（在 SoftMax 之前）。

• hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型具有嵌入层，则一个用于嵌入的输出，+ 每个层的输出一个），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出的隐藏状态，加上可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。