参数

• input_ids (torch.LongTensor，形状为 (batch_size, sequence_length), 可选) — 词汇表中输入序列标记的索引。默认情况下，填充将被忽略。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, image_size, image_size), 可选) — 对应于输入图像的张量。可以使用 {image_processor_class} 获取像素值。有关详细信息，请参阅 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
• attention_mask (torch.Tensor，形状为 (batch_size, sequence_length), 可选) — 用于避免对填充标记索引执行注意力的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示标记未被遮盖，
  • 0 表示标记被遮盖。

  什么是注意力掩码？

• position_ids (torch.LongTensor，形状为 (batch_size, sequence_length), 可选) — 每个输入序列标记在位置嵌入中的位置索引。在 [0, config.n_positions - 1] 范围内选择。

  什么是位置 ID？

• return_loss (bool, 可选) — 是否返回对比损失。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量下的 `attentions`。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的 `hidden_states`。
• output_segmentation (bool, 可选) — 是否返回分割 logits。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。

一个 transformers.models.groupvit.modeling_groupvit.GroupViTModelOutput 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含各种元素，具体取决于配置（GroupViTConfig）和输入。

• loss (torch.FloatTensor，形状为 (1,), 可选, 当 return_loss 为 True 时返回) — 图像-文本相似度的对比损失。

• logits_per_image (torch.FloatTensor，形状为 (image_batch_size, text_batch_size)) — image_embeds 和 text_embeds 之间的缩放点积得分。这表示图文相似度分数。

• logits_per_text (torch.FloatTensor，形状为 (text_batch_size, image_batch_size)) — text_embeds 和 image_embeds 之间的缩放点积得分。这表示文图相似度分数。

• segmentation_logits (torch.FloatTensor，形状为 (batch_size, config.num_labels, logits_height, logits_width)) — 每个像素的分类分数。

  返回的 logits 的大小不一定与作为输入的 `pixel_values` 相同。这是为了避免进行两次插值并损失一些质量，当用户需要将 logits 调整到原始图像大小时，可以作为后处理步骤。您应始终检查 logits 的形状并根据需要调整大小。

• text_embeds (torch.FloatTensor，形状为 (batch_size, output_dim)) — 通过将投影层应用于 GroupViTTextModel 的池化输出而获得的文本嵌入。

• image_embeds (torch.FloatTensor，形状为 (batch_size, output_dim)) — 通过将投影层应用于 GroupViTVisionModel 的池化输出而获得的图像嵌入。

• text_model_output (<class '~modeling_outputs.BaseModelOutputWithPooling'>.text_model_output, 默认为 None) — GroupViTTextModel 的输出。

• vision_model_output (<class '~modeling_outputs.BaseModelOutputWithPooling'>.vision_model_output, 默认为 None) — GroupViTVisionModel 的输出。

参数

• input_ids (torch.Tensor，形状为 (batch_size, sequence_length), 可选) — 词汇表中输入序列标记的索引。默认情况下，填充将被忽略。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (torch.Tensor，形状为 (batch_size, sequence_length), 可选) — 用于避免对填充标记索引执行注意力的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示标记未被遮盖，
  • 0 表示标记被遮盖。

  什么是注意力掩码？

• position_ids (torch.Tensor，形状为 (batch_size, sequence_length), 可选) — 每个输入序列标记在位置嵌入中的位置索引。在 [0, config.n_positions - 1] 范围内选择。

  什么是位置 ID？

• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量下的 `attentions`。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的 `hidden_states`。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。

通过将投影层应用于 GroupViTTextModel 的池化输出而获得的文本嵌入。

参数

• pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, image_size, image_size), 可选) — 对应于输入图像的张量。可以使用 {image_processor_class} 获取像素值。有关详细信息，请参阅 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量下的 `attentions`。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的 `hidden_states`。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。

通过将投影层应用于 GroupViTVisionModel 的池化输出而获得的图像嵌入。

参数

• input_ids (torch.Tensor，形状为 (batch_size, sequence_length), 可选) — 词汇表中输入序列标记的索引。默认情况下，填充将被忽略。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (torch.Tensor，形状为 (batch_size, sequence_length), 可选) — 用于避免对填充标记索引执行注意力的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示标记未被遮盖，
  • 0 表示标记被遮盖。

  什么是注意力掩码？

• position_ids (torch.Tensor，形状为 (batch_size, sequence_length), 可选) — 每个输入序列标记在位置嵌入中的位置索引。在 [0, config.n_positions - 1] 范围内选择。

  什么是位置 ID？

• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量下的 `attentions`。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的 `hidden_states`。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。

一个 transformers.modeling_outputs.BaseModelOutputWithPooling 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含各种元素，具体取决于配置（GroupViTConfig）和输入。

• last_hidden_state (torch.FloatTensor, 形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

• pooler_output (torch.FloatTensor，形状为 (batch_size, hidden_size)) — 序列的第一个标记（分类标记）的最后一层隐藏状态，经过用于辅助预训练任务的层进一步处理。例如，对于 BERT 系列模型，这将返回经过线性层和 tanh 激活函数处理后的分类标记。线性层的权重是在预训练期间从下一句预测（分类）目标中训练的。

• hidden_states (tuple(torch.FloatTensor), 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型有嵌入层，则一个用于嵌入的输出，+ 每个层一个用于输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, image_size, image_size), 可选) — 对应于输入图像的张量。可以使用 {image_processor_class} 获取像素值。有关详细信息，请参阅 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量下的 `attentions`。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的 `hidden_states`。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。

一个 transformers.modeling_outputs.BaseModelOutputWithPooling 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含各种元素，具体取决于配置（GroupViTConfig）和输入。

• last_hidden_state (torch.FloatTensor, 形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

• pooler_output (torch.FloatTensor，形状为 (batch_size, hidden_size)) — 序列的第一个标记（分类标记）的最后一层隐藏状态，经过用于辅助预训练任务的层进一步处理。例如，对于 BERT 系列模型，这将返回经过线性层和 tanh 激活函数处理后的分类标记。线性层的权重是在预训练期间从下一句预测（分类）目标中训练的。

• hidden_states (tuple(torch.FloatTensor), 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型有嵌入层，则一个用于嵌入的输出，+ 每个层一个用于输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (np.ndarray, tf.Tensor, list[tf.Tensor]、dict[str, tf.Tensor] 或 dict[str, np.ndarray]，并且每个样本的形状必须为 (batch_size, sequence_length)) — 词汇表中输入序列标记的索引。

  索引可以使用 AutoTokenizer 获得。有关详细信息，请参阅 PreTrainedTokenizer.call() 和 PreTrainedTokenizer.encode()。

  什么是输入 ID？

• pixel_values (np.ndarray, tf.Tensor, list[tf.Tensor]、dict[str, tf.Tensor] 或 dict[str, np.ndarray]，并且每个样本的形状必须为 (batch_size, num_channels, height, width)) — 像素值。像素值可以使用 AutoImageProcessor 获得。有关详细信息，请参阅 CLIPImageProcessor.call()。
• attention_mask (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length)，可选) — 用于避免在填充标记索引上执行注意力的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示未屏蔽的标记，
  • 0 表示已屏蔽的标记。

  什么是注意力掩码？

• position_ids (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length)，可选) — 位置嵌入中每个输入序列标记的位置索引。在 [0, config.max_position_embeddings - 1] 范围内选择。

  什么是位置 ID？

• return_loss (bool, 可选) — 是否返回对比损失。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量下的 `attentions`。此参数只能在即时模式下使用，在图模式下将使用配置中的值。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的 `hidden_states`。此参数只能在即时模式下使用，在图模式下将使用配置中的值。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。此参数可以在即时模式下使用，在图模式下该值将始终设置为 True。
• training (bool, 可选, 默认为 `False`) — 是否在训练模式下使用模型（某些模块，如 dropout 模块，在训练和评估之间有不同的行为）。

一个 transformers.models.groupvit.modeling_tf_groupvit.TFGroupViTModelOutput 或一个 `tf.Tensor` 元组（如果传递了 `return_dict=False` 或当 `config.return_dict=False` 时），包含各种元素，具体取决于配置 (`<class 'transformers.models.groupvit.configuration_groupvit.GroupViTConfig'>`) 和输入。

• loss (tf.Tensor，形状为 (1,)，可选，当 return_loss 为 True 时返回) — 图像-文本相似度的对比损失。

• logits_per_image (tf.Tensor，形状为 (image_batch_size, text_batch_size)) — `image_embeds` 和 `text_embeds` 之间的缩放点积得分。这表示图像-文本相似度得分。

• logits_per_text (tf.Tensor，形状为 (text_batch_size, image_batch_size)) — `text_embeds` 和 `image_embeds` 之间的缩放点积得分。这表示文本-图像相似度得分。

• segmentation_logits (tf.Tensor，形状为 (batch_size, config.num_labels, logits_height, logits_width)) — 每个像素的分类分数。

  返回的 logits 的大小不一定与作为输入的 `pixel_values` 相同。这是为了避免进行两次插值并损失一些质量，当用户需要将 logits 调整到原始图像大小时，可以作为后处理步骤。您应始终检查 logits 的形状并根据需要调整大小。

• text_embeds (tf.Tensor，形状为 (batch_size, output_dim)) — 将投影层应用于 TFGroupViTTextModel 的池化输出所获得的文本嵌入。

• image_embeds (tf.Tensor，形状为 (batch_size, output_dim)) — 将投影层应用于 TFGroupViTVisionModel 的池化输出所获得的图像嵌入。

• text_model_output (`TFBaseModelOutputWithPooling`) — TFGroupViTTextModel 的输出。

• vision_model_output (`TFBaseModelOutputWithPooling`) — TFGroupViTVisionModel 的输出。

参数

• input_ids (np.ndarray, tf.Tensor, list[tf.Tensor]、dict[str, tf.Tensor] 或 dict[str, np.ndarray]，并且每个样本的形状必须为 (batch_size, sequence_length)) — 词汇表中输入序列标记的索引。

  索引可以使用 AutoTokenizer 获得。有关详细信息，请参阅 PreTrainedTokenizer.call() 和 PreTrainedTokenizer.encode()。

  什么是输入 ID？

• attention_mask (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length)，可选) — 用于避免在填充标记索引上执行注意力的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示未屏蔽的标记，
  • 0 表示已屏蔽的标记。

  什么是注意力掩码？

• position_ids (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length)，可选) — 位置嵌入中每个输入序列标记的位置索引。在 [0, config.max_position_embeddings - 1] 范围内选择。

  什么是位置 ID？

• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量下的 `attentions`。此参数只能在即时模式下使用，在图模式下将使用配置中的值。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的 `hidden_states`。此参数只能在即时模式下使用，在图模式下将使用配置中的值。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。此参数可以在即时模式下使用，在图模式下该值将始终设置为 True。
• training (bool, 可选, 默认为 `False`) — 是否在训练模式下使用模型（某些模块，如 dropout 模块，在训练和评估之间有不同的行为）。

将投影层应用于 TFGroupViTTextModel 的池化输出所获得的文本嵌入。

参数

• pixel_values (np.ndarray, tf.Tensor, list[tf.Tensor]、dict[str, tf.Tensor] 或 dict[str, np.ndarray]，并且每个样本的形状必须为 (batch_size, num_channels, height, width)) — 像素值。像素值可以使用 AutoImageProcessor 获得。有关详细信息，请参阅 CLIPImageProcessor.call()。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量下的 `attentions`。此参数只能在即时模式下使用，在图模式下将使用配置中的值。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的 `hidden_states`。此参数只能在即时模式下使用，在图模式下将使用配置中的值。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。此参数可以在即时模式下使用，在图模式下该值将始终设置为 True。
• training (bool, 可选, 默认为 `False`) — 是否在训练模式下使用模型（某些模块，如 dropout 模块，在训练和评估之间有不同的行为）。

将投影层应用于 TFGroupViTVisionModel 的池化输出所获得的图像嵌入。

参数

• input_ids (np.ndarray, tf.Tensor, list[tf.Tensor]、dict[str, tf.Tensor] 或 dict[str, np.ndarray]，并且每个样本的形状必须为 (batch_size, sequence_length)) — 词汇表中输入序列标记的索引。

  索引可以使用 AutoTokenizer 获得。有关详细信息，请参阅 PreTrainedTokenizer.call() 和 PreTrainedTokenizer.encode()。

  什么是输入 ID？

• attention_mask (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length)，可选) — 用于避免在填充标记索引上执行注意力的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示未屏蔽的标记，
  • 0 表示已屏蔽的标记。

  什么是注意力掩码？

• position_ids (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length)，可选) — 位置嵌入中每个输入序列标记的位置索引。在 [0, config.max_position_embeddings - 1] 范围内选择。

  什么是位置 ID？

• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量下的 `attentions`。此参数只能在即时模式下使用，在图模式下将使用配置中的值。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的 `hidden_states`。此参数只能在即时模式下使用，在图模式下将使用配置中的值。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。此参数可以在即时模式下使用，在图模式下该值将始终设置为 True。
• training (bool, 可选, 默认为 `False`) — 是否在训练模式下使用模型（某些模块，如 dropout 模块，在训练和评估之间有不同的行为）。

一个 transformers.modeling_tf_outputs.TFBaseModelOutputWithPooling 或一个 `tf.Tensor` 元组（如果传递了 `return_dict=False` 或当 `config.return_dict=False` 时），包含各种元素，具体取决于配置 (`<class 'transformers.models.groupvit.configuration_groupvit.GroupViTTextConfig'>`) 和输入。

• last_hidden_state (tf.Tensor of shape (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

• pooler_output (tf.Tensor，形状为 (batch_size, hidden_size)) — 序列第一个标记（分类标记）的最后一层隐藏状态，经过线性层和 Tanh 激活函数进一步处理。线性层权重是在预训练期间通过下一句预测（分类）目标进行训练的。

  此输出通常不是输入语义内容的良好摘要，通常最好对整个输入序列的隐藏状态进行平均或池化。

• hidden_states (tuple(tf.Tensor), 可选, 当传递 `output_hidden_states=True` 或当 `config.output_hidden_states=True` 时返回) — `tf.Tensor` 的元组（一个用于嵌入的输出 + 一个用于每层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态加上初始嵌入输出。

• attentions (tuple(tf.Tensor), 可选, 当传递 `output_attentions=True` 或当 `config.output_attentions=True` 时返回) — `tf.Tensor` 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (np.ndarray, tf.Tensor, list[tf.Tensor]、dict[str, tf.Tensor] 或 dict[str, np.ndarray]，并且每个样本的形状必须为 (batch_size, num_channels, height, width)) — 像素值。像素值可以使用 AutoImageProcessor 获得。有关详细信息，请参阅 CLIPImageProcessor.call()。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量下的 `attentions`。此参数只能在即时模式下使用，在图模式下将使用配置中的值。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的 `hidden_states`。此参数只能在即时模式下使用，在图模式下将使用配置中的值。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。此参数可以在即时模式下使用，在图模式下该值将始终设置为 True。
• training (bool, 可选, 默认为 `False`) — 是否在训练模式下使用模型（某些模块，如 dropout 模块，在训练和评估之间有不同的行为）。

一个 transformers.modeling_tf_outputs.TFBaseModelOutputWithPooling 或一个 `tf.Tensor` 元组（如果传递了 `return_dict=False` 或当 `config.return_dict=False` 时），包含各种元素，具体取决于配置 (`<class 'transformers.models.groupvit.configuration_groupvit.GroupViTVisionConfig'>`) 和输入。

• last_hidden_state (tf.Tensor of shape (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

• pooler_output (tf.Tensor，形状为 (batch_size, hidden_size)) — 序列第一个标记（分类标记）的最后一层隐藏状态，经过线性层和 Tanh 激活函数进一步处理。线性层权重是在预训练期间通过下一句预测（分类）目标进行训练的。

  此输出通常不是输入语义内容的良好摘要，通常最好对整个输入序列的隐藏状态进行平均或池化。

• hidden_states (tuple(tf.Tensor), 可选, 当传递 `output_hidden_states=True` 或当 `config.output_hidden_states=True` 时返回) — `tf.Tensor` 的元组（一个用于嵌入的输出 + 一个用于每层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态加上初始嵌入输出。

• attentions (tuple(tf.Tensor), 可选, 当传递 `output_attentions=True` 或当 `config.output_attentions=True` 时返回) — `tf.Tensor` 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。