参数

• input_ids (torch.LongTensor，形状为 (batch_size, sequence_length), 可选) — 词汇表中输入序列标记的索引。默认情况下，填充将被忽略。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, image_size, image_size), 可选) — 对应于输入图像的张量。可以使用 {image_processor_class} 获取像素值。有关详细信息，请参见 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
• attention_mask (torch.Tensor，形状为 (batch_size, sequence_length), 可选) — 用于避免对填充标记索引执行注意力的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示**未被掩码**的标记，
  • 0 表示**被掩码**的标记。

  什么是注意力掩码？

• position_ids (torch.LongTensor，形状为 (batch_size, sequence_length), 可选) — 每个输入序列标记在位置嵌入中的位置索引。在 [0, config.n_positions - 1] 范围内选择。

  什么是位置 ID？

• return_loss (bool, 可选) — 是否返回对比损失。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参见返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参见返回张量下的 hidden_states。
• interpolate_pos_encoding (bool, 默认为 False) — 是否对预训练的位置编码进行插值。

一个 transformers.models.clip.modeling_clip.CLIPOutput 或一个 `torch.FloatTensor` 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），根据配置 (CLIPConfig) 和输入包含各种元素。

• loss (torch.FloatTensor，形状为 (1,), 可选, 当 return_loss 为 True 时返回) — 图像-文本相似度的对比损失。
• logits_per_image (torch.FloatTensor，形状为 (image_batch_size, text_batch_size)) — image_embeds 和 text_embeds 之间的缩放点积得分。这表示图像-文本相似度分数。
• logits_per_text (torch.FloatTensor，形状为 (text_batch_size, image_batch_size)) — text_embeds 和 image_embeds 之间的缩放点积得分。这表示文本-图像相似度分数。
• text_embeds (torch.FloatTensor，形状为 (batch_size, output_dim)) — 将投影层应用于 CLIPTextModel 的池化输出所获得的文本嵌入。
• image_embeds (torch.FloatTensor，形状为 (batch_size, output_dim)) — 将投影层应用于 CLIPVisionModel 的池化输出所获得的图像嵌入。
• text_model_output (<class '~modeling_outputs.BaseModelOutputWithPooling'>.text_model_output, 默认为 None) — CLIPTextModel 的输出。
• vision_model_output (<class '~modeling_outputs.BaseModelOutputWithPooling'>.vision_model_output, 默认为 None) — CLIPVisionModel 的输出。

参数

• input_ids (torch.Tensor，形状为 (batch_size, sequence_length), 可选) — 词汇表中输入序列标记的索引。默认情况下，填充将被忽略。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (torch.Tensor，形状为 (batch_size, sequence_length), 可选) — 用于避免对填充标记索引执行注意力的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示**未被掩码**的标记，
  • 0 表示**被掩码**的标记。

  什么是注意力掩码？

• position_ids (torch.Tensor，形状为 (batch_size, sequence_length), 可选) — 每个输入序列标记在位置嵌入中的位置索引。在 [0, config.n_positions - 1] 范围内选择。

  什么是位置 ID？

• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参见返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参见返回张量下的 hidden_states。

将投影层应用于 CLIPTextModel 的池化输出所获得的文本嵌入。

参数

• pixel_values (形状为 `(batch_size, num_channels, image_size, image_size)` 的 `torch.FloatTensor`，可选) — 对应于输入图像的张量。像素值可以使用 `{image_processor_class}` 获取。有关详细信息，请参阅 `{image_processor_class}.__call__`（`{processor_class}` 使用 `{image_processor_class}` 处理图像）。
• output_attentions (`bool` 类型，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 `attentions`。
• output_hidden_states (`bool` 类型，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 `hidden_states`。
• interpolate_pos_encoding (`bool` 类型，默认为 `False`) — 是否对预训练的位置编码进行插值。

将投影层应用于 CLIPVisionModel 的池化输出所获得的图像嵌入。

参数

• input_ids (形状为 `(batch_size, sequence_length)` 的 `torch.Tensor`，可选) — 词汇表中输入序列标记的索引。默认情况下将忽略填充。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.__call__()。

  什么是输入 ID？

• attention_mask (形状为 `(batch_size, sequence_length)` 的 `torch.Tensor`，可选) — 用于避免对填充标记索引执行注意力的掩码。掩码值在 `[0, 1]` 中选择：
  • 1 表示标记未被遮盖，
  • 0 表示标记被遮盖。

  什么是注意力掩码？

• position_ids (形状为 `(batch_size, sequence_length)` 的 `torch.Tensor`，可选) — 每个输入序列标记在位置嵌入中的位置索引。在 `[0, config.n_positions - 1]` 范围内选择。

  什么是位置 ID？

• output_attentions (`bool` 类型，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 `attentions`。
• output_hidden_states (`bool` 类型，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 `hidden_states`。

一个 transformers.modeling_outputs.BaseModelOutputWithPooling 或一个 `torch.FloatTensor` 的元组（如果传递了 `return_dict=False` 或当 `config.return_dict=False` 时），根据配置（CLIPConfig）和输入，包含各种元素。

• last_hidden_state (torch.FloatTensor, 形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

• pooler_output (形状为 `(batch_size, hidden_size)` 的 `torch.FloatTensor`) — 序列的第一个标记（分类标记）的最后一层隐藏状态，经过用于辅助预训练任务的层进一步处理。例如，对于 BERT 家族模型，这返回经过线性层和 tanh 激活函数处理后的分类标记。线性层权重是在预训练期间从下一句预测（分类）目标中训练的。

• hidden_states (`tuple(torch.FloatTensor)` 类型，可选，当传递 `output_hidden_states=True` 或 `config.output_hidden_states=True` 时返回) — `torch.FloatTensor` 的元组（如果模型有嵌入层，则一个用于嵌入层的输出，+ 每个层一个用于输出），形状为 `(batch_size, sequence_length, hidden_size)`。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (`tuple(torch.FloatTensor)` 类型，可选，当传递 `output_attentions=True` 或 `config.output_attentions=True` 时返回) — `torch.FloatTensor` 的元组（每层一个），形状为 `(batch_size, num_heads, sequence_length, sequence_length)`。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (形状为 `(batch_size, sequence_length)` 的 `torch.Tensor`，可选) — 词汇表中输入序列标记的索引。默认情况下将忽略填充。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.__call__()。

  什么是输入 ID？

• attention_mask (形状为 `(batch_size, sequence_length)` 的 `torch.Tensor`，可选) — 用于避免对填充标记索引执行注意力的掩码。掩码值在 `[0, 1]` 中选择：
  • 1 表示标记未被遮盖，
  • 0 表示标记被遮盖。

  什么是注意力掩码？

• position_ids (形状为 `(batch_size, sequence_length)` 的 `torch.Tensor`，可选) — 每个输入序列标记在位置嵌入中的位置索引。在 `[0, config.n_positions - 1]` 范围内选择。

  什么是位置 ID？

• output_attentions (`bool` 类型，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 `attentions`。
• output_hidden_states (`bool` 类型，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 `hidden_states`。

一个 `transformers.models.clip.modeling_clip.CLIPTextModelOutput` 或一个 `torch.FloatTensor` 的元组（如果传递了 `return_dict=False` 或当 `config.return_dict=False` 时），根据配置（CLIPConfig）和输入，包含各种元素。

• text_embeds (形状为 `(batch_size, output_dim)` 的 `torch.FloatTensor`，可选，当模型以 `with_projection=True` 初始化时返回) — 通过将投影层应用于 pooler_output 获得的文本嵌入。

• last_hidden_state (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可选，默认为 None) — 模型最后一层输出的隐藏状态序列。

• hidden_states (`tuple[torch.FloatTensor, ...]` 类型，可选，当传递 `output_hidden_states=True` 或 `config.output_hidden_states=True` 时返回) — `torch.FloatTensor` 的元组（如果模型有嵌入层，则一个用于嵌入层的输出，+ 每个层一个用于输出），形状为 `(batch_size, sequence_length, hidden_size)`。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (`tuple[torch.FloatTensor, ...]` 类型，可选，当传递 `output_attentions=True` 或 `config.output_attentions=True` 时返回) — `torch.FloatTensor` 的元组（每层一个），形状为 `(batch_size, num_heads, sequence_length, sequence_length)`。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (形状为 `(batch_size, num_channels, image_size, image_size)` 的 `torch.FloatTensor`，可选) — 对应于输入图像的张量。像素值可以使用 `{image_processor_class}` 获取。有关详细信息，请参阅 `{image_processor_class}.__call__`（`{processor_class}` 使用 `{image_processor_class}` 处理图像）。
• output_attentions (`bool` 类型，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 `attentions`。
• output_hidden_states (`bool` 类型，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 `hidden_states`。
• interpolate_pos_encoding (`bool` 类型，默认为 `False`) — 是否对预训练的位置编码进行插值。

一个 `transformers.models.clip.modeling_clip.CLIPVisionModelOutput` 或一个 `torch.FloatTensor` 的元组（如果传递了 `return_dict=False` 或当 `config.return_dict=False` 时），根据配置（CLIPConfig）和输入，包含各种元素。

• image_embeds (形状为 `(batch_size, output_dim)` 的 `torch.FloatTensor`，可选，当模型以 `with_projection=True` 初始化时返回) — 通过将投影层应用于 pooler_output 获得的图像嵌入。

• last_hidden_state (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可选，默认为 None) — 模型最后一层输出的隐藏状态序列。

• hidden_states (`tuple[torch.FloatTensor, ...]` 类型，可选，当传递 `output_hidden_states=True` 或 `config.output_hidden_states=True` 时返回) — `torch.FloatTensor` 的元组（如果模型有嵌入层，则一个用于嵌入层的输出，+ 每个层一个用于输出），形状为 `(batch_size, sequence_length, hidden_size)`。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (`tuple[torch.FloatTensor, ...]` 类型，可选，当传递 `output_attentions=True` 或 `config.output_attentions=True` 时返回) — `torch.FloatTensor` 的元组（每层一个），形状为 `(batch_size, num_heads, sequence_length, sequence_length)`。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (形状为 `(batch_size, num_channels, image_size, image_size)` 的 `torch.FloatTensor`，可选) — 对应于输入图像的张量。像素值可以使用 `{image_processor_class}` 获取。有关详细信息，请参阅 `{image_processor_class}.__call__`（`{processor_class}` 使用 `{image_processor_class}` 处理图像）。
• output_attentions (`bool` 类型，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 `attentions`。
• output_hidden_states (`bool` 类型，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 `hidden_states`。
• interpolate_pos_encoding (`bool` 类型，默认为 `False`) — 是否对预训练的位置编码进行插值。

一个 transformers.modeling_outputs.BaseModelOutputWithPooling 或一个 `torch.FloatTensor` 的元组（如果传递了 `return_dict=False` 或当 `config.return_dict=False` 时），根据配置（CLIPConfig）和输入，包含各种元素。

• last_hidden_state (torch.FloatTensor, 形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

• pooler_output (形状为 `(batch_size, hidden_size)` 的 `torch.FloatTensor`) — 序列的第一个标记（分类标记）的最后一层隐藏状态，经过用于辅助预训练任务的层进一步处理。例如，对于 BERT 家族模型，这返回经过线性层和 tanh 激活函数处理后的分类标记。线性层权重是在预训练期间从下一句预测（分类）目标中训练的。

• hidden_states (`tuple(torch.FloatTensor)` 类型，可选，当传递 `output_hidden_states=True` 或 `config.output_hidden_states=True` 时返回) — `torch.FloatTensor` 的元组（如果模型有嵌入层，则一个用于嵌入层的输出，+ 每个层一个用于输出），形状为 `(batch_size, sequence_length, hidden_size)`。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (`tuple(torch.FloatTensor)` 类型，可选，当传递 `output_attentions=True` 或 `config.output_attentions=True` 时返回) — `torch.FloatTensor` 的元组（每层一个），形状为 `(batch_size, num_heads, sequence_length, sequence_length)`。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (形状为 `(batch_size, num_channels, image_size, image_size)` 的 `torch.Tensor`，可选) — 对应于输入图像的张量。像素值可以使用 `{image_processor_class}` 获取。有关详细信息，请参阅 `{image_processor_class}.__call__`（`{processor_class}` 使用 `{image_processor_class}` 处理图像）。
• labels (形状为 `(batch_size,)` 的 `torch.LongTensor`，可选) — 用于计算图像分类/回归损失的标签。索引应在 `[0, ..., config.num_labels - 1]` 范围内。如果 `config.num_labels == 1`，则计算回归损失（均方损失），如果 `config.num_labels > 1`，则计算分类损失（交叉熵）。
• output_attentions (`bool` 类型，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 `attentions`。
• output_hidden_states (`bool` 类型，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 `hidden_states`。

一个 transformers.modeling_outputs.ImageClassifierOutput 或一个 `torch.FloatTensor` 的元组（如果传递了 `return_dict=False` 或 `config.return_dict=False`），包含的各种元素取决于配置（CLIPConfig）和输入。

• loss (形状为 (1,) 的 torch.FloatTensor，可选，当提供 labels 时返回) — 分类损失（如果 config.num_labels==1，则为回归损失）。

• logits (形状为 (batch_size, config.num_labels) 的 torch.FloatTensor) — 分类（如果 config.num_labels==1，则为回归）分数（SoftMax 之前）。

• hidden_states (tuple(torch.FloatTensor), 可选, 当传递 `output_hidden_states=True` 或 `config.output_hidden_states=True` 时返回) — `torch.FloatTensor` 的元组（如果模型有嵌入层，则一个用于嵌入层的输出，外加每个阶段的输出一个），形状为 `(batch_size, sequence_length, hidden_size)`。模型在每个阶段输出的隐藏状态（也称为特征图）。

• attentions (tuple(torch.FloatTensor), 可选, 当传递 `output_attentions=True` 或 `config.output_attentions=True` 时返回) — `torch.FloatTensor` 的元组（每层一个），形状为 `(batch_size, num_heads, patch_size, sequence_length)`。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (np.ndarray、tf.Tensor、list[tf.Tensor]、`dict[str, tf.Tensor] 或 dict[str, np.ndarray]，每个样本形状必须为 `(batch_size, sequence_length)`) — 词汇表中输入序列标记的索引。

  索引可以使用 AutoTokenizer 获得。详情请参阅 PreTrainedTokenizer.call() 和 PreTrainedTokenizer.encode()。

  什么是输入 ID？

• pixel_values (np.ndarray、tf.Tensor、list[tf.Tensor]、dict[str, tf.Tensor] 或 dict[str, np.ndarray]，每个样本形状必须为 `(batch_size, num_channels, height, width)`) — 像素值。像素值可以使用 AutoImageProcessor 获得。详情请参阅 CLIPImageProcessor.call()。
• attention_mask (np.ndarray 或 tf.Tensor，形状为 `(batch_size, sequence_length)`，可选) — 用于避免对填充标记索引执行注意力计算的掩码。掩码值选自 `[0, 1]`：
  • 1 表示标记未被掩码，
  • 0 表示标记已被掩码。

  什么是注意力掩码？

• position_ids (np.ndarray 或 tf.Tensor，形状为 `(batch_size, sequence_length)`，可选) — 位置嵌入中每个输入序列标记的位置索引。取值范围为 `[0, config.max_position_embeddings - 1]`。

  什么是位置 ID？

• return_loss (bool, 可选) — 是否返回对比损失。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。更多细节请参阅返回张量下的 `attentions`。该参数只能在 Eager 模式下使用，在图模式下将使用配置中的值。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多细节请参阅返回张量下的 `hidden_states`。该参数只能在 Eager 模式下使用，在图模式下将使用配置中的值。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。该参数可以在 Eager 模式下使用，在图模式下该值将始终设置为 True。
• training (bool, 可选, 默认为 `False`) — 是否将模型用于训练模式（一些模块如 dropout 模块在训练和评估之间有不同的行为）。

一个 `transformers.models.clip.modeling_tf_clip.TFCLIPOutput` 或 `tf.Tensor` 的元组（如果传递了 `return_dict=False` 或 `config.return_dict=False`），包含的各种元素取决于配置（`<class 'transformers.models.clip.configuration_clip.CLIPConfig'>`）和输入。

• loss (tf.Tensor，形状为 (1,)，可选，当 return_loss 为 True 时返回) — 图像-文本相似度的对比损失。
• logits_per_image:(tf.Tensor，形状为 `(image_batch_size, text_batch_size)`) — `image_embeds` 和 `text_embeds` 之间的缩放点积得分。这表示图像-文本相似度得分。
• logits_per_text:(tf.Tensor，形状为 `(text_batch_size, image_batch_size)`) — `text_embeds` 和 `image_embeds` 之间的缩放点积得分。这表示文本-图像相似度得分。
• text_embeds(tf.Tensor，形状为 `(batch_size, output_dim`) — 将投影层应用于 TFCLIPTextModel 的池化输出所获得的文本嵌入。
• image_embeds(tf.Tensor，形状为 `(batch_size, output_dim`) — 将投影层应用于 TFCLIPVisionModel 的池化输出所获得的图像嵌入。
• text_model_output(~modeling_tf_utils.TFBaseModelOutputWithPooling): TFCLIPTextModel 的输出。
• vision_model_output(~modeling_tf_utils.TFBaseModelOutputWithPooling): TFCLIPVisionModel 的输出。

参数

• input_ids (np.ndarray、tf.Tensor、list[tf.Tensor]、`dict[str, tf.Tensor] 或 dict[str, np.ndarray]，每个样本形状必须为 `(batch_size, sequence_length)`) — 词汇表中输入序列标记的索引。

  索引可以使用 AutoTokenizer 获得。详情请参阅 PreTrainedTokenizer.call() 和 PreTrainedTokenizer.encode()。

  什么是输入 ID？

• attention_mask (np.ndarray 或 tf.Tensor，形状为 `(batch_size, sequence_length)`，可选) — 用于避免对填充标记索引执行注意力计算的掩码。掩码值选自 `[0, 1]`：
  • 1 表示标记未被掩码，
  • 0 表示标记已被掩码。

  什么是注意力掩码？

• position_ids (np.ndarray 或 tf.Tensor，形状为 `(batch_size, sequence_length)`，可选) — 位置嵌入中每个输入序列标记的位置索引。取值范围为 `[0, config.max_position_embeddings - 1]`。

  什么是位置 ID？

• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。更多细节请参阅返回张量下的 `attentions`。该参数只能在 Eager 模式下使用，在图模式下将使用配置中的值。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多细节请参阅返回张量下的 `hidden_states`。该参数只能在 Eager 模式下使用，在图模式下将使用配置中的值。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。该参数可以在 Eager 模式下使用，在图模式下该值将始终设置为 True。
• training (bool, 可选, 默认为 `False`) — 是否将模型用于训练模式（一些模块如 dropout 模块在训练和评估之间有不同的行为）。

将投影层应用于 TFCLIPTextModel 的池化输出所获得的文本嵌入。

参数

• pixel_values (np.ndarray、tf.Tensor、list[tf.Tensor]、`dict[str, tf.Tensor] 或 dict[str, np.ndarray]，每个样本形状必须为 `(batch_size, num_channels, height, width)`) — 像素值。像素值可以使用 AutoImageProcessor 获得。详情请参阅 CLIPImageProcessor.call()。 output_attentions (bool, 可选): 是否返回所有注意力层的注意力张量。更多细节请参阅返回张量下的 `attentions`。该参数只能在 Eager 模式下使用，在图模式下将使用配置中的值。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多细节请参阅返回张量下的 `hidden_states`。该参数只能在 Eager 模式下使用，在图模式下将使用配置中的值。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。该参数可以在 Eager 模式下使用，在图模式下该值将始终设置为 True。
• training (bool, 可选, 默认为 `False`) — 是否将模型用于训练模式（一些模块如 dropout 模块在训练和评估之间有不同的行为）。

将投影层应用于 TFCLIPVisionModel 的池化输出所获得的图像嵌入。

参数

• input_ids (np.ndarray、tf.Tensor、list[tf.Tensor]、`dict[str, tf.Tensor] 或 dict[str, np.ndarray]，每个样本形状必须为 `(batch_size, sequence_length)`) — 词汇表中输入序列标记的索引。

  索引可以使用 AutoTokenizer 获得。详情请参阅 PreTrainedTokenizer.call() 和 PreTrainedTokenizer.encode()。

  什么是输入 ID？

• attention_mask (np.ndarray 或 tf.Tensor，形状为 `(batch_size, sequence_length)`，可选) — 用于避免对填充标记索引执行注意力计算的掩码。掩码值选自 `[0, 1]`：
  • 1 表示标记未被掩码，
  • 0 表示标记已被掩码。

  什么是注意力掩码？

• position_ids (np.ndarray 或 tf.Tensor，形状为 `(batch_size, sequence_length)`，可选) — 位置嵌入中每个输入序列标记的位置索引。取值范围为 `[0, config.max_position_embeddings - 1]`。

  什么是位置 ID？

• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。更多细节请参阅返回张量下的 `attentions`。该参数只能在 Eager 模式下使用，在图模式下将使用配置中的值。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多细节请参阅返回张量下的 `hidden_states`。该参数只能在 Eager 模式下使用，在图模式下将使用配置中的值。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。该参数可以在 Eager 模式下使用，在图模式下该值将始终设置为 True。
• training (bool, 可选, 默认为 `False`) — 是否将模型用于训练模式（一些模块如 dropout 模块在训练和评估之间有不同的行为）。

一个 transformers.modeling_tf_outputs.TFBaseModelOutputWithPooling 或一个 `tf.Tensor` 的元组（如果传递了 `return_dict=False` 或 `config.return_dict=False`），包含的各种元素取决于配置（`<class 'transformers.models.clip.configuration_clip.CLIPTextConfig'>`）和输入。

• last_hidden_state (tf.Tensor of shape (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

• pooler_output (tf.Tensor，形状为 `(batch_size, hidden_size)`) — 序列第一个标记（分类标记）的最后一层隐藏状态，经过一个线性层和 Tanh 激活函数进一步处理。线性层的权重是在预训练期间根据下一句预测（分类）目标进行训练的。

  此输出通常不是输入语义内容的良好摘要，通常最好对整个输入序列的隐藏状态进行平均或池化。

• hidden_states (tuple(tf.Tensor), 可选, 当传递 `output_hidden_states=True` 或 `config.output_hidden_states=True` 时返回) — `tf.Tensor` 的元组（一个用于嵌入层的输出 + 一个用于每层的输出），形状为 `(batch_size, sequence_length, hidden_size)`。

  模型在每个层输出的隐藏状态加上初始嵌入输出。

• attentions (tuple(tf.Tensor), 可选, 当传递 `output_attentions=True` 或 `config.output_attentions=True` 时返回) — `tf.Tensor` 的元组（每层一个），形状为 `(batch_size, num_heads, sequence_length, sequence_length)`。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (np.ndarray、tf.Tensor、list[tf.Tensor]、`dict[str, tf.Tensor] 或 dict[str, np.ndarray]，每个样本形状必须为 `(batch_size, num_channels, height, width)`) — 像素值。像素值可以使用 AutoImageProcessor 获得。详情请参阅 CLIPImageProcessor.call()。 output_attentions (bool, 可选): 是否返回所有注意力层的注意力张量。更多细节请参阅返回张量下的 `attentions`。该参数只能在 Eager 模式下使用，在图模式下将使用配置中的值。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多细节请参阅返回张量下的 `hidden_states`。该参数只能在 Eager 模式下使用，在图模式下将使用配置中的值。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。该参数可以在 Eager 模式下使用，在图模式下该值将始终设置为 True。
• training (bool, 可选, 默认为 `False`) — 是否将模型用于训练模式（一些模块如 dropout 模块在训练和评估之间有不同的行为）。

一个 transformers.modeling_tf_outputs.TFBaseModelOutputWithPooling 或一个 `tf.Tensor` 的元组（如果传递了 `return_dict=False` 或 `config.return_dict=False`），包含的各种元素取决于配置（`<class 'transformers.models.clip.configuration_clip.CLIPVisionConfig'>`）和输入。

• last_hidden_state (tf.Tensor of shape (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

• pooler_output (tf.Tensor，形状为 `(batch_size, hidden_size)`) — 序列第一个标记（分类标记）的最后一层隐藏状态，经过一个线性层和 Tanh 激活函数进一步处理。线性层的权重是在预训练期间根据下一句预测（分类）目标进行训练的。

  此输出通常不是输入语义内容的良好摘要，通常最好对整个输入序列的隐藏状态进行平均或池化。

• hidden_states (tuple(tf.Tensor), 可选, 当传递 `output_hidden_states=True` 或 `config.output_hidden_states=True` 时返回) — `tf.Tensor` 的元组（一个用于嵌入层的输出 + 一个用于每层的输出），形状为 `(batch_size, sequence_length, hidden_size)`。

  模型在每个层输出的隐藏状态加上初始嵌入输出。

• attentions (tuple(tf.Tensor), 可选, 当传递 `output_attentions=True` 或 `config.output_attentions=True` 时返回) — `tf.Tensor` 的元组（每层一个），形状为 `(batch_size, num_heads, sequence_length, sequence_length)`。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (numpy.ndarray，形状为 (batch_size, sequence_length)) — 词汇表中输入序列标记的索引。如果提供填充，默认将被忽略。

  索引可以使用 AutoTokenizer 获得。详情请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (numpy.ndarray，形状为 (batch_size, sequence_length), 可选) — 用于避免对填充标记索引执行注意力操作的掩码。掩码值选自 [0, 1]：
  • 1 表示标记未被遮盖，
  • 0 表示标记已被遮盖。

  什么是注意力掩码？

• position_ids (numpy.ndarray，形状为 (batch_size, sequence_length), 可选) — 每个输入序列标记在位置嵌入中的位置索引。选值范围为 [0, config.max_position_embeddings - 1]。

  什么是位置 ID？

• pixel_values (numpy.ndarray，形状为 (batch_size, num_channels, height, width)) — 像素值。如果提供填充，默认将被忽略。像素值可以使用 AutoImageProcessor 获得。详情请参阅 CLIPImageProcessor.call()。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。更多细节请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多细节请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

一个 transformers.models.clip.modeling_flax_clip.FlaxCLIPOutput 或一个 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），根据配置（<class 'transformers.models.clip.configuration_clip.CLIPConfig'>）和输入，包含各种元素。

• logits_per_image:(jnp.ndarray，形状为 (image_batch_size, text_batch_size)) — image_embeds 和 text_embeds 之间的缩放点积得分。这表示图文相似性得分。
• logits_per_text:(jnp.ndarray，形状为 (text_batch_size, image_batch_size)) — text_embeds 和 image_embeds 之间的缩放点积得分。这表示文图相似性得分。
• text_embeds(jnp.ndarray，形状为 (batch_size, output_dim)) — 通过将投影层应用于 FlaxCLIPTextModel 的池化输出而获得的文本嵌入。
• image_embeds(jnp.ndarray，形状为 (batch_size, output_dim)) — 通过将投影层应用于 FlaxCLIPVisionModel 的池化输出而获得的图像嵌入。
• text_model_output(FlaxBaseModelOutputWithPooling): FlaxCLIPTextModel 的输出。
• vision_model_output(FlaxBaseModelOutputWithPooling): FlaxCLIPVisionModel 的输出。

参数

• input_ids (numpy.ndarray，形状为 (batch_size, sequence_length)) — 词汇表中输入序列标记的索引。如果提供填充，默认将被忽略。

  索引可以使用 AutoTokenizer 获得。详情请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

通过将投影层应用于 FlaxCLIPTextModel 的池化输出而获得的文本嵌入。

参数

• pixel_values (numpy.ndarray，形状为 (batch_size, num_channels, height, width)) — 像素值。如果提供填充，默认将被忽略。像素值可以使用 AutoImageProcessor 获得。详情请参阅 CLIPImageProcessor.call()。

通过将投影层应用于 FlaxCLIPVisionModel 的池化输出而获得的图像嵌入

参数

• input_ids (numpy.ndarray，形状为 (batch_size, sequence_length)) — 词汇表中输入序列标记的索引。如果提供填充，默认将被忽略。

  索引可以使用 AutoTokenizer 获得。详情请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (numpy.ndarray，形状为 (batch_size, sequence_length), 可选) — 用于避免对填充标记索引执行注意力操作的掩码。掩码值选自 [0, 1]：
  • 1 表示标记未被遮盖，
  • 0 表示标记已被遮盖。

  什么是注意力掩码？

• position_ids (numpy.ndarray，形状为 (batch_size, sequence_length), 可选) — 每个输入序列标记在位置嵌入中的位置索引。选值范围为 [0, config.max_position_embeddings - 1]。

  什么是位置 ID？

• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。更多细节请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多细节请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

一个 transformers.modeling_flax_outputs.FlaxBaseModelOutputWithPooling 或一个 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），根据配置（<class 'transformers.models.clip.configuration_clip.CLIPTextConfig'>）和输入，包含各种元素。

• last_hidden_state (形状为 (batch_size, sequence_length, hidden_size) 的 jnp.ndarray) — 模型最后一层输出的隐藏状态序列。

• pooler_output (jnp.ndarray，形状为 (batch_size, hidden_size)) — 序列第一个标记（分类标记）的最后一层隐藏状态，经过线性层和 Tanh 激活函数进一步处理。线性层的权重在预训练期间通过下一句预测（分类）目标进行训练。

• hidden_states (tuple(jnp.ndarray), 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — jnp.ndarray 的元组（一个用于嵌入层的输出，一个用于每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态加上初始嵌入输出。

• attentions (tuple(jnp.ndarray), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — jnp.ndarray 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (numpy.ndarray，形状为 (batch_size, sequence_length)) — 词汇表中输入序列标记的索引。如果提供填充，默认将被忽略。

  索引可以使用 AutoTokenizer 获得。详情请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (numpy.ndarray，形状为 (batch_size, sequence_length), 可选) — 用于避免对填充标记索引执行注意力操作的掩码。掩码值选自 [0, 1]：
  • 1 表示标记未被遮盖，
  • 0 表示标记已被遮盖。

  什么是注意力掩码？

• position_ids (numpy.ndarray，形状为 (batch_size, sequence_length), 可选) — 每个输入序列标记在位置嵌入中的位置索引。选值范围为 [0, config.max_position_embeddings - 1]。

  什么是位置 ID？

• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。更多细节请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多细节请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

一个 transformers.models.clip.modeling_flax_clip.FlaxCLIPTextModelOutput 或一个 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），根据配置（<class 'transformers.models.clip.configuration_clip.CLIPTextConfig'>）和输入，包含各种元素。

• text_embeds (jnp.ndarray，形状为 (batch_size, output_dim)) — 通过将投影层应用于 FlaxCLIPTextModel 的池化输出而获得的文本嵌入。

• last_hidden_state (形状为 (batch_size, sequence_length, hidden_size) 的 jnp.ndarray) — 模型最后一层输出的隐藏状态序列。

• hidden_states (tuple(jnp.ndarray), 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — jnp.ndarray 的元组（一个用于嵌入层的输出，一个用于每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态加上初始嵌入输出。

• attentions (tuple(jnp.ndarray), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — jnp.ndarray 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (numpy.ndarray，形状为 (batch_size, num_channels, height, width)) — 像素值。如果您提供填充（Padding），默认情况下它将被忽略。像素值可以使用 AutoImageProcessor 获取。有关详细信息，请参阅 CLIPImageProcessor.call()。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。

transformers.modeling_flax_outputs.FlaxBaseModelOutputWithPooling 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），根据配置（<class 'transformers.models.clip.configuration_clip.CLIPVisionConfig'>）和输入包含各种元素。

• last_hidden_state (形状为 (batch_size, sequence_length, hidden_size) 的 jnp.ndarray) — 模型最后一层输出的隐藏状态序列。

• pooler_output (jnp.ndarray，形状为 (batch_size, hidden_size)) — 序列第一个标记（分类标记）的最后一层隐藏状态，经过线性层和 Tanh 激活函数进一步处理。线性层的权重在预训练期间通过下一句预测（分类）目标进行训练。

• hidden_states (tuple(jnp.ndarray), 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — jnp.ndarray 的元组（一个用于嵌入层的输出，一个用于每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态加上初始嵌入输出。

• attentions (tuple(jnp.ndarray), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — jnp.ndarray 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。