参数

• input_ids （torch.LongTensor 形状 (batch_size, sequence_length)） — 在词汇表中的输入序列标记的索引。如果提供填充，则默认忽略填充。
  可以通过 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
  输入ID是什么？
• attention_mask （形状为 (batch_size, sequence_length) 的 torch.Tensor，可选）— 用于避免在填充标记索引上执行注意力的掩码。掩码值在 [0, 1] 范围内选出：
  • 1 对于 非掩码 标记，
  • 0 对于 掩码 标记。

  什么是注意力掩码？

• position_ids （形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选）— 每个输入序列标记在位置嵌入中的位置索引。在 [0, config.max_position_embeddings - 1] 范围内选择。

  什么是位置 ID？

• pixel_values （形状为 (batch_size, num_channels, height, width) 的 torch.FloatTensor）— 像素值。默认情况下，如果提供它，会忽略填充。可以使用 AutoImageProcessor 获取像素值。有关详细信息，请参阅 CLIPImageProcessor.call()。
• return_loss (bool, 可选) — 是否返回对比损失。
• output_attentions (bool, 可选) — 是否返回所有注意力层张量的注意力。更多信息请见返回张量中的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多信息请见返回张量中的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通的元组。

一个 transformers.models.clip.modeling_clip.CLIPOutput 或者一个由 torch.FloatTensor 组成的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），根据配置（<class 'transformers.models.clip.configuration_clip.CLIPConfig'>）和输入包含不同的元素。

• loss（形状为 (1,) 的 torch.FloatTensor，可选，当 return_loss 为 True 时返回）—— 图像-文本相似性的对比损失。
• logits_per_image：（形状为 (image_batch_size, text_batch_size) 的 torch.FloatTensor）—— 介于 image_embeds 和 text_embeds 之间的缩放点积分数。这代表了图像-文本相似度分数。
• logits_per_text：（形状为 (text_batch_size, image_batch_size) 的 torch.FloatTensor）—— 介于 text_embeds 和 image_embeds 之间的缩放点积分数。这代表了文本-图像相似度分数。
• text_embeds（形状为 (batch_size, output_dim）的 torch.FloatTensor）—— 通过将 CLIPTextModel 的池化输出应用投影层得到的文本嵌入。
• image_embeds（形状为 (batch_size, output_dim）的 torch.FloatTensor）—— 通过将 CLIPVisionModel 的池化输出应用投影层得到的图像嵌入。
• text_model_output(BaseModelOutputWithPooling)： CLIPTextModel 的输出。
• vision_model_output(BaseModelOutputWithPooling)： CLIPVisionModel 的输出。

参数

• input_ids (torch.LongTensor of shape (batch_size, sequence_length)) — 输入序列标记的索引。如果在词汇表中提供，则默认忽略填充。

  可以通过AutoTokenizer获得索引。有关详细信息，请参阅PreTrainedTokenizer.encode()和PreTrainedTokenizer.call()。

  什么是输入ID？

• attention_mask (torch.Tensor of shape (batch_size, sequence_length), 可选) — 避免在填充标记索引上执行注意力掩码。掩码值选择在[0, 1]：
  • 1 表示未被掩码的标记，
  • 0 表示被掩码的标记。

  什么是注意力掩码？

• position_ids (torch.LongTensor of shape (batch_size, sequence_length), 可选) — 每个输入序列 token 在位置嵌入中的位置索引。选择范围为 [0, config.max_position_embeddings - 1]。

  什么是位置 ID？

• output_attentions (bool, 可选) — 是否返回所有注意力层的张量。有关更多详细信息，请参阅返回的张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回的张量下的 hidden_states。
• return_dict (bool, optional) — 是否返回ModelOutput对象而不是普通元组。

通过将投影层应用于CLIPTextModel的池化输出而得到的文本嵌入。

参数

• pixel_values （torch.FloatTensor 型状的 (batch_size, num_channels, height, width)） — 像素值。如果你提供填充值，则默认忽略填充。可以使用 AutoImageProcessor 获取像素值。有关详细信息，请参阅 CLIPImageProcessor.call()。
• output_attentions （bool，可选） — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量的 attentions。
• output_hidden_states （bool，可选） — 是否返回所有层的隐藏状态。有关返回张量的 hidden_states 的详细信息，请参阅。
• return_dict (bool, optional) — 是否返回一个 ModelOutput 而不是普通元组。

通过将投影层应用于 CLIPVisionModel 的输出池化得到的图像嵌入。

参数

• input_ids (torch.LongTensor of shape (batch_size, sequence_length)) — 词汇表中的输入序列标记索引。如果提供了填充，将默认忽略填充。
• attention_mask (torch.Tensor of shape (batch_size, sequence_length), optional) — 用于避免在填充标记索引上执行注意力的掩码。掩码值选在 [0, 1] 范围内：
• position_ids (torch.LongTensor of shape (batch_size, sequence_length), optional) — 每个输入序列标记的位置嵌入中的索引。在 [0, config.max_position_embeddings - 1] 范围内选择。

  什么是位置ID?

一个transformers.modeling_outputs.BaseModelOutputWithPooling或者一个包含各种元素的元组，这些元素取决于配置（<class 'transformers.models.clip.configuration_clip.CLIPTextConfig'>）和输入，如果传递了return_dict=False或者在config.return_dict=False的情况下（如果return_dict=False）。

• last_hidden_state （形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor）— 模型最后一层的隐藏状态序列。

• pooler_output （形状为 (batch_size, hidden_size) 的 torch.FloatTensor）—— 经过辅助预训练任务的层进一步处理后，序列（分类标记）的第一个标记的最后层隐藏状态。例如，对于 BERT 家族模型，这返回经过线性层和 tanh 激活函数处理过的分类标记。该线性层的权重是在预训练期间的下一个句子预测（分类）目标中训练的。

• hidden_states （tuple(torch.FloatTensor)，可选，在传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回）—— 包含 torch.FloatTensor 的元组（如果模型有嵌入层，则为嵌入层的输出，以及每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层的输出中的隐藏状态，加上可选的初始嵌入输出。

• attentions （tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回）—— 每层 torch.FloatTensor 的元组（每个自注意力头使用），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  通过注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均。

参数

• input_ids (torch.LongTensor 的形状为 (batch_size, sequence_length)) — 输入序列的词汇索引。如果提供了填充，默认将忽略填充部分。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID?

• attention_mask (torch.Tensor 的形状为 (batch_size, sequence_length)，可选) — 避免在填充标记索引上进行注意力的掩码。掩码值选择在 [0, 1] 范围内：
  • 1 表示 未掩码 的标记
  • 0 表示 已掩码 的标记

  什么是注意力掩码?

• position_ids (torch.LongTensor 的形状为 (batch_size, sequence_length)，可选) — 每个输入序列标记在位置嵌入中的位置索引。选择范围在 [0, config.max_position_embeddings - 1] 内。

  什么是位置 ID?

• output_attentions (bool, 可选) — 是否返回所有注意力的张量。请参阅返回张量下方的attentions获取更多详情。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。请参阅返回张量下方的hidden_states获取更多详情。
• return_dict (bool, 可选) — 是否返回ModelOutput 而不是普通的元组。

transformers.models.clip.modeling_clip.CLIPTextModelOutput 或一个由 torch.FloatTensor 组成的元组（如果传递了 return_dict=False 或当 config.return_dict=False），包含根据配置（<class 'transformers.models.clip.configuration_clip.CLIPTextConfig'>）和输入的各个元素。

• text_embeds （当使用 with_projection=True 初始化模型时返回，形状为 (batch_size, output_dim) 的 torch.FloatTensor，可选） — 将经过投影层处理后的 pooler_output 获取到的文本嵌入。

• last_hidden_state （形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor）— 模型最后一层的隐藏状态序列。

• hidden_states （tuple(torch.FloatTensor)，可选，在传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回）—— 包含 torch.FloatTensor 的元组（如果模型有嵌入层，则为嵌入层的输出，以及每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层的输出中的隐藏状态，加上可选的初始嵌入输出。

• attentions （tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回）—— 每层 torch.FloatTensor 的元组（每个自注意力头使用），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  通过注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均。

参数

• pixel_values (torch.FloatTensor of shape (batch_size, num_channels, height, width)) — 像素值。若提供，则默认忽略填充。可以使用 AutoImageProcessor 获取像素值。有关详细信息，请参阅 CLIPImageProcessor.call()。
• output_attentions (bool, 可选) — 是否返回所有注意力的张量。关于返回张量中的更多信息，请参阅 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关返回张量中的更多详细信息，请参阅 hidden_states。
• return_dict (bool, 可选) — 是否以 ModelOutput 的形式返回，而不是普通元组。

transformers.models.clip.modeling_clip.CLIPVisionModelOutput 或 torch.FloatTensor 元组（如果 return_dict=False 被传递或当 config.return_dict=False 时），包含根据配置（<class 'transformers.models.clip.configuration_clip.CLIPVisionConfig'>）和输入的不同元素。

• image_embeds （当模型初始化时带有 with_projection=True 返回的 torch.FloatTensor，形状为 (batch_size, output_dim) 可选） — 通过对 pooler_output 应用投影层获得图像嵌入。

• last_hidden_state （形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor）— 模型最后一层的隐藏状态序列。

• hidden_states （tuple(torch.FloatTensor)，可选，在传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回）—— 包含 torch.FloatTensor 的元组（如果模型有嵌入层，则为嵌入层的输出，以及每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层的输出中的隐藏状态，加上可选的初始嵌入输出。

• attentions （tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回）—— 每层 torch.FloatTensor 的元组（每个自注意力头使用），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  通过注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均。

参数

• pixel_values (torch.FloatTensor of shape (batch_size, num_channels, height, width)) — 像素值。如果您提供它，默认会忽略填充。可以通过使用 AutoImageProcessor 获取像素值。有关详细信息，请参阅 CLIPImageProcessor.call()。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。详细信息见返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。详细信息见返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是普通的元组。

一个 transformers.modeling_outputs.BaseModelOutputWithPooling 或一个包含根据配置（<class 'transformers.models.clip.configuration_clip.CLIPVisionConfig'>）和输入决定的各种元素的 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时）。

• last_hidden_state （形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor）— 模型最后一层的隐藏状态序列。

• pooler_output （形状为 (batch_size, hidden_size) 的 torch.FloatTensor）—— 经过辅助预训练任务的层进一步处理后，序列（分类标记）的第一个标记的最后层隐藏状态。例如，对于 BERT 家族模型，这返回经过线性层和 tanh 激活函数处理过的分类标记。该线性层的权重是在预训练期间的下一个句子预测（分类）目标中训练的。

• hidden_states （tuple(torch.FloatTensor)，可选，在传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回）—— 包含 torch.FloatTensor 的元组（如果模型有嵌入层，则为嵌入层的输出，以及每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层的输出中的隐藏状态，加上可选的初始嵌入输出。

• attentions （tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回）—— 每层 torch.FloatTensor 的元组（每个自注意力头使用），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  通过注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均。

参数

• input_ids (torch.LongTensor of shape (batch_size, sequence_length)) — 输入序列标记的索引，如果提供padding，则会默认忽略。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入ID？

• attention_mask (torch.Tensor 形状为 (batch_size, sequence_length)，可选) — 避免在填充标记索引上执行注意力的掩码。掩码值选择在 [0, 1] 范围内：
  • 1 表示 未掩码 的标记，
  • 0 表示 掩码 的标记。

  注意掩码是什么？

• position_ids (torch.LongTensor 形状为 (batch_size, sequence_length)，可选) — 输入序列中每个标记位置的索引。在 [0, config.max_position_embeddings - 1] 范围内选择。

  位置 ID 是什么？

• pixel_values (torch.FloatTensor 形状为 (batch_size, num_channels, height, width)) — 像素值。如果提供，则默认忽略填充。可以使用 AutoImageProcessor 获取像素值。有关详细信息，请参阅 CLIPImageProcessor.call()。
• return_loss (bool, 可选) — 是否返回对比损失。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。更多详细信息请参考返回张量下的attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多详细信息请参考返回张量下的hidden_states。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是普通的元组。
• labels （torch.LongTensor 形状 (batch_size,)，可选） — 用于计算图像分类/回归损失的标签。索引应在 [0, ..., config.num_labels - 1] 范围内。如果 config.num_labels == 1，则计算回归损失（均方损失），如果 config.num_labels > 1，则计算分类损失（交叉熵）。

A transformers.modeling_outputs.ImageClassifierOutput 或一个包含各种元素的 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False），这些元素取决于配置（CLIPConfig）和输入。

• loss （torch.FloatTensor 形状 (1,)，可选，当提供 labels 时返回） — 分类（或当 config.num_labels==1 时的回归）损失。

• logits （torch.FloatTensor 形状 (batch_size, config.num_labels)） — 分类（或当 config.num_labels==1 时的回归）得分（SoftMax 之前）。

• hidden_states （tuple(torch.FloatTensor)，可选，在传递 output_hidden_states=True 时返回或当 config.output_hidden_states=True 时返回） — 形状为 的 torch.FloatTensor 元组（如果模型有嵌入层，则为嵌入层的输出 + 每个阶段的输出）。每个阶段的输出是模型在每个阶段的隐藏状态（也称为特征图）。

• attentions （tuple(torch.FloatTensor)，可选，在传递 output_attentions=True 时返回或当 config.output_attentions=True 时返回） — 形状为 (batch_size, num_heads, patch_size, sequence_length) 的 torch.FloatTensor 元组（每个层有一个）。这是每个层的注意力权重。

  通过注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均。

参数

• input_ids (np.ndarray, tf.Tensor, List[tf.Tensor] `Dict[str, tf.Tensor] 或 Dict[str, np.ndarray]，每个示例必须是形状 (batch_size, sequence_length)) — 输入序列词汇表中的标记索引。

  可以使用 AutoTokenizer 获取索引。请参阅 PreTrainedTokenizer.call() 和 PreTrainedTokenizer.encode() 了解详细信息。

  什么是输入ID？

• pixel_values (np.ndarray, tf.Tensor, List[tf.Tensor] Dict[str, tf.Tensor] 或 Dict[str, np.ndarray]，每个示例必须是形状 (batch_size, num_channels, height, width)) — 像素值。可以使用 AutoImageProcessor 获取像素值。请参阅 CLIPImageProcessor.call() 了解详细信息。
• attention_mask (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length)，可选) — 避免在填充标记索引上执行注意力的掩码。所选掩码值在 [0, 1] 内：
  • 1 代表 非掩码 标记，
  • 0 代表 掩码 标记。

  什么是注意力掩码？

• position_ids (np.ndarray 或 tf.Tensor 形状 (batch_size, sequence_length)，可选) — 每个输入序列标记在位置嵌入中的位置索引。选在范围 [0, config.max_position_embeddings - 1] 内。

  什么是位置 ID？

• return_loss (bool，可选) — 是否返回对比损失。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。更多详细信息，请参阅返回张量中的 attentions。此参数只能在 eager 模式下使用，在 graph 模式下将使用配置中的值。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多详情请参阅返回的张量中的 hidden_states。此参数仅在 eager 模式下使用，在 graph 模式下会使用配置中的值。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通的元组。此参数可以在 eager 模式下使用，在 graph 模式下此值始终为 True。
• training (bool, 可选, 默认值为 `False`“) — 是否以训练模式使用模型（一些模块如 dropout 模块在训练和评估模式下有不同行为）。

transformers.models.clip.modeling_tf_clip.TFCLIPOutput 或一个 tf.Tensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False），具体包含多种元素，这取决于配置（<class 'transformers.models.clip.configuration_clip.CLIPConfig'>）和输入。

• loss (tf.Tensor 形状为 (1,)，可选，当 return_loss 为真时返回) — 图像-文本相似性的对比损失。
• logits_per_image:(tf.Tensor 形状为 (image_batch_size, text_batch_size)) — 介于 image_embeds 和 text_embeds 之间的缩放点积分数。这代表着图像-文本相似度分数。
• logits_per_text:(tf.Tensor 形状为 (text_batch_size, image_batch_size)) — 表示 text_embeds 和 image_embeds 之间缩放点积得分。这代表了文本-图像相似度得分。
• text_embeds(tf.Tensor 形状为 (batch_size, output_dim)) — 通过将 TFCLIPTextModel 的池化输出应用投影层获得文本嵌入。
• image_embeds(tf.Tensor 形状为 (batch_size, output_dim)) — 通过将 TFCLIPVisionModel 的池化输出应用投影层获得图像嵌入。
• text_model_output(~modeling_tf_utils.TFBaseModelOutputWithPooling)：来自 TFCLIPTextModel 的输出。
• vision_model_output(~modeling_tf_utils.TFBaseModelOutputWithPooling)：来自 TFCLIPVisionModel 的输出。

参数

• input_ids (np.ndarray, tf.Tensor, List[tf.Tensor] `Dict[str, tf.Tensor] 或 Dict[str, np.ndarray]，每个示例必须具有形状 (batch_size, sequence_length)） —— 词汇表中的输入序列标记的索引。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.call() 和 PreTrainedTokenizer.encode()。

  什么是输入ID？

• attention_mask (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length)，可选） —— 用于避免在填充标记索引上执行注意力的掩码。选取掩码值在 [0, 1] 之间：
  • 对于 未掩码 的标记，值为 1；
  • 对于 掩码 的标记，值为 0。

  什么是注意掩码？

• position_ids (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length)，可选） —— 每个输入序列标记在位置嵌入中的位置索引。选取范围在 [0, config.max_position_embeddings - 1] 之间。

  什么是位置ID？

• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量下的 attentions。此参数只能在急切模式下使用，在图模式中，将使用配置中的值。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的 hidden_states。此参数只能在急切模式下使用，在图模式中，将使用配置中的值。
• return_dict (bool, 可选) — 是否返回ModelOutput 而不是普通的元组。此参数可在急切模式下使用，在图模式中，值将始终设置为 True。
• training (bool, 可选, 默认值为 `False“) — 是否使用模型进行训练模式（一些模块如dropout模块在训练和评估之间有不同的行为）。

将投影层应用于 TFCLIPTextModel 的输出池化得到的文本嵌入。

参数

• pixel_values (np.ndarray, tf.Tensor, List[tf.Tensor] `Dict[str, tf.Tensor] 或 Dict[str, np.ndarray]，每个示例必须具有形状 (batch_size, num_channels, height, width)) —— 像素值。可以使用 AutoImageProcessor 获取像素值。有关详细信息，请参阅 CLIPImageProcessor.call()。
• output_hidden_states (bool, 可选) —— 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的 hidden_states。此参数只能在 eager 模式下使用，在图模式下将使用配置中的值。
• return_dict (bool, 可选) —— 是否以 ModelOutput 代替纯元组返回。此参数适用于 eager 模式，在图模式下此值始终将被设置为 True。
• 训练 (bool，可选，默认为 `False`） — 是否使用模型进行训练模式（一些模块（如dropout模块）在训练和评估之间有不同行为）。

通过将TFCLIPVisionModel的汇总输出应用于投影层而获得的图像嵌入。

参数

• input_ids (np.ndarray, tf.Tensor, List[tf.Tensor] `Dict[str, tf.Tensor] or Dict[str, np.ndarray] 以及每个示例必须有形状 (batch_size, sequence_length)) — 输入序列标记在词汇表中的索引.

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.call() 和 PreTrainedTokenizer.encode().

  什么是输入 ID？

• attention_mask (np.ndarray 或 tf.Tensor 的形状为 (batch_size, sequence_length)，可选) — 用于防止在填充标记索引上执行注意力的掩码。[0, 1] 的选择掩码值：
  • 1 表示未掩码的标记，
  • 0 表示掩码的标记。

  什么是注意力掩码？

• position_ids (np.ndarray 或 tf.Tensor 的形状为 (batch_size, sequence_length)，可选) — 每个输入序列标记在位置嵌入中的位置索引。在选择范围 [0, config.max_position_embeddings - 1] 中。

  什么是位置 ID？

• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关返回张量中的 attentions 的更多详细信息，请参见。此参数只能在 eager 模式下使用，在 graph 模式下将使用配置中的值。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。关于返回张量中的详细信息，请参见hidden_states。此参数只能在动态模式中使用，在图模式下将使用配置中的值。
• return_dict (bool, 可选) — 是否返回ModelOutput而不是普通元组。此参数只能在动态模式中使用，在图模式中将始终设置为True。
• training (bool, 可选, 默认为 `False`“) — 是否使用模型进行训练模式（某些模块如dropout模块在训练和评估之间有不同的行为）。

A transformers.modeling_tf_outputs.TFBaseModelOutputWithPooling或一个包含多个元素的tf.Tensor元组（如果传递了return_dict=False或当config.return_dict=False），具体取决于配置（<class 'transformers.models.clip.configuration_clip.CLIPTextConfig'>）和输入。

• last_hidden_state (tf.Tensor形状为(batch_size, sequence_length, hidden_size)) — 模型最后层输出的隐藏状态序列。

• pooler_output (tf.Tensor 形状为 (batch_size, hidden_size)) — 序列（分类标记）的第一个标记的最后一层隐藏状态，经过线性层和 Tanh 激活函数进一步处理。线性层的权重在预训练过程中从下一个句子预测（分类）目标中进行训练。

  此输出通常 不是 输入的语义内容的好总结，您通常最好对整个输入序列的隐藏状态序列进行平均或池化。

• hidden_states (tuple(tf.Tensor)，可选，当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — 包含 tf.Tensor 的元组（包括嵌入输出的 output 和每层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型的每个层输出的隐藏状态以及初始嵌入输出。

• attentions (tuple(tf.Tensor)，可选，当传递 output_attentions=True 或 config.output_attentions=True 时返回) — 包含每个层 tf.Tensor 的元组（一个用于每个层），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  通过注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均。

参数

• pixel_values (np.ndarray, tf.Tensor, List[tf.Tensor] `Dict[str, tf.Tensor] 或 Dict[str, np.ndarray] and each example must have the shape (batch_size, num_channels, height, width)) — 像素值。像素值可以通过 AutoImageProcessor 获取。有关详细信息，请参阅 CLIPImageProcessor.call()。output_attentions (bool, 可选)：是否返回所有注意力层的注意力张量。有关更多详细说明，请参阅返回张量下的 attentions。此参数只能在 eager 模式下使用，在 graph 模式下，将使用配置中的值。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。此参数只能在急切模式下使用，在图模式下将使用配置中的值。
• return_dict (bool, 可选) — 是否返回ModelOutput而不是普通元组。此参数可以在急切模式下使用，在图模式下，值始终设置为True。
• training (bool, 可选, 默认值 `False`) — 是否以训练模式使用模型（一些模块如dropout模块在训练和评估之间有不同行为）。

一个 transformers.modeling_tf_outputs.TFBaseModelOutputWithPooling 或一个包含代码tf.Tensor的元组（如果传递了return_dict=False或当config.return_dict=False时），它包含根据配置（<class 'transformers.models.clip.configuration_clip.CLIPVisionConfig'>）和输入的各种元素。

• last_hidden_state (tf.Tensor形状为(batch_size, sequence_length, hidden_size)) — 模型最后层输出的隐藏状态序列。

• pooler_output (tf.Tensor 形状为 (batch_size, hidden_size)) — 序列（分类标记）的第一个标记的最后一层隐藏状态，经过线性层和 Tanh 激活函数进一步处理。线性层的权重在预训练过程中从下一个句子预测（分类）目标中进行训练。

  此输出通常 不是 输入的语义内容的好总结，您通常最好对整个输入序列的隐藏状态序列进行平均或池化。

• hidden_states (tuple(tf.Tensor)，可选，当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — 包含 tf.Tensor 的元组（包括嵌入输出的 output 和每层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型的每个层输出的隐藏状态以及初始嵌入输出。

• attentions (tuple(tf.Tensor)，可选，当传递 output_attentions=True 或 config.output_attentions=True 时返回) — 包含每个层 tf.Tensor 的元组（一个用于每个层），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  通过注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均。

参数

• input_ids (numpy.ndarray of shape (batch_size, sequence_length)) — 输入序列令牌在词汇表中的索引。如果提供，则默认忽略填充。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入ID？

• attention_mask （形状为(batch_size, sequence_length)的numpy.ndarray，可选） — 避免在填充token的索引上执行注意力操作的掩码。掩码值在[0, 1]范围内选择：
  • 1 对应未屏蔽的token，
  • 0 对应屏蔽的token。

  什么是注意力掩码？

• position_ids （形状为(batch_size, sequence_length)的numpy.ndarray，可选） — 每个输入序列token在位置嵌入中的位置索引。选择范围在[0, config.max_position_embeddings - 1]之内。

  什么是位置ID？

• pixel_values （形状为(batch_size, num_channels, height, width)的numpy.ndarray） — 像素值。默认情况下会忽略填充。可以使用AutoImageProcessor来获取像素值。有关详细信息，请参阅CLIPImageProcessor.call()。
• output_attentions (bool, 可选) —— 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量中的 attentions。
• output_hidden_states (bool, 可选) —— 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量中的 hidden_states。
• return_dict (bool, 可选) —— 是否返回 ModelOutput 而不是普通元组。

transformers.models.clip.modeling_flax_clip.FlaxCLIPOutput 或一个包含 torch.FloatTensor 的元组（如果传递了 return_dict=False 或者当 config.return_dict=False），具体取决于配置（<class 'transformers.models.clip.configuration_clip.CLIPConfig'>）和输入。

• logits_per_image：（形状为 (image_batch_size, text_batch_size) 的 jnp.ndarray）—— image_embeds 和 text_embeds 之间的缩放点积分数。这代表图像-文本相似度分数。
• logits_per_text：（形状为 (text_batch_size, image_batch_size) 的 jnp.ndarray）—— text_embeds 和 image_embeds 之间的缩放点积分数。这代表文本-图像相似度分数。
• text_embeds(jnp.ndarray 的形状为 (batch_size, output_dim) — 通过将投影层应用于 FlaxCLIPTextModel 的池化输出获得的文本嵌入。
• image_embeds(jnp.ndarray 的形状为 (batch_size, output_dim) — 通过将投影层应用于 FlaxCLIPVisionModel 的池化输出获得的图像嵌入。
• text_model_output(FlaxBaseModelOutputWithPooling): FlaxCLIPTextModel 的输出。
• vision_model_output(FlaxBaseModelOutputWithPooling): FlaxCLIPVisionModel 的输出。

参数

通过将 FlaxCLIPTextModel 的汇总输出应用于投影层而得到的文本嵌入。

参数

• pixel_values （形状为 numpy.ndarray 的 (batch_size, num_channels, height, width)） - 像素值。如果提供填充，则默认会忽略。可以使用 AutoImageProcessor 来获取像素值。有关详细信息，请参阅 CLIPImageProcessor.call()。

通过对 FlaxCLIPVisionModel 的池化输出应用投影层获得图像嵌入

参数

• input_ids (numpy.ndarray 的形状为 (batch_size, sequence_length)) — 输入序列的标记索引在词汇表中的索引。默认情况下，如果提供填充，则会忽略填充。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (numpy.ndarray 的形状为 (batch_size, sequence_length)，可选) — 避免对填充标记索引执行关注的掩码。掩码值选自 [0, 1]：
  • 1 用于 未掩码 的标记，
  • 0 用于 掩码 的标记。

  什么是关注掩码？

• position_ids (numpy.ndarray 的形状为 (batch_size, sequence_length)，可选) — 每个输入序列标记在位置嵌入中的位置索引。选择范围 [0, config.max_position_embeddings - 1]。

  什么是位置 ID？

• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详情，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详情，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是纯元组。

一个 transformers.modeling_flax_outputs.FlaxBaseModelOutputWithPooling 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False）包含根据配置（<class 'transformers.models.clip.configuration_clip.CLIPTextConfig'>）和输入的不同元素。

• last_hidden_state （形状为 (batch_size, sequence_length, hidden_size) 的 jnp.ndarray）— 模型最后一层输出的隐藏状态序列。

• pooler_output （形状为 (batch_size, hidden_size) 的 jnp.ndarray）— 首个序列（分类标记）的最后一层隐藏状态，经过线性层和 Tanh 激活函数进一步处理。线性层的权重在预训练过程中从下一个句子的预测（分类）目标中进行训练。

• hidden_states （tuple(jnp.ndarray)，可选，在传递了 output_hidden_states=True 或在 config.output_hidden_states=True 时返回）— 一个形状为 (batch_size, sequence_length, hidden_size) 的 jnp.ndarray 的元组（嵌入输出的一个 + 每个层的输出的一个）。

  模型的每个层输出的隐藏状态以及初始嵌入输出。

• attentions （tuple(jnp.ndarray)，可选，在传递了 output_attentions=True 或在 config.output_attentions=True 时返回）— 一个形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 jnp.ndarray 的元组（每个层的一个）。

  通过注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均。

参数

• input_ids (numpy.ndarray of shape (batch_size, sequence_length)) — 输入序列在词汇表中的单词索引。如果提供，默认会忽略填充.
• attention_mask （维度为(batch_size, sequence_length)的numpy.ndarray，可选）—— 避免在填充token索引上执行注意力机制的掩码。掩码值在[0, 1]之间选择：
  • 1 表示 未掩码 的token；
  • 0 表示 掩码 的token。

  什么是注意力掩码？

• position_ids （维度为(batch_size, sequence_length)的numpy.ndarray，可选）—— 每个输入sequence token在位置嵌入中的位置索引。在[0, config.max_position_embeddings - 1]的范围内选择。

  什么是位置ID？

• output_attentions （bool，可选）—— 是否返回所有注意力层的注意力张量。更多详情请见返回张量中的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多详细信息请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

A transformers.models.clip.modeling_flax_clip.FlaxCLIPTextModelOutput 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含根据配置（<class 'transformers.models.clip.configuration_clip.CLIPTextConfig'>）和输入确定的各个元素。

• text_embeds (jnp.ndarray 形状为 (batch_size, output_dim) — 通过将投影层应用于 FlaxCLIPTextModel 的汇总输出得到的文本嵌入。

• last_hidden_state （形状为 (batch_size, sequence_length, hidden_size) 的 jnp.ndarray）— 模型最后一层输出的隐藏状态序列。

• hidden_states （tuple(jnp.ndarray)，可选，在传递了 output_hidden_states=True 或在 config.output_hidden_states=True 时返回）— 一个形状为 (batch_size, sequence_length, hidden_size) 的 jnp.ndarray 的元组（嵌入输出的一个 + 每个层的输出的一个）。

  模型的每个层输出的隐藏状态以及初始嵌入输出。

• attentions （tuple(jnp.ndarray)，可选，在传递了 output_attentions=True 或在 config.output_attentions=True 时返回）— 一个形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 jnp.ndarray 的元组（每个层的一个）。

  通过注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均。

参数

• pixel_values (numpy.ndarray of shape (batch_size, num_channels, height, width)) — 像素值。在默认情况下，如果提供填充，将会忽略它。可以使用 AutoImageProcessor 获取像素值。有关详细信息，请参阅 CLIPImageProcessor.call()。
• output_attentions (bool, optional) — 是否返回所有注意力的张量。有关更多详情，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

A transformers.modeling_flax_outputs.FlaxBaseModelOutputWithPooling 或一个由 torch.FloatTensor 组成的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含各种元素，取决于配置（<class 'transformers.models.clip.configuration_clip.CLIPVisionConfig'>）和输入。

• last_hidden_state （形状为 (batch_size, sequence_length, hidden_size) 的 jnp.ndarray）— 模型最后一层输出的隐藏状态序列。

• pooler_output （形状为 (batch_size, hidden_size) 的 jnp.ndarray）— 首个序列（分类标记）的最后一层隐藏状态，经过线性层和 Tanh 激活函数进一步处理。线性层的权重在预训练过程中从下一个句子的预测（分类）目标中进行训练。

• hidden_states （tuple(jnp.ndarray)，可选，在传递了 output_hidden_states=True 或在 config.output_hidden_states=True 时返回）— 一个形状为 (batch_size, sequence_length, hidden_size) 的 jnp.ndarray 的元组（嵌入输出的一个 + 每个层的输出的一个）。

  模型的每个层输出的隐藏状态以及初始嵌入输出。

• attentions （tuple(jnp.ndarray)，可选，在传递了 output_attentions=True 或在 config.output_attentions=True 时返回）— 一个形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 jnp.ndarray 的元组（每个层的一个）。

  通过注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均。