参数

• input_ids (tf.Tensor 形状为 (batch_size, sequence_length)) — 输入序列中词汇的索引。如果提供了填充，默认会忽略填充。

  索引可以使用 AutoProcessor 获取。有关详细信息，请参阅 BlipProcessor.__call__()。

  什么是输入ID？

• attention_mask (tf.Tensor 形状为 (batch_size, sequence_length)，可选) — 避免对填充标记索引执行注意力的掩码。掩码值选择在 [0, 1]：
  • 1 表示 未掩码 的标记，
  • 0 表示 掩码 的标记。

  什么是注意力掩码？

• position_ids （tf.Tensor 形状为 (batch_size, sequence_length)，可选） — 每个输入序列标记在位置嵌入中的位置索引。在 [0, config.max_position_embeddings - 1] 范围内选择。

  位置ID是什么？

• pixel_values （tf.Tensor 形状为 (batch_size, num_channels, height, width)） — 像素值。如果您提供它，默认情况下将忽略填充。可以使用 BlipImageProcessor 获得像素值。有关详细信息，请参阅 BlipImageProcessor.call()。<-- HTML_TAG_END -->
• return_loss （bool，可选） — 是否返回对比损失。<-- HTML_TAG_END -->
• 输出注意力 (bool，可选) — 是否返回所有注意力层的注意力张量。详细信息请参阅返回张量下的 attentions。
• 输出隐藏状态 (bool，可选) — 是否返回所有层的隐藏状态。详细信息请参阅返回张量下的 hidden_states。
• 返回字典 (bool，可选) — 是否返回ModelOutput而不是简单的元组。

一个transformers.models.blip.modeling_tf_blip.TFBlipOutput或一个包含各种元素的tf.Tensor元组（当传递return_dict=False或当config.return_dict=False时），这些元素取决于配置（<class 'transformers.models.blip.configuration_blip.BlipConfig'>）和输入。

• loss（shape=(1,)的tf.Tensor，可选，当return_loss=True时返回） — 图像-文本相似度的对比损失。
• logits_per_image：代表图像嵌入和文本嵌入之间缩放点积得分的(image_batch_size, text_batch_size)形状的tf.Tensor。此代表图像-文本相似度得分。
• logits_per_text:(tf.Tensor，形状为 (text_batch_size, image_batch_size)）—— 表示 text_embeds 和 image_embeds 之间的缩放点积分数。这代表着文本-图像相似度分数。
• text_embeds(tf.Tensor，形状为 (batch_size, output_dim)）—— 通过将 BlipTextModel 的池化输出应用投影层而获得文本嵌入。
• image_embeds(tf.Tensor，形状为 (batch_size, output_dim)）—— 通过将 BlipVisionModel 的池化输出应用投影层而获得图像嵌入。
• text_model_output(BaseModelOutputWithPooling): BlipTextModel 的输出。
• vision_model_output(BaseModelOutputWithPooling): BlipVisionModel 的输出。

参数

• input_ids (tf.Tensor 形状 (batch_size, sequence_length)) — 词汇表中的输入序列标记索引。如果提供，默认忽略填充的部分。

  可以使用 AutoProcessor 获取索引。有关详细信息，请参阅 BlipProcessor.__call__()。

  什么是输入ID？

• attention_mask (tf.Tensor 形状 (batch_size, sequence_length), 可选) — 避免在填充标记索引上执行注意力的掩码。掩码值选择在 [0, 1] 范围内：
  • 对于 未掩码 的标记，为 1;
  • 对于 掩码 的标记，为 0。

  什么是注意力掩码？

• position_ids (tf.Tensor 形状 (batch_size, sequence_length), 可选) — 每个输入序列标记在位置嵌入中的位置索引。选择在范围 [0, config.max_position_embeddings - 1] 内。

  什么是位置ID？

• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

将 TFBlipTextModel 的池化输出应用投影层得到的文本嵌入。

参数

• pixel_values (tf.Tensor of shape (batch_size, num_channels, height, width)) — 像素值。提供填充值时默认忽略填充。可使用 BlipImageProcessor 获取像素值。详细信息请见 BlipImageProcessor.call()。
• output_attentions (bool, 可选) - 是否返回所有注意力层的注意力张量。关于返回的张量下的更多信息，请见 attentions。
• output_hidden_states (bool, 可选) - 是否返回所有层的隐藏状态。关于返回的张量下的更多信息，请见 hidden_states。
• return_dict (bool, 可选) - 是否返回 ModelOutput 而不是普通元组。

应用投影层到 TFBlipVisionModel 的池化输出所获得图像嵌入。

参数

• attention_mask (tf.Tensor of shape (batch_size, sequence_length), 可选) — 避免对所有填充token索引执行注意力操作的掩码。掩码值在[0, 1]之间：
  • 1 对于未掩码的token：
  • 0 对于已掩码的token。
  什么是注意力掩码？
• position_ids (tf.Tensor of shape (batch_size, sequence_length), 可选) — 每个输入序列token位置嵌入的索引。在范围[0, config.max_position_embeddings - 1]内选择。

  什么是位置ID？

• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。更多详情请参阅返回张量中的attentions。

• output_hidden_states (bool, 可选) —— 是否返回所有层的隐藏状态。更多信息请参阅返回的的张量下的 hidden_states。
• return_dict (bool, 可选) —— 是否返回一个 ModelOutput 而不是一个普通的元组。
• encoder_hidden_states (tf.Tensor, 可选) —— 编码器最后一层的隐藏状态的序列。在模型配置为解码器时用于交叉注意力。
• encoder_attention_mask （tf.Tensor，可选） — 用于避免对编码器输入中的填充标记索引执行注意力的掩码。如果模型配置为解码器，则会使用此掩码进行交叉注意力。掩码值选中 [0, 1]：
  • 1 对应于 未掩码 的标记，
  • 0 对应于 掩码 的标记。
• past_key_values （tuple(tuple(tf.Tensor))，可选） — 包含注意力块预先计算的关键和值隐藏状态。可以用于加速解码。如果使用 past_key_values，则用户可以选择性地输入仅包含 decoder_input_ids 的最后一个（没有给定此模型以前的关键值状态）形状为（batch_size, 1），而不是形状为（batch_size, sequence_length）的 decoder_input_ids 的所有内容。
• use_cache （bool，可选） — 如果设置为 True，将返回 past_key_values 的键值状态，并可用于加速解码（见 past_key_values）。

参数

• pixel_values (tf.Tensor of shape (batch_size, num_channels, height, width)) — 像素值。如果提供了填充，则默认会忽略填充。您可以使用 BlipImageProcessor 来获取像素值。有关详细信息，请参阅 BlipImageProcessor.call()。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回 tensor 下的 attentions。
• output_hidden_states (bool, optional) —— 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, optional) —— 是否返回ModelOutput而不是普通元组。

A transformers.modeling_tf_outputs.TFBaseModelOutputWithPooling 或一个包含 tf.Tensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False）各种元素取决于配置（<class 'transformers.models.blip.configuration_blip.BlipVisionConfig'>）和输入。

• last_hidden_state (tf.Tensor 的形状为 (batch_size, sequence_length, hidden_size)) —— 模型最后一层的输出中的隐藏状态序列。

• pooler_output (tf.Tensor 的形状为 (batch_size, hidden_size)) —— 序列中第一个标记的最后一层隐藏状态（分类标记），通过线性层和Tanh激活函数进一步处理。线性层的权重是从预训练时的下一个句子预测（分类）目标训练得到的。

  此输出通常 不是 输入语义内容的良好摘要，通常更好的做法是对整个输入序列的隐藏状态序列进行平均或池化。

• hidden_states (tuple(tf.Tensor)，optional，在传递 output_hidden_states=True 时返回或当 config.output_hidden_states=True 时返回) —— 一个形如 (batch_size, sequence_length, hidden_size) 的 tf.Tensor 的元组（一个用于嵌入输出的输出，一个用于每层的输出）。

  模型在每个层输出的隐藏状态以及初始嵌入输出。

• attentions (tuple(tf.Tensor)，optional，在传递 output_attentions=True 时返回或当 config.output_attentions=True 时返回) —— 一个形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 tf.Tensor 的元组（每个层一个）。

  注意力softmax后的注意力权重，用于计算自注意力头中的加权和。

参数

• return_dict (bool, 可选) — 是否返回ModelOutput而不是普通元组。

一个transformers.models.blip.modeling_tf_blip.TFBlipForConditionalGenerationModelOutput或一个包含各种元素的tf.Tensor的元组（如果传递了return_dict=False或当config.return_dict=False时），这些元素取决于配置(<class 'transformers.models.blip.configuration_blip.BlipConfig'>)和输入。

• loss (tf.Tensor, 可选，当提供labels时返回，形状为(1,)的tf.Tensor）— 文本解码器中的语言建模损失。

• logits (tf.Tensor的形状为(batch_size, sequence_length, config.vocab_size)，可选) — 文本解码器模型语言建模头部的预测分数。

• image_embeds (tf.Tensor的形状为(batch_size, output_dim)，可选) — 将视觉Transformer模型应用于输入图像后获得图像嵌入。

• last_hidden_state (tf.Tensor的形状为(batch_size, sequence_length, hidden_size)，可选) — 模型最后一层的输出隐藏状态序列。

• hidden_states (tuple(tf.Tensor)，可选，当返回output_hidden_states=True时返回) — 包含形状为(batch_size, sequence_length, hidden_size)的tf.Tensor的元组（如果模型有嵌入层，则一个用于嵌入输出的，一个用于每个层的输出）。

  每个层的模型输出隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(tf.Tensor)，可选，当传递output_attentions=True时返回) — 包含形状为(batch_size, num_heads, sequence_length, sequence_length)的tf.Tensor的元组（每个层一个）。

  注意力软化的权重，用于在自注意力头部计算加权平均值。

参数

• pixel_values (tf.Tensor 的shape为 (batch_size, num_channels, height, width)) — 像素值。如果提供，默认将忽略填充。可以通过 BlipImageProcessor 获取像素值。有关详细信息，请参阅 BlipImageProcessor.call()。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更详细的说明见返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

A transformers.models.blip.modeling_tf_blip.TFBlipImageTextMatchingModelOutput 或一个包含各种元素（根据配置 <class 'transformers.models.blip.configuration_blip.BlipVisionConfig'> 和输入）的 tf.Tensor 元组（如果传递了 return_dict=False 或 config.return_dict=False）。

• itm_score (tf.Tensor) — 图像-文本相似度得分。

• loss (tf.Tensor 形状为 (1,)，可选，当提供 labels 时返回) — 来自文本解码器的语言模型损失。

• image_embeds (tf.Tensor 形状为 (batch_size, output_dim)，可选，当模型以 with_projection=True 初始化时返回) — 对 pooler_output 应用投影层后获得的图像嵌入。

• last_hidden_state (tf.Tensor 的形状为 (batch_size, sequence_length, hidden_size)) —— 模型最后一层的输出中的隐藏状态序列。

• hidden_states (tuple(tf.Tensor)，可选，当传递 output_hidden_states=True 时返回或当 config.output_hidden_states=True 时返回) — 一个 tf.Tensor 的元组（如果模型有嵌入层，则为嵌入层的输出 + 每层的输出）的形状为 (batch_size, sequence_length, hidden_size)。

  每个层的模型输出隐藏状态以及可选的初始嵌入输出。

• vision_pooler_output (tf.Tensor 形状为 (batch_size, hidden_size)，可选) — 模型视觉分支最后层的隐藏状态。

• attentions (tuple(tf.Tensor)，optional，在传递 output_attentions=True 时返回或当 config.output_attentions=True 时返回) —— 一个形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 tf.Tensor 的元组（每个层一个）。

  注意力softmax后的注意力权重，用于计算自注意力头中的加权和。

• question_embeds (tf.Tensor) — 通过文本投影层获得的疑问嵌入。

参数

• pixel_values (tf.Tensor of shape (batch_size, num_channels, height, width)) — 像素值。如果你提供填充，默认将忽略它。可以使用 BlipImageProcessor 获取像素值。有关详细信息，请参阅 BlipImageProcessor.调用()。
• output_attentions (bool, 可选) — 是否返回所有注意力的张量。有关详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是普通的元组。

A transformers.models.blip.modeling_tf_blip.TFBlipTextVisionModelOutput 或一个包含各种元素的 tf.Tensor 元组（如果通过 return_dict=False 或当 config.return_dict=False 传递时），这取决于配置（<class 'transformers.models.blip.configuration_blip.BlipVisionConfig'>）和输入。

• loss (tf.Tensor 形状为 (1,)，可选，当提供 labels 时返回) — 来自文本解码器的语言模型损失。

• image_embeds (tf.Tensor 形状为 (batch_size, output_dim)，可选，当模型以 with_projection=True 初始化时返回) — 对 pooler_output 应用投影层后获得的图像嵌入。

• last_hidden_state (tf.Tensor 的形状为 (batch_size, sequence_length, hidden_size)) —— 模型最后一层的输出中的隐藏状态序列。

• hidden_states (tuple(tf.Tensor)，可选，当传递 output_hidden_states=True 时返回或当 config.output_hidden_states=True 时返回) — 一个 tf.Tensor 的元组（如果模型有嵌入层，则为嵌入层的输出 + 每层的输出）的形状为 (batch_size, sequence_length, hidden_size)。

  每个层的模型输出隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(tf.Tensor)，optional，在传递 output_attentions=True 时返回或当 config.output_attentions=True 时返回) —— 一个形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 tf.Tensor 的元组（每个层一个）。

  注意力softmax后的注意力权重，用于计算自注意力头中的加权和。