参数

• input_ids (torch.LongTensor, 形状为 (batch_size, sequence_length)) — 词汇表中输入序列 tokens 的索引。 如果您提供填充，默认情况下将被忽略。

  索引可以使用 AutoProcessor 获得。 有关详细信息，请参阅 BlipProcessor.__call__()。

  什么是输入 IDs？

• attention_mask (torch.Tensor, 形状为 (batch_size, sequence_length), 可选) — 掩码，用于避免在填充 token 索引上执行注意力机制。 掩码值在 [0, 1] 中选择：
  • 1 表示 未被掩码 的 token，
  • 0 表示 被掩码 的 token。

  什么是注意力掩码？

• position_ids (torch.LongTensor, 形状为 (batch_size, sequence_length), 可选) — 每个输入序列 tokens 在位置嵌入中的位置索引。 在范围 [0, config.max_position_embeddings - 1] 中选择。

  什么是位置 IDs？

• pixel_values (torch.FloatTensor, 形状为 (batch_size, num_channels, height, width)) — 像素值。 如果您提供填充，默认情况下将被忽略。 像素值可以使用 BlipImageProcessor 获得。 有关详细信息，请参阅 BlipImageProcessor.call()。
• return_loss (bool, 可选) — 是否返回对比损失。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。
• interpolate_pos_encoding (bool, 可选, 默认为 False) — 是否对预训练的位置编码进行插值。

一个 transformers.models.blip.modeling_blip.BlipOutput 或一个 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含各种元素，具体取决于配置 (<class 'transformers.models.blip.configuration_blip.BlipConfig'>) 和输入。

• loss (torch.FloatTensor, 形状为 (1,), 可选, 当 return_loss 为 True 时返回) — 图像-文本相似性的对比损失。
• logits_per_image:(torch.FloatTensor, 形状为 (image_batch_size, text_batch_size)) — image_embeds 和 text_embeds 之间缩放的点积分数。 这表示图像-文本相似度得分。
• logits_per_text:(torch.FloatTensor, 形状为 (text_batch_size, image_batch_size)) — text_embeds 和 image_embeds 之间缩放的点积分数。 这表示文本-图像相似度得分。
• text_embeds(torch.FloatTensor, 形状为 (batch_size, output_dim) — 通过将投影层应用于 BlipTextModel 的池化输出而获得的文本嵌入。
• image_embeds(torch.FloatTensor, 形状为 (batch_size, output_dim) — 通过将投影层应用于 BlipVisionModel 的池化输出而获得的图像嵌入。
• text_model_output(BaseModelOutputWithPooling): BlipTextModel 的输出。
• vision_model_output(BaseModelOutputWithPooling): BlipVisionModel 的输出。

参数

• input_ids (torch.LongTensor, 形状为 (batch_size, sequence_length)) — 词汇表中输入序列 tokens 的索引。 如果您提供填充，默认情况下将被忽略。

  索引可以使用 AutoProcessor 获得。 有关详细信息，请参阅 BlipProcessor.__call__()。

  什么是输入 IDs？

• attention_mask (torch.Tensor, 形状为 (batch_size, sequence_length), 可选) — 掩码，用于避免在填充 token 索引上执行注意力机制。 掩码值在 [0, 1] 中选择：
  • 1 表示 未被掩码 的 token，
  • 0 表示 被掩码 的 token。

  什么是注意力掩码？

• position_ids (torch.LongTensor, 形状为 (batch_size, sequence_length), 可选) — 每个输入序列 tokens 在位置嵌入中的位置索引。 在范围 [0, config.max_position_embeddings - 1] 中选择。

  什么是位置 IDs？

• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

通过将投影层应用于 BlipTextModel 的池化输出而获得的文本嵌入。

参数

• pixel_values (torch.FloatTensor, 形状为 (batch_size, num_channels, height, width)) — 像素值。 如果您提供填充，默认情况下将被忽略。 像素值可以使用 BlipImageProcessor 获得。 有关详细信息，请参阅 BlipImageProcessor.call()。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。 更多细节请查看返回张量下的 hidden_states。
• return_dict (bool, optional) — 是否返回 ModelOutput 而不是纯粹的元组。
• interpolate_pos_encoding (bool, optional, defaults to False) — 是否插值预训练的位置编码。

通过将投影层应用于 BlipVisionModel 的 pooled 输出获得的图像嵌入。

参数

• pixel_values (torch.FloatTensor of shape (batch_size, num_channels, height, width)) — 像素值。 如果您提供 padding，默认情况下将被忽略。 像素值可以使用 BlipImageProcessor 获得。 有关详细信息，请参阅 BlipImageProcessor.call()。
• output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。 更多细节请查看返回张量下的 attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。 更多细节请查看返回张量下的 hidden_states。
• return_dict (bool, optional) — 是否返回 ModelOutput 而不是纯粹的元组。
• interpolate_pos_encoding (bool, optional, defaults to False) — 是否插值预训练的位置编码。

一个 transformers.modeling_outputs.BaseModelOutputWithPooling 或 torch.FloatTensor 的元组 (如果传递了 return_dict=False 或者当 config.return_dict=False 时)，包含各种元素，具体取决于配置 (<class 'transformers.models.blip.configuration_blip.BlipVisionConfig'>) 和输入。

• last_hidden_state (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

• pooler_output (torch.FloatTensor of shape (batch_size, hidden_size)) — 序列的第一个标记（分类标记）的最后一层隐藏状态，在通过用于辅助预训练任务的层进行进一步处理之后。 例如，对于 BERT 系列模型，这返回通过线性层和 tanh 激活函数处理后的分类标记。 线性层权重从预训练期间的下一句预测（分类）目标中训练而来。

• hidden_states (tuple(torch.FloatTensor), optional, returned when output_hidden_states=True is passed or when config.output_hidden_states=True) — torch.FloatTensor 的元组（如果模型具有嵌入层，则为嵌入输出，+ 每个层的输出一个），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出以及可选的初始嵌入输出处的隐藏状态。

• attentions (tuple(torch.FloatTensor), optional, returned when output_attentions=True is passed or when config.output_attentions=True) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (torch.FloatTensor of shape (batch_size, num_channels, height, width)) — 像素值。 如果您提供 padding，默认情况下将被忽略。 像素值可以使用 BlipImageProcessor 获得。 有关详细信息，请参阅 BlipImageProcessor.call()。
• output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。 更多细节请查看返回张量下的 attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。 更多细节请查看返回张量下的 hidden_states。
• return_dict (bool, optional) — 是否返回 ModelOutput 而不是纯粹的元组。
• interpolate_pos_encoding (bool, optional, defaults to False) — 是否插值预训练的位置编码。

一个 transformers.models.blip.modeling_blip.BlipForConditionalGenerationModelOutput 或 torch.FloatTensor 的元组 (如果传递了 return_dict=False 或者当 config.return_dict=False 时)，包含各种元素，具体取决于配置 (<class 'transformers.models.blip.configuration_blip.BlipVisionConfig'>) 和输入。

• loss (torch.FloatTensor, optional, returned when labels is provided, torch.FloatTensor of shape (1,)) — 来自文本解码器的语言建模损失。

• logits (torch.FloatTensor of shape (batch_size, sequence_length, config.vocab_size), optional) — 文本解码器模型的语言建模头的预测分数。

• image_embeds (torch.FloatTensor，形状为 (batch_size, output_dim)，可选) — 应用 Vision Transformer 模型到输入图像后获得的图像嵌入。

• last_hidden_state (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size)，可选) — 模型最后一层的输出处的隐藏状态序列。

• hidden_states (tuple(torch.FloatTensor)，可选，当 output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型有嵌入层，则为嵌入层的输出 + 每层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出以及可选的初始嵌入输出处的隐藏状态。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, height, width)) — 像素值。如果您提供填充，默认情况下将被忽略。像素值可以使用 BlipImageProcessor 获得。有关详细信息，请参阅 BlipImageProcessor.call()。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool，可选) — 是否返回 ModelOutput 而不是普通的元组。
• interpolate_pos_encoding (bool，可选，默认为 False) — 是否插值预训练的位置编码。

一个 transformers.models.blip.modeling_blip.BlipTextVisionModelOutput 或 torch.FloatTensor 的元组 (如果传递 return_dict=False 或当 config.return_dict=False 时)，包含各种元素，具体取决于配置 (<class 'transformers.models.blip.configuration_blip.BlipVisionConfig'>) 和输入。

• loss (torch.FloatTensor，形状为 (1,)，可选，当提供 labels 时返回) — 来自文本解码器的语言建模损失。

• image_embeds (torch.FloatTensor，形状为 (batch_size, output_dim)，可选，当模型使用 with_projection=True 初始化时返回) — 通过将投影层应用于 pooler_output 获得的图像嵌入。

• last_hidden_state (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

• hidden_states (tuple(torch.FloatTensor), optional, returned when output_hidden_states=True is passed or when config.output_hidden_states=True) — torch.FloatTensor 的元组（如果模型具有嵌入层，则为嵌入输出，+ 每个层的输出一个），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出以及可选的初始嵌入输出处的隐藏状态。

• attentions (tuple(torch.FloatTensor), optional, returned when output_attentions=True is passed or when config.output_attentions=True) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, height, width)) — 像素值。如果您提供填充，默认情况下将被忽略。像素值可以使用 BlipImageProcessor 获得。有关详细信息，请参阅 BlipImageProcessor.call()。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool，可选) — 是否返回 ModelOutput 而不是普通的元组。
• interpolate_pos_encoding (bool，可选，默认为 False) — 是否插值预训练的位置编码。

一个 transformers.models.blip.modeling_blip.BlipTextVisionModelOutput 或 torch.FloatTensor 的元组 (如果传递 return_dict=False 或当 config.return_dict=False 时)，包含各种元素，具体取决于配置 (<class 'transformers.models.blip.configuration_blip.BlipVisionConfig'>) 和输入。

• loss (torch.FloatTensor，形状为 (1,)，可选，当提供 labels 时返回) — 来自文本解码器的语言建模损失。

• image_embeds (torch.FloatTensor，形状为 (batch_size, output_dim)，可选，当模型使用 with_projection=True 初始化时返回) — 通过将投影层应用于 pooler_output 获得的图像嵌入。

• last_hidden_state (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

• hidden_states (tuple(torch.FloatTensor), optional, returned when output_hidden_states=True is passed or when config.output_hidden_states=True) — torch.FloatTensor 的元组（如果模型具有嵌入层，则为嵌入输出，+ 每个层的输出一个），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出以及可选的初始嵌入输出处的隐藏状态。

• attentions (tuple(torch.FloatTensor), optional, returned when output_attentions=True is passed or when config.output_attentions=True) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (tf.Tensor of shape (batch_size, sequence_length)) — 词汇表中输入序列 tokens 的索引。 默认情况下，如果您提供填充，则填充将被忽略。

  索引可以使用 AutoProcessor 获得。 有关详细信息，请参阅 BlipProcessor.__call__()。

  什么是输入 IDs？

• attention_mask (tf.Tensor of shape (batch_size, sequence_length), optional) — 避免在 padding token 索引上执行 attention 的掩码。在 [0, 1] 中选择的掩码值：
  • 1 表示 未被掩盖 的 tokens，
  • 0 表示 被掩盖 的 tokens。

  什么是 attention masks？

• position_ids (tf.Tensor of shape (batch_size, sequence_length), optional) — 位置嵌入中每个输入序列 tokens 的位置索引。 在范围 [0, config.max_position_embeddings - 1] 中选择。

  什么是位置 IDs？

• pixel_values (tf.Tensor of shape (batch_size, num_channels, height, width)) — 像素值。 默认情况下，如果您提供填充，则填充将被忽略。 像素值可以使用 BlipImageProcessor 获得。 有关详细信息，请参阅 BlipImageProcessor.call()。
• return_loss (bool, optional) — 是否返回对比损失。
• output_attentions (bool, optional) — 是否返回所有 attention 层的 attentions tensors。 有关更多详细信息，请参阅返回的 tensors 下的 attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的 hidden states。 有关更多详细信息，请参阅返回的 tensors 下的 hidden_states。
• return_dict (bool, optional) — 是否返回 ModelOutput 而不是普通元组。

一个 transformers.models.blip.modeling_tf_blip.TFBlipOutput 或一个 tf.Tensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含各种元素，具体取决于配置 (<class 'transformers.models.blip.configuration_blip.BlipConfig'>) 和输入。

• loss (tf.Tensor of shape (1,), optional, 当 return_loss 为 True 时返回) — 图像-文本相似度的对比损失。
• logits_per_image:(tf.Tensor of shape (image_batch_size, text_batch_size)) — image_embeds 和 text_embeds 之间缩放的点积分数。 这表示图像-文本相似度得分。
• logits_per_text:(tf.Tensor of shape (text_batch_size, image_batch_size)) — text_embeds 和 image_embeds 之间缩放的点积分数。 这表示文本-图像相似度得分。
• text_embeds(tf.Tensor of shape (batch_size, output_dim) — 通过将投影层应用于 BlipTextModel 的池化输出获得的文本嵌入。
• image_embeds(tf.Tensor of shape (batch_size, output_dim) — 通过将投影层应用于 BlipVisionModel 的池化输出获得的图像嵌入。
• text_model_output(BaseModelOutputWithPooling): BlipTextModel 的输出。
• vision_model_output(BaseModelOutputWithPooling): BlipVisionModel 的输出。

参数

• input_ids (tf.Tensor of shape (batch_size, sequence_length)) — 词汇表中输入序列 tokens 的索引。 默认情况下，如果您提供填充，则填充将被忽略。

  索引可以使用 AutoProcessor 获得。 有关详细信息，请参阅 BlipProcessor.__call__()。

  什么是输入 IDs？

• attention_mask (tf.Tensor of shape (batch_size, sequence_length), optional) — 避免在 padding token 索引上执行 attention 的掩码。在 [0, 1] 中选择的掩码值：
  • 1 表示 未被掩盖 的 tokens，
  • 0 表示 被掩盖 的 tokens。

  什么是 attention masks？

• position_ids (tf.Tensor of shape (batch_size, sequence_length), optional) — 位置嵌入中每个输入序列 tokens 的位置索引。 在范围 [0, config.max_position_embeddings - 1] 中选择。

  什么是位置 IDs？

• output_attentions (bool, optional) — 是否返回所有 attention 层的 attentions tensors。 有关更多详细信息，请参阅返回的 tensors 下的 attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的 hidden states。 有关更多详细信息，请参阅返回的 tensors 下的 hidden_states。
• return_dict (bool, optional) — 是否返回 ModelOutput 而不是普通元组。

通过将投影层应用于 TFBlipTextModel 的池化输出获得的文本嵌入。

参数

• pixel_values (tf.Tensor of shape (batch_size, num_channels, height, width)) — 像素值。 默认情况下，如果您提供填充，则填充将被忽略。 像素值可以使用 BlipImageProcessor 获得。 有关详细信息，请参阅 BlipImageProcessor.call()。
• output_attentions (bool, optional) — 是否返回所有 attention 层的 attentions tensors。 有关更多详细信息，请参阅返回的 tensors 下的 attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的 hidden states。 有关更多详细信息，请参阅返回的 tensors 下的 hidden_states。
• return_dict (bool, optional) — 是否返回 ModelOutput 而不是普通元组。

通过将投影层应用于 TFBlipVisionModel 的池化输出获得的图像嵌入。

参数

• input_ids (tf.Tensor, 形状为 (batch_size, sequence_length)) — 词汇表中输入序列 tokens 的索引。如果提供 padding，默认情况下将被忽略。

  索引可以使用 AutoProcessor 获取。 有关详细信息，请参阅 BlipProcessor.__call__()。

  什么是输入 IDs？

• attention_mask (tf.Tensor, 形状为 (batch_size, sequence_length), 可选) — 用于避免在 padding token 索引上执行 attention 的 Mask。Mask 值在 [0, 1] 中选择：
  • 1 表示 未被 Mask 的 tokens，
  • 0 表示 被 Mask 的 tokens。

  什么是 attention masks？

• position_ids (tf.Tensor, 形状为 (batch_size, sequence_length), 可选) — 每个输入序列 tokens 在 position embeddings 中的位置索引。在范围 [0, config.max_position_embeddings - 1] 中选择。

  什么是 position IDs？

• output_attentions (bool, 可选) — 是否返回所有 attention 层的 attentions tensors。 有关更多详细信息，请参阅返回的 tensors 下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的 hidden states。 有关更多详细信息，请参阅返回的 tensors 下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是纯 tuple。
• encoder_hidden_states (tf.Tensor, 可选) — 编码器最后一层输出的 hidden-states 序列。 如果模型配置为 decoder，则在 cross-attention 中使用。
• encoder_attention_mask (tf.Tensor, 可选) — Mask，用于避免对编码器输入的 padding token 索引执行 attention。 如果模型配置为 decoder，则此 mask 在 cross-attention 中使用。 Mask 值在 [0, 1] 中选择：
  • 1 表示 未被 Mask 的 tokens，
  • 0 表示 被 Mask 的 tokens。
• past_key_values (tuple(tuple(tf.Tensor)), 可选) — 包含 attention blocks 的预计算 key 和 value hidden states。 可用于加速解码。 如果使用 past_key_values，则用户可以选择仅输入最后 decoder_input_ids (那些没有将其 past key value states 提供给此模型的)，形状为 (batch_size, 1)，而不是所有形状为 (batch_size, sequence_length) 的 decoder_input_ids。
• use_cache (bool, 可选) — 如果设置为 True，则返回 past_key_values key value states，并且可以用于加速解码（请参阅 past_key_values）。

参数

• pixel_values (tf.Tensor, 形状为 (batch_size, num_channels, height, width)) — 像素值。 如果提供 padding，默认情况下将被忽略。 像素值可以使用 BlipImageProcessor 获取。 请参阅 BlipImageProcessor.call() 以了解详细信息。
• output_attentions (bool, 可选) — 是否返回所有 attention 层的 attentions tensors。 有关更多详细信息，请参阅返回的 tensors 下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的 hidden states。 有关更多详细信息，请参阅返回的 tensors 下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是纯 tuple。

一个 transformers.modeling_tf_outputs.TFBaseModelOutputWithPooling 或一个 tf.Tensor 的 tuple (如果传递 return_dict=False 或当 config.return_dict=False 时)，包含各种元素，具体取决于配置 (<class 'transformers.models.blip.configuration_blip.BlipVisionConfig'>) 和输入。

• last_hidden_state (tf.Tensor, 形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的 hidden-states 序列。

• pooler_output (tf.Tensor, 形状为 (batch_size, hidden_size)) — 序列的第一个 token (分类 token) 的最后一层 hidden-state，通过线性层和 Tanh 激活函数进一步处理。 线性层权重在预训练期间从下一个句子预测（分类）目标中训练而来。

  此输出通常不是输入语义内容的良好摘要，通常最好对整个输入序列的 hidden-states 序列进行平均或池化。

• hidden_states (tuple(tf.Tensor), 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — tf.Tensor 的 Tuple (embeddings 的输出一个 + 每层的输出一个)，形状为 (batch_size, sequence_length, hidden_size)。

  模型在每层输出端的 Hidden-states 加上初始 embedding 输出。

• attentions (tuple(tf.Tensor), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — tf.Tensor 的 Tuple (每层一个)，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (形状为 (batch_size, num_channels, height, width) 的 tf.Tensor) — 像素值。如果您提供填充，默认情况下填充将被忽略。像素值可以使用 BlipImageProcessor 获得。有关详细信息，请参阅 BlipImageProcessor.call()。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参见返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参见返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

transformers.models.blip.modeling_tf_blip.TFBlipForConditionalGenerationModelOutput 或 tf.Tensor 元组 (如果传递 return_dict=False 或当 config.return_dict=False 时)，包含取决于配置 (<class 'transformers.models.blip.configuration_blip.BlipConfig'>) 和输入的各种元素。

• loss (tf.Tensor, 可选, 当提供 labels 时返回, 形状为 (1,) 的 tf.Tensor) — 来自文本解码器的语言建模损失。

• logits (形状为 (batch_size, sequence_length, config.vocab_size) 的 tf.Tensor, 可选) — 文本解码器模型的语言建模头的预测分数。

• image_embeds (形状为 (batch_size, output_dim) 的 tf.Tensor, 可选) — 将 Vision Transformer 模型应用于输入图像后获得的图像嵌入。

• last_hidden_state (形状为 (batch_size, sequence_length, hidden_size) 的 tf.Tensor, 可选) — 模型最后一层输出的隐藏状态序列。

• hidden_states (tuple(tf.Tensor), 可选, 当 output_hidden_states=True 时返回) — tf.Tensor 元组 (如果模型具有嵌入层，则为嵌入输出，+ 每个层的输出一个)，形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出以及可选的初始嵌入输出处的隐藏状态。

• attentions (tuple(tf.Tensor), 可选, 当传递 output_attentions=True 时返回) — tf.Tensor 元组 (每层一个)，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。`

参数

• pixel_values (形状为 (batch_size, num_channels, height, width) 的 tf.Tensor) — 像素值。如果您提供填充，默认情况下填充将被忽略。像素值可以使用 BlipImageProcessor 获得。有关详细信息，请参阅 BlipImageProcessor.call()。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参见返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参见返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

transformers.models.blip.modeling_tf_blip.TFBlipImageTextMatchingModelOutput 或 tf.Tensor 元组 (如果传递 return_dict=False 或当 config.return_dict=False 时)，包含取决于配置 (<class 'transformers.models.blip.configuration_blip.BlipVisionConfig'>) 和输入的各种元素。

• itm_score (tf.Tensor) — 图像-文本相似度得分。

• loss (形状为 (1,) 的 tf.Tensor, 可选, 当提供 labels 时返回) — 来自文本解码器的语言建模损失。

• image_embeds (形状为 (batch_size, output_dim) 的 tf.Tensor 可选 当模型使用 with_projection=True 初始化时返回) — 通过将投影层应用于 pooler_output 获得的图像嵌入。

• last_hidden_state (tf.Tensor, 形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的 hidden-states 序列。

• hidden_states (tuple(tf.Tensor), 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — tf.Tensor 元组 (如果模型具有嵌入层，则为嵌入输出，+ 每个层的输出一个)，形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出以及可选的初始嵌入输出处的隐藏状态。

• vision_pooler_output (形状为 (batch_size, hidden_size) 的 tf.Tensor, 可选) — 模型的仅视觉分支的视觉部分的最后一层隐藏状态。

• attentions (tuple(tf.Tensor), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — tf.Tensor 的 Tuple (每层一个)，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。

• question_embeds (tf.Tensor) — 由文本投影层获得的问题嵌入。

参数

• pixel_values (形状为 (batch_size, num_channels, height, width) 的 tf.Tensor) — 像素值。如果您提供填充，默认情况下填充将被忽略。像素值可以使用 BlipImageProcessor 获得。有关详细信息，请参阅 BlipImageProcessor.call()。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参见返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参见返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是一个普通的元组。

一个 transformers.models.blip.modeling_tf_blip.TFBlipTextVisionModelOutput 或一个 tf.Tensor 元组 (如果传递了 return_dict=False 或当 config.return_dict=False 时)，包含取决于配置 (<class 'transformers.models.blip.configuration_blip.BlipVisionConfig'>) 和输入的各种元素。

• loss (形状为 (1,) 的 tf.Tensor, 可选, 当提供 labels 时返回) — 来自文本解码器的语言建模损失。

• image_embeds (形状为 (batch_size, output_dim) 的 tf.Tensor 可选 当模型使用 with_projection=True 初始化时返回) — 通过将投影层应用于 pooler_output 获得的图像嵌入。

• last_hidden_state (tf.Tensor, 形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的 hidden-states 序列。

• hidden_states (tuple(tf.Tensor), 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — tf.Tensor 元组 (如果模型具有嵌入层，则为嵌入输出，+ 每个层的输出一个)，形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出以及可选的初始嵌入输出处的隐藏状态。

• attentions (tuple(tf.Tensor), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — tf.Tensor 的 Tuple (每层一个)，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。