参数

• input_ids (torch.LongTensor, 形状为 (batch_size, sequence_length), 可选) — 词汇表中输入序列标记的索引。填充默认会被忽略。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• pixel_values (torch.FloatTensor, 形状为 (batch_size, num_channels, image_size, image_size), 可选) — 与输入图像对应的张量。像素值可以使用 {image_processor_class} 获取。有关详细信息，请参阅 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
• attention_mask (torch.Tensor, 形状为 (batch_size, sequence_length), 可选) — 避免对填充标记索引执行注意力操作的掩码。掩码值选择范围为 [0, 1]：
  • 1 表示 未被掩盖 的标记，
  • 0 表示 被掩盖 的标记。

  什么是注意力掩码？

• position_ids (torch.LongTensor, 形状为 (batch_size, sequence_length), 可选) — 每个输入序列标记在位置嵌入中的位置索引。选择范围为 [0, config.n_positions - 1]。

  什么是位置 ID？

• return_loss (bool, 可选) — 是否返回对比损失。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。更多详细信息请参阅返回张量中的`attentions`。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多详细信息请参阅返回张量中的`hidden_states`。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。
• interpolate_pos_encoding (bool, 默认为 False) — 是否对预训练的位置编码进行插值。

一个`transformers.models.blip.modeling_blip.BlipOutput`或一个`torch.FloatTensor`元组（如果传入`return_dict=False`或`config.return_dict=False`），其中包含根据配置（BlipConfig）和输入的不同元素。

• loss (torch.FloatTensor，形状为 (1,), 可选, 当 return_loss 为 True 时返回) — 图像-文本相似度的对比损失。
• logits_per_image (torch.FloatTensor, 形状为 (image_batch_size, text_batch_size)) — `image_embeds`和`text_embeds`之间的缩放点积分数。这表示图像-文本相似度分数。
• logits_per_text (torch.FloatTensor, 形状为 (text_batch_size, image_batch_size)) — `text_embeds`和`image_embeds`之间的缩放点积分数。这表示文本-图像相似度分数。
• text_embeds (torch.FloatTensor, 形状为 (batch_size, output_dim) — 通过对 BlipTextModel 的池化输出应用投影层获得的文本嵌入。
• image_embeds (torch.FloatTensor, 形状为 (batch_size, output_dim) — 通过对 BlipVisionModel 的池化输出应用投影层获得的图像嵌入。
• text_model_output (<class '~modeling_outputs.BaseModelOutputWithPooling'>.text_model_output, 默认为 None) — BlipTextModel 的输出。
• vision_model_output (<class '~modeling_outputs.BaseModelOutputWithPooling'>.vision_model_output, 默认为 None) — BlipVisionModel 的输出。

参数

• input_ids (torch.Tensor, 形状为 (batch_size, sequence_length), 可选) — 词汇表中输入序列标记的索引。填充默认会被忽略。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (torch.Tensor, 形状为 (batch_size, sequence_length), 可选) — 避免对填充标记索引执行注意力操作的掩码。掩码值选择范围为 [0, 1]：
  • 1 表示 未被掩盖 的标记，
  • 0 表示 被掩盖 的标记。

  什么是注意力掩码？

• position_ids (torch.Tensor, 形状为 (batch_size, sequence_length), 可选) — 每个输入序列标记在位置嵌入中的位置索引。选择范围为 [0, config.n_positions - 1]。

  什么是位置 ID？

• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

通过对 BlipTextModel 的池化输出应用投影层获得的文本嵌入。

参数

• pixel_values (torch.FloatTensor, 形状为 (batch_size, num_channels, image_size, image_size), 可选) — 与输入图像对应的张量。像素值可以使用 {image_processor_class} 获取。有关详细信息，请参阅 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。
• interpolate_pos_encoding (bool, 默认为 False) — 是否对预训练的位置编码进行插值。

通过对 BlipVisionModel 的池化输出应用投影层获得的图像嵌入。

参数

• pixel_values (形状为 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor，可选) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获得。有关详细信息，请参见 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。
• interpolate_pos_encoding (bool, 默认为 False) — 是否插值预训练的位置编码。

一个 transformers.modeling_outputs.BaseModelOutputWithPooling 或一个 torch.FloatTensor 元组（如果传入 return_dict=False 或 config.return_dict=False 时），包含根据配置 (BlipConfig) 和输入的不同元素。

• last_hidden_state (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor) — 模型最后一层输出的隐藏状态序列。

• pooler_output (形状为 (batch_size, hidden_size) 的 torch.FloatTensor) — 序列中第一个标记（分类标记）的最后一层隐藏状态，经过用于辅助预训练任务的层进一步处理。例如，对于 BERT 家族模型，这会返回经过线性层和 tanh 激活函数处理后的分类标记。线性层权重在预训练期间通过下一个句子预测（分类）目标进行训练。

• hidden_states (tuple(torch.FloatTensor), 可选，当传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — 形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元组（如果模型有嵌入层，则为嵌入层输出 + 每个层的输出）。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), 可选，当传入 output_attentions=True 或 config.output_attentions=True 时返回) — 形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元组（每个层一个）。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (形状为 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获得。有关详细信息，请参见 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
• input_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选) — 词汇表中输入序列标记的索引。填充将默认被忽略。

  索引可以使用 AutoTokenizer 获取。有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是 input IDs？

• attention_mask (形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选) — 掩码，用于避免在填充标记索引上执行注意力。掩码值在 [0, 1] 中选择：
  • 1 表示 未被掩码 的标记，
  • 0 表示 被掩码 的标记。

  什么是注意力掩码？

• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的 hidden_states。
• labels (形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选) — 用于计算掩码语言建模损失的标签。索引应在 [0, ..., config.vocab_size] 或 -100 之间（参见 input_ids 文档字符串）。索引设置为 -100 的标记将被忽略（掩码），损失仅针对标签在 [0, ..., config.vocab_size] 中的标记计算。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。
• interpolate_pos_encoding (bool, 默认为 False) — 是否插值预训练的位置编码。

一个 transformers.models.blip.modeling_blip.BlipForConditionalGenerationModelOutput 或一个 torch.FloatTensor 元组（如果传入 return_dict=False 或 config.return_dict=False 时），包含根据配置 (BlipConfig) 和输入的不同元素。

• loss (torch.FloatTensor, 可选，当提供 labels 时返回，形状为 (1,) 的 torch.FloatTensor) — 来自文本解码器的语言建模损失。

• logits (形状为 (batch_size, sequence_length, config.vocab_size) 的 torch.FloatTensor, 可选) — 文本解码器模型语言建模头的预测分数。

• image_embeds (形状为 (batch_size, output_dim) 的 torch.FloatTensor, 可选) — 在对输入图像应用 Vision Transformer 模型后获得的图像嵌入。

• last_hidden_state (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可选，默认为 None) — 模型最后一层输出的隐藏状态序列。

• hidden_states (tuple(torch.FloatTensor), 可选，当 output_hidden_states=True 被传入时返回) — 形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元组（如果模型有嵌入层，则为嵌入层输出 + 每个层的输出）。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), 可选，当传入 output_attentions=True 时返回) — 形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元组（每个层一个）。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor) — 词汇表中输入序列标记的索引。填充将默认被忽略。

  索引可以使用 AutoTokenizer 获取。有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是 input IDs？

• pixel_values (形状为 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获得。有关详细信息，请参见 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
• use_itm_head (bool, 可选，默认为 True) — 是否使用图像-文本匹配头。
• attention_mask (形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选) — 掩码，用于避免在填充标记索引上执行注意力。掩码值在 [0, 1] 中选择：
  • 1 表示 未被掩码 的标记，
  • 0 表示 被掩码 的标记。

  什么是注意力掩码？

• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。
• interpolate_pos_encoding (bool, 默认为 False) — 是否插值预训练的位置编码。

一个 transformers.models.blip.modeling_blip.BlipTextVisionModelOutput 或一个 torch.FloatTensor 元组（如果传入 return_dict=False 或 config.return_dict=False 时），包含根据配置 (BlipConfig) 和输入的不同元素。

• loss (形状为 (1,) 的 torch.FloatTensor，可选，当提供 labels 时返回) — 来自文本解码器的语言建模损失。

• image_embeds (形状为 (batch_size, output_dim) 的 torch.FloatTensor，可选，当模型以 with_projection=True 初始化时返回) — 通过将投影层应用于 pooler_output 获得的图像嵌入。

• last_hidden_state (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可选，默认为 None) — 模型最后一层输出的隐藏状态序列。

• hidden_states (tuple[torch.FloatTensor, ...], 可选，当传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — 形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元组（如果模型有嵌入层，则为嵌入层输出 + 每个层的输出）。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple[torch.FloatTensor, ...], 可选，当传入 output_attentions=True 时返回) — 形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元组（每个层一个）。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor) — 词汇表中输入序列标记的索引。填充将默认被忽略。

  索引可以使用 AutoTokenizer 获取。有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是 input IDs？

• pixel_values (形状为 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获得。有关详细信息，请参见 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
• decoder_input_ids (形状为 (batch_size, target_sequence_length) 的 torch.LongTensor，可选) — 词汇表中解码器输入序列标记的索引。

  索引可以使用 AutoTokenizer 获取。有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是解码器 input ID？

• decoder_attention_mask (形状为 (batch_size, target_sequence_length) 的 torch.LongTensor，可选) — 掩码，用于避免在某些标记索引上执行注意力。默认情况下，将使用因果掩码，以确保模型只能查看先前的输入以预测未来。
• attention_mask (torch.LongTensor，形状为 (batch_size, sequence_length)，可选) — 用于避免对填充标记索引执行注意力操作的掩码。掩码值选择范围为 [0, 1]：
  • 1 表示**未被掩码**的标记，
  • 0 表示**被掩码**的标记。

  什么是注意力掩码？

• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。更多详细信息请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。更多详细信息请参阅返回张量下的 hidden_states。
• labels (torch.LongTensor，形状为 (batch_size, sequence_length)，可选) — 用于计算掩码语言建模损失的标签。索引应在 [0, ..., config.vocab_size] 或 -100 之间（请参阅 input_ids 文档字符串）。索引设置为 -100 的标记将被忽略（掩码），损失仅针对标签在 [0, ..., config.vocab_size] 范围内的标记计算。
• return_dict (bool，可选) — 是否返回 ModelOutput 对象而不是普通元组。
• interpolate_pos_encoding (bool，默认为 False) — 是否插值预训练的位置编码。

一个 transformers.models.blip.modeling_blip.BlipTextVisionModelOutput 或一个 torch.FloatTensor 元组（如果传入 return_dict=False 或 config.return_dict=False 时），包含根据配置 (BlipConfig) 和输入的不同元素。

• loss (形状为 (1,) 的 torch.FloatTensor，可选，当提供 labels 时返回) — 来自文本解码器的语言建模损失。

• image_embeds (形状为 (batch_size, output_dim) 的 torch.FloatTensor，可选，当模型以 with_projection=True 初始化时返回) — 通过将投影层应用于 pooler_output 获得的图像嵌入。

• last_hidden_state (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可选，默认为 None) — 模型最后一层输出的隐藏状态序列。

• hidden_states (tuple[torch.FloatTensor, ...], 可选，当传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — 形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元组（如果模型有嵌入层，则为嵌入层输出 + 每个层的输出）。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple[torch.FloatTensor, ...], 可选，当传入 output_attentions=True 时返回) — 形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元组（每个层一个）。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (tf.Tensor，形状为 (batch_size, sequence_length)) — 词汇表中输入序列标记的索引。如果提供填充，默认情况下将忽略它。

  索引可以使用 AutoProcessor 获取。详细信息请参阅 BlipProcessor.__call__()。

  什么是输入 ID？

• attention_mask (tf.Tensor，形状为 (batch_size, sequence_length)，可选) — 用于避免对填充标记索引执行注意力操作的掩码。掩码值选择范围为 [0, 1]：
  • 1 表示**未被掩码**的标记，
  • 0 表示**被掩码**的标记。

  什么是注意力掩码？

• position_ids (tf.Tensor，形状为 (batch_size, sequence_length)，可选) — 每个输入序列标记在位置嵌入中的位置索引。选择范围为 [0, config.max_position_embeddings - 1]。

  什么是位置 ID？

• pixel_values (tf.Tensor，形状为 (batch_size, num_channels, height, width)) — 像素值。如果提供填充，默认情况下将忽略它。像素值可以使用 BlipImageProcessor 获取。详细信息请参阅 BlipImageProcessor.call()。
• return_loss (bool，可选) — 是否返回对比损失。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。更多详细信息请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。更多详细信息请参阅返回张量下的 hidden_states。
• return_dict (bool，可选) — 是否返回 ModelOutput 对象而不是普通元组。

一个 transformers.models.blip.modeling_tf_blip.TFBlipOutput 对象或一个 tf.Tensor 元组（如果 return_dict=False 或 config.return_dict=False），包含根据配置（<class 'transformers.models.blip.configuration_blip.BlipConfig'>）和输入的不同元素。

• loss (tf.Tensor，形状为 (1,)，可选，当 return_loss 为 True 时返回) — 图像-文本相似度的对比损失。
• logits_per_image:(tf.Tensor，形状为 (image_batch_size, text_batch_size)) — image_embeds 和 text_embeds 之间的缩放点积分数。这表示图像-文本相似度分数。
• logits_per_text:(tf.Tensor，形状为 (text_batch_size, image_batch_size)) — text_embeds 和 image_embeds 之间的缩放点积分数。这表示文本-图像相似度分数。
• text_embeds(tf.Tensor，形状为 (batch_size, output_dim) — 通过对 BlipTextModel 的池化输出应用投影层获得的文本嵌入。
• image_embeds(tf.Tensor，形状为 (batch_size, output_dim) — 通过对 BlipVisionModel 的池化输出应用投影层获得的图像嵌入。
• text_model_output(BaseModelOutputWithPooling): BlipTextModel 的输出。
• vision_model_output(BaseModelOutputWithPooling): BlipVisionModel 的输出。

参数

• input_ids (tf.Tensor，形状为 (batch_size, sequence_length)) — 词汇表中输入序列标记的索引。如果提供填充，默认情况下将忽略它。

  索引可以使用 AutoProcessor 获取。详细信息请参阅 BlipProcessor.__call__()。

  什么是输入 ID？

• attention_mask (tf.Tensor，形状为 (batch_size, sequence_length)，可选) — 用于避免对填充标记索引执行注意力操作的掩码。掩码值选择范围为 [0, 1]：
  • 1 表示**未被掩码**的标记，
  • 0 表示**被掩码**的标记。

  什么是注意力掩码？

• position_ids (tf.Tensor，形状为 (batch_size, sequence_length)，可选) — 每个输入序列标记在位置嵌入中的位置索引。选择范围为 [0, config.max_position_embeddings - 1]。

  什么是位置 ID？

• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。更多详细信息请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。更多详细信息请参阅返回张量下的 hidden_states。
• return_dict (bool，可选) — 是否返回 ModelOutput 对象而不是普通元组。

通过对 TFBlipTextModel 的池化输出应用投影层获得的文本嵌入。

参数

• pixel_values (tf.Tensor，形状为 (batch_size, num_channels, height, width)) — 像素值。如果提供填充，默认情况下将忽略它。像素值可以使用 BlipImageProcessor 获取。详细信息请参阅 BlipImageProcessor.call()。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。更多详细信息请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。更多详细信息请参阅返回张量下的 hidden_states。
• return_dict (bool，可选) — 是否返回 ModelOutput 对象而不是普通元组。

通过对 TFBlipVisionModel 的池化输出应用投影层获得的图像嵌入。

参数

• input_ids (tf.Tensor，形状为 (batch_size, sequence_length)) — 词汇表中输入序列标记的索引。如果提供填充，默认情况下将忽略它。

  索引可以使用 AutoProcessor 获取。详细信息请参阅 BlipProcessor.__call__()。

  什么是输入 ID？

• attention_mask (tf.Tensor，形状为 (batch_size, sequence_length)，可选) — 用于避免对填充标记索引执行注意力操作的掩码。掩码值选择范围为 [0, 1]：
  • 1 表示**未被掩码**的标记，
  • 0 表示**被掩码**的标记。

  什么是注意力掩码？

• position_ids (tf.Tensor，形状为 (batch_size, sequence_length)，可选) — 每个输入序列标记在位置嵌入中的位置索引。选择范围为 [0, config.max_position_embeddings - 1]。

  什么是位置 ID？

• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。更多详细信息请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。更多详细信息请参阅返回张量下的 hidden_states。
• return_dict (bool，可选) — 是否返回 ModelOutput 对象而不是普通元组。
• encoder_hidden_states (tf.Tensor，可选) — 编码器最后一层输出的隐藏状态序列。如果模型配置为解码器，则用于交叉注意力。
• encoder_attention_mask (tf.Tensor，可选) — 用于避免对编码器输入中的填充标记索引执行注意力操作的掩码。如果模型配置为解码器，则此掩码用于交叉注意力。掩码值选择范围为 [0, 1]：
  • 1 表示**未被掩码**的标记，
  • 0 表示**被掩码**的标记。
• past_key_values (tuple(tuple(tf.Tensor))，可选) — 包含注意力块的预计算键值隐藏状态。可用于加速解码。如果使用 past_key_values，用户可以选择只输入形状为 (batch_size, 1) 的最后一个 decoder_input_ids（那些未向模型提供其过去的键值状态的 ID），而不是形状为 (batch_size, sequence_length) 的所有 decoder_input_ids。
• use_cache (bool，可选) — 如果设置为 True，将返回 past_key_values 键值状态，可用于加速解码（请参阅 past_key_values）。

参数

• input_ids (tf.Tensor of shape (batch_size, sequence_length)) — 输入序列标记在词汇表中的索引。如果提供填充，将默认忽略。

  索引可以使用 AutoProcessor 获得。详情请参阅 BlipProcessor.__call__()。

  什么是输入 ID？

• attention_mask (tf.Tensor of shape (batch_size, sequence_length), 可选) — 掩码，用于避免对填充标记索引执行注意力操作。掩码值选择在 [0, 1] 之间：
  • 1 表示未被掩码的标记，
  • 0 表示被掩码的标记。

  什么是注意力掩码？

• position_ids (tf.Tensor of shape (batch_size, sequence_length), 可选) — 每个输入序列标记在位置嵌入中的位置索引。选择范围为 [0, config.max_position_embeddings - 1]。

  什么是位置 ID？

• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。更多详情请参见返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多详情请参见返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。
• encoder_hidden_states (tf.Tensor, 可选) — 编码器最后一层输出的隐藏状态序列。如果模型被配置为解码器，则在交叉注意力中使用。
• encoder_attention_mask (tf.Tensor, 可选) — 掩码，用于避免对编码器输入的填充标记索引执行注意力操作。如果模型被配置为解码器，则在交叉注意力中使用此掩码。掩码值选择在 [0, 1] 之间：
  • 1 表示未被掩码的标记，
  • 0 表示被掩码的标记。
• labels (tf.Tensor, 可选) — 用于计算从左到右语言建模损失（下一个词预测）的标签。索引应在 [-100, 0, ..., config.vocab_size] 之间（参见 input_ids 文档字符串）。索引设置为 -100 的标记将被忽略（掩码），损失仅针对标签为 [0, ..., config.vocab_size] 的标记计算。
• past_key_values (tuple(tuple(tf.Tensor)), 可选) — 包含注意力块预计算的键和值隐藏状态。可用于加速解码。如果使用 past_key_values，用户可以选择只输入最后一个 decoder_input_ids（未向此模型提供过去键值状态的那些）形状为 (batch_size, 1)，而不是所有 decoder_input_ids 形状为 (batch_size, sequence_length)。
• use_cache (bool, 可选) — 如果设置为 True，将返回 past_key_values 键值状态，可用于加速解码（参见 past_key_values）。

参数

• pixel_values (tf.Tensor of shape (batch_size, num_channels, height, width)) — 像素值。如果提供填充，将默认忽略。像素值可以使用 BlipImageProcessor 获取。详情请参阅 BlipImageProcessor.call()。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。更多详情请参见返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多详情请参见返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

一个 transformers.modeling_tf_outputs.TFBaseModelOutputWithPooling 或 tf.Tensor 的元组（如果传入 return_dict=False 或当 config.return_dict=False 时），包含根据配置 (<class 'transformers.models.blip.configuration_blip.BlipVisionConfig'>) 和输入而变化的各种元素。

• last_hidden_state (tf.Tensor of shape (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

• pooler_output (tf.Tensor of shape (batch_size, hidden_size)) — 序列中第一个标记（分类标记）的最后一层隐藏状态，经过线性层和 Tanh 激活函数进一步处理。线性层权重在预训练期间通过下一句预测（分类）目标进行训练。

  此输出通常不是输入语义内容的良好摘要，通常最好对整个输入序列的隐藏状态进行平均或池化。

• hidden_states (tuple(tf.Tensor), 可选, 当传入 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — tf.Tensor 的元组（一个用于嵌入层的输出 + 每个层的输出）形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态加上初始嵌入输出。

• attentions (tuple(tf.Tensor), 可选, 当传入 output_attentions=True 或当 config.output_attentions=True 时返回) — tf.Tensor 的元组（每个层一个）形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (tf.Tensor of shape (batch_size, num_channels, height, width)) — 像素值。如果提供填充，将默认忽略。像素值可以使用 BlipImageProcessor 获取。详情请参阅 BlipImageProcessor.call()。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。更多详情请参见返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多详情请参见返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

一个 transformers.models.blip.modeling_tf_blip.TFBlipForConditionalGenerationModelOutput 或 tf.Tensor 的元组（如果传入 return_dict=False 或当 config.return_dict=False 时），包含根据配置 (<class 'transformers.models.blip.configuration_blip.BlipConfig'>) 和输入而变化的各种元素。

• loss (tf.Tensor, 可选, 当提供 labels 时返回, tf.Tensor of shape (1,)) — 来自文本解码器的语言建模损失。

• logits (tf.Tensor of shape (batch_size, sequence_length, config.vocab_size), 可选) — 文本解码器模型语言建模头部的预测分数。

• image_embeds (tf.Tensor of shape (batch_size, output_dim), 可选) — 应用视觉 Transformer 模型到输入图像后获得的图像嵌入。

• last_hidden_state (tf.Tensor of shape (batch_size, sequence_length, hidden_size), 可选) — 模型最后一层输出的隐藏状态序列。

• hidden_states (tuple(tf.Tensor), 可选, 当传入 output_hidden_states=True 时返回) — tf.Tensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层，+ 每个层的输出）形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(tf.Tensor), 可选, 当传入 output_attentions=True 时返回) — tf.Tensor 的元组（每个层一个）形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (tf.Tensor of shape (batch_size, num_channels, height, width)) — 像素值。如果提供填充，将默认忽略。像素值可以使用 BlipImageProcessor 获取。详情请参阅 BlipImageProcessor.call()。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。更多详情请参见返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多详情请参见返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

一个 transformers.models.blip.modeling_tf_blip.TFBlipImageTextMatchingModelOutput 或 tf.Tensor 的元组（如果传入 return_dict=False 或当 config.return_dict=False 时），包含根据配置 (<class 'transformers.models.blip.configuration_blip.BlipVisionConfig'>) 和输入而变化的各种元素。

• itm_score (tf.Tensor) — 图像-文本相似度得分。

• loss (tf.Tensor of shape (1,), 可选, 当提供 labels 时返回) — 来自文本解码器的语言建模损失。

• image_embeds (tf.Tensor of shape (batch_size, output_dim) 可选 当模型使用 with_projection=True 初始化时返回) — 通过将投影层应用于 pooler_output 获得的图像嵌入。

• last_hidden_state (tf.Tensor of shape (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

• hidden_states (tuple(tf.Tensor), 可选, 当传入 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — tf.Tensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层，+ 每个层的输出）形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• vision_pooler_output (tf.Tensor of shape (batch_size, hidden_size), 可选) — 模型视觉分支中最后一层的隐藏状态。

• attentions (tuple(tf.Tensor), 可选, 当传入 output_attentions=True 或当 config.output_attentions=True 时返回) — tf.Tensor 的元组（每个层一个）形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

• question_embeds (tf.Tensor) — 通过文本投影层获得的问句嵌入。

参数

• pixel_values (形状为 (batch_size, num_channels, height, width) 的 tf.Tensor) — 像素值。如果提供填充，默认情况下将被忽略。像素值可以使用 BlipImageProcessor 获取。有关详细信息，请参阅 BlipImageProcessor.call()。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是纯元组。

一个 transformers.models.blip.modeling_tf_blip.TFBlipTextVisionModelOutput 或一个 tf.Tensor 元组（如果传递 return_dict=False 或当 config.return_dict=False 时），包含根据配置 (<class 'transformers.models.blip.configuration_blip.BlipVisionConfig'>) 和输入而定的各种元素。

• loss (tf.Tensor of shape (1,), 可选, 当提供 labels 时返回) — 来自文本解码器的语言建模损失。

• image_embeds (tf.Tensor of shape (batch_size, output_dim) 可选 当模型使用 with_projection=True 初始化时返回) — 通过将投影层应用于 pooler_output 获得的图像嵌入。

• last_hidden_state (tf.Tensor of shape (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

• hidden_states (tuple(tf.Tensor), 可选, 当传入 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — tf.Tensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层，+ 每个层的输出）形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(tf.Tensor), 可选, 当传入 output_attentions=True 或当 config.output_attentions=True 时返回) — tf.Tensor 的元组（每个层一个）形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。