InstructBlipVideo
概述
概述
InstructBLIPVideo 是 Wenliang Dai、Junnan Li、Dongxu Li、Anthony Meng Huat Tiong、Junqi Zhao、Weisheng Wang、Boyang Li、Pascale Fung 和 Steven Hoi 在InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning 中提出的模型的扩展。InstructBLIPVideo 使用与InstructBLIP 相同的架构，并使用与InstructBLIP 相同的检查点。唯一的区别是它能够处理视频。
该论文的摘要如下：
能够解决各种语言领域任务的通用语言模型在预训练和指令微调管道的推动下应运而生。然而，由于额外的视觉输入带来的任务差异加大，构建通用视觉语言模型具有挑战性。虽然视觉语言预训练已被广泛研究，但视觉语言指令微调仍处于相对较少的探索阶段。在本文中，我们基于预训练的 BLIP-2 模型对视觉语言指令微调进行了系统而全面的研究。我们收集了 26 个公开可用的数据集，将它们转化为指令微调格式，并将它们分为两个类别，用于保留指令微调和保留零样本评估。此外，我们引入了指令感知视觉特征提取，这是一种至关重要的方法，使模型能够提取针对给定指令量身定制的信息特征。由此产生的 InstructBLIP 模型在所有 13 个保留数据集上实现了最先进的零样本性能，大大优于 BLIP-2 和更大的 Flamingo。我们的模型在对单个下游任务进行微调时也获得了最先进的性能（例如，ScienceQA IMG 上的准确率为 90.7%）。此外，我们定性地证明了 InstructBLIP 与并发多模态模型相比的优势。
InstructBLIPVideo 架构。摘自原始论文。此模型由RaushanTurganbay 贡献。原始代码可以在此处 找到。
使用技巧
- 该模型是在对每个视频进行每 4 帧采样后进行训练的，因此建议对视频进行每 4 帧采样。
InstructBlipVideoConfig
class transformers.InstructBlipVideoConfig
< 源代码 >( vision_config = None qformer_config = None text_config = None num_query_tokens = 32 video_token_index = None **kwargs )
参数
- vision_config (
dict, 可选) — 用于初始化InstructBlipVideoVisionConfig 的配置选项字典。 - qformer_config (
dict, 可选) — 用于初始化InstructBlipVideoQFormerConfig 的配置选项字典。 - text_config (
dict, 可选) — 用于初始化任何PretrainedConfig 的配置选项字典。 - num_query_tokens (
int, 可选, 默认值为 32) — 传递到 Transformer 的查询令牌数。 - video_token_index (
int, 可选) — 特殊视频令牌的令牌索引。 - kwargs (可选) — 关键字参数字典。
InstructBlipVideoConfig 是用于存储 InstructBlipVideoForConditionalGeneration 配置的配置类。 它用于根据指定的参数实例化 Instructblipvideo 模型，定义视觉模型、Q-Former 模型和语言模型配置。 使用默认值实例化配置将产生类似于 Instructblipvideo Salesforce/instruct-blip-flan-t5 架构的配置。
配置对象继承自 PretrainedConfig，可用于控制模型输出。 阅读来自 PretrainedConfig 的文档以获取更多信息。
示例
>>> from transformers import (
... InstructBlipVideoVisionConfig,
... InstructBlipVideoQFormerConfig,
... OPTConfig,
... InstructBlipVideoConfig,
... InstructBlipVideoForConditionalGeneration,
... )
>>> # Initializing a InstructBlipVideoConfig with Salesforce/instruct-blip-flan-t5 style configuration
>>> configuration = InstructBlipVideoConfig()
>>> # Initializing a InstructBlipVideoForConditionalGeneration (with random weights) from the Salesforce/instruct-blip-flan-t5 style configuration
>>> model = InstructBlipVideoForConditionalGeneration(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config
>>> # We can also initialize a InstructBlipVideoConfig from a InstructBlipVideoVisionConfig, InstructBlipVideoQFormerConfig and any PretrainedConfig
>>> # Initializing Instructblipvideo vision, Instructblipvideo Q-Former and language model configurations
>>> vision_config = InstructBlipVideoVisionConfig()
>>> qformer_config = InstructBlipVideoQFormerConfig()
>>> text_config = OPTConfig()
>>> config = InstructBlipVideoConfig.from_text_vision_configs(vision_config, qformer_config, text_config)from_vision_qformer_text_configs
< 源代码 >( vision_config: InstructBlipVideoVisionConfig qformer_config: InstructBlipVideoQFormerConfig text_config: PretrainedConfig **kwargs ) → InstructBlipVideoConfig
从 InstructBlipVideo 视觉模型、Q-Former 和语言模型配置中实例化一个 InstructBlipVideoConfig（或派生类）。
InstructBlipVideoVisionConfig
类 transformers.InstructBlipVideoVisionConfig
< 源代码 >( hidden_size = 1408 intermediate_size = 6144 num_hidden_layers = 39 num_attention_heads = 16 image_size = 224 patch_size = 14 hidden_act = 'gelu' layer_norm_eps = 1e-06 attention_dropout = 0.0 initializer_range = 1e-10 qkv_bias = True **kwargs )
参数
- hidden_size (
int, 可选，默认为 1408) — 编码器层和池化层的维数。 - intermediate_size (
int, 可选，默认为 6144) — Transformer 编码器中“中间”（即前馈）层的维数。 - num_hidden_layers (
int, 可选，默认为 39) — Transformer 编码器中的隐藏层数。 - num_attention_heads (
int, 可选，默认为 16) — Transformer 编码器中每个注意力层的注意力头数。 - hidden_act (
str或function, 可选, 默认值为"gelu") — 编码器和池化器中的非线性激活函数（函数或字符串）。 如果是字符串，则支持"gelu"、"relu"、"selu"和"gelu_new""gelu"。 到 1e-5): 层归一化层使用的 epsilon。 - layer_norm_eps (
float, 可选, 默认值为 1e-06) — 层归一化层使用的 epsilon。 - attention_dropout (
float, 可选, 默认值为 0.0) — 注意力概率的丢弃率。 - initializer_range (
float, 可选, 默认值为 1e-10) — 初始化所有权重矩阵的截断正态初始化的标准差。 - qkv_bias (
bool, 可选, 默认值为True) — 是否在自注意力层中的查询和值中添加偏差。
这是用于存储 InstructBlipVideoVisionModel 配置的配置类。 它用于根据指定的参数实例化 InstructBlipVideo 视觉编码器，定义模型架构。 实例化配置默认值将产生与 InstructBlipVideo Salesforce/instruct-blip-flan-t5 架构类似的配置。
配置对象继承自 PretrainedConfig，可用于控制模型输出。 阅读来自 PretrainedConfig 的文档以获取更多信息。
示例
>>> from transformers import InstructBlipVideoVisionConfig, InstructBlipVideoVisionModel
>>> # Initializing a InstructBlipVideoVisionConfig with Salesforce/instruct-blip-flan-t5 style configuration
>>> configuration = InstructBlipVideoVisionConfig()
>>> # Initializing a InstructBlipVideoVisionModel (with random weights) from the Salesforce/instruct-blip-flan-t5 style configuration
>>> model = InstructBlipVideoVisionModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configInstructBlipVideoQFormerConfig
class transformers.InstructBlipVideoQFormerConfig
< source >( vocab_size = 30522 hidden_size = 768 num_hidden_layers = 12 num_attention_heads = 12 intermediate_size = 3072 hidden_act = 'gelu' hidden_dropout_prob = 0.1 attention_probs_dropout_prob = 0.1 max_position_embeddings = 512 initializer_range = 0.02 layer_norm_eps = 1e-12 pad_token_id = 0 position_embedding_type = 'absolute' cross_attention_frequency = 2 encoder_hidden_size = 1408 **kwargs )
参数
- vocab_size (
int, 可选, 默认值为 30522) — Q-Former 模型的词汇量大小。 定义调用模型时通过inputs_ids可以表示的不同标记的数量。 - hidden_size (
int, 可选, 默认值 768) — 编码器层和池化层的维度。 - num_hidden_layers (
int, 可选, 默认值 12) — Transformer 编码器中的隐藏层数量。 - num_attention_heads (
int, 可选, 默认值 12) — Transformer 编码器中每个注意力层的注意力头数量。 - intermediate_size (
int, 可选, 默认值 3072) — Transformer 编码器中“中间”（通常称为前馈）层的维度。 - hidden_act (
str或Callable, 可选, 默认值"gelu") — 编码器和池化器中的非线性激活函数（函数或字符串）。 如果是字符串，则支持"gelu"、"relu"、"silu"和"gelu_new"。 - hidden_dropout_prob (
float, 可选, 默认值 0.1) — 嵌入、编码器和池化器中所有全连接层的 dropout 概率。 - attention_probs_dropout_prob (
float, 可选, 默认值 0.1) — 注意力概率的 dropout 比例。 - max_position_embeddings (
int, 可选, 默认值 512) — 此模型可能使用的最大序列长度。 通常将其设置为一个较大的值，以防万一（例如，512 或 1024 或 2048）。 - initializer_range (
float, 可选, 默认值 0.02) — 用于初始化所有权重矩阵的截断正态分布初始化器的标准差。 - layer_norm_eps (
float, 可选, 默认值 1e-12) — 层归一化层使用的 epsilon。 - cross_attention_frequency (
int, 可选, 默认为 2) — 将交叉注意力添加到 Transformer 层的频率。 - encoder_hidden_size (
int, 可选, 默认为 1408) — 交叉注意力的隐藏状态的隐藏大小。
这是用于存储 InstructBlipVideoQFormerModel 配置的配置类。它用于根据指定的参数实例化 InstructBlipVideo 查询 Transformer (Q-Former) 模型，定义模型架构。使用默认值实例化配置将产生与 InstructBlipVideo Salesforce/instruct-blip-flan-t5 架构类似的配置。配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请阅读 PretrainedConfig 的文档。
请注意，InstructBlipVideoQFormerModel 与具有交叉注意力交织的 BertLMHeadModel 非常相似。
示例
>>> from transformers import InstructBlipVideoQFormerConfig, InstructBlipVideoQFormerModel
>>> # Initializing a InstructBlipVideo Salesforce/instruct-blip-flan-t5 style configuration
>>> configuration = InstructBlipVideoQFormerConfig()
>>> # Initializing a model (with random weights) from the Salesforce/instruct-blip-flan-t5 style configuration
>>> model = InstructBlipVideoQFormerModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configInstructBlipVideoProcessor
class transformers.InstructBlipVideoProcessor
< 源代码 >( image_processor tokenizer qformer_tokenizer num_query_tokens = None **kwargs )
参数
- image_processor (
InstructBlipVideoImageProcessor) — InstructBlipVideoImageProcessor 的实例。图像处理器是必需的输入。 - tokenizer (
AutoTokenizer) — [‘PreTrainedTokenizer` 的实例。分词器是必需的输入。 - qformer_tokenizer (
AutoTokenizer) — [‘PreTrainedTokenizer` 的实例。Q-Former 分词器是必需的输入。 - num_query_tokens (
int, 可选) — Qformer 用作查询的令牌数，应与模型配置中的相同。
构造一个 InstructBLIPVideo 处理器，它将 InstructBLIP 图像处理器和 LLaMa/T5 分词器包装到单个处理器中。
InstructBlipVideoProcessor 提供了 InstructBlipVideoImageProcessor 和 AutoTokenizer 的所有功能。有关更多信息，请参阅 __call__() 和 decode() 的文档字符串。
此方法将所有参数转发给 PreTrainedTokenizer 的 batch_decode()。有关更多信息，请参阅此方法的文档字符串。
此方法将所有参数转发给 PreTrainedTokenizer 的 decode()。有关更多信息，请参阅此方法的文档字符串。
InstructBlipVideoImageProcessor
class transformers.InstructBlipVideoImageProcessor
< source >( do_resize: bool = True size: Dict = None resample: Resampling = <Resampling.BICUBIC: 3> do_rescale: bool = True rescale_factor: Union = 0.00392156862745098 do_normalize: bool = True image_mean: Union = None image_std: Union = None do_convert_rgb: bool = True **kwargs )
参数
- do_resize (
bool, 可选, 默认值为True) — 是否将图像的 (高度，宽度) 尺寸调整为指定的size。可以在preprocess方法中通过do_resize参数覆盖。 - size (
dict, 可选, 默认值为{"height" -- 384, "width": 384}): 调整大小后输出图像的大小。可以在preprocess方法中通过size参数覆盖。 - resample (
PILImageResampling, 可选, 默认值为Resampling.BICUBIC) — 如果调整图像大小，则要使用的重采样过滤器。仅当do_resize设置为True时才有效。可以在preprocess方法中通过resample参数覆盖。 - do_rescale (
bool, 可选, 默认值为True) — 是否按指定的比例rescale_factor重新缩放图像。仅当do_rescale设置为True时才有效。可以在preprocess方法中通过do_rescale参数覆盖。 - rescale_factor (
int或float, 可选, 默认值为1/255) — 如果重新缩放图像，则要使用的比例因子。仅当do_rescale设置为True时才有效。可以在preprocess方法中通过rescale_factor参数覆盖。 - do_normalize (
bool, 可选, 默认值为True) — 是否对图像进行标准化。可以在preprocess方法中被do_normalize参数覆盖。可以在preprocess方法中被do_normalize参数覆盖。 - image_mean (
float或List[float], 可选, 默认值为IMAGENET_STANDARD_MEAN) — 如果对图像进行标准化，则要使用的均值。这是一个浮点数或浮点数列表，其长度等于图像中通道的数量。可以在preprocess方法中被image_mean参数覆盖。可以在preprocess方法中被image_mean参数覆盖。 - image_std (
float或List[float], 可选, 默认值为IMAGENET_STANDARD_STD) — 如果对图像进行标准化，则要使用的标准差。这是一个浮点数或浮点数列表，其长度等于图像中通道的数量。可以在preprocess方法中被image_std参数覆盖。可以在preprocess方法中被image_std参数覆盖。 - do_convert_rgb (
bool, 可选, 默认值为True) — 是否将图像转换为 RGB。
构建 InstructBLIPVideo 图像处理器。
preprocess
< source >( images: Union = None do_resize: Optional = None size: Optional = None resample: Resampling = None do_rescale: Optional = None rescale_factor: Optional = None do_normalize: Optional = None image_mean: Union = None image_std: Union = None return_tensors: Union = None do_convert_rgb: bool = None data_format: ChannelDimension = <ChannelDimension.FIRST: 'channels_first'> input_data_format: Union = None )
参数
- videos (
VideoInput) — 要预处理的视频帧。希望以单个或批量的视频形式提供，作为帧列表，像素值范围为 0 到 255。如果传入像素值在 0 到 1 之间的视频，请设置do_rescale=False。 - do_resize (
bool, 可选, 默认值为self.do_resize) — 是否调整视频大小。 - size (
Dict[str, int], 可选, 默认值为self.size) — 控制resize后视频的大小。图像的最短边调整为size["shortest_edge"]，同时保持纵横比。如果此调整大小后的图像的最长边 >int(size["shortest_edge"] * (1333 / 800))，则再次调整图像大小，使最长边等于int(size["shortest_edge"] * (1333 / 800))。 - resample (
PILImageResampling, 可选, 默认为self.resample) — 如果调整视频大小，要使用的重采样过滤器。仅当do_resize设置为True时有效。 - do_rescale (
bool, 可选, 默认为self.do_rescale) — 是否将视频值重新缩放到 [0 - 1] 之间。 - rescale_factor (
float, 可选, 默认为self.rescale_factor) — 如果do_rescale设置为True，则用于重新缩放视频的缩放因子。 - do_normalize (
bool, 可选, 默认为self.do_normalize) — 是否对视频进行归一化。 - image_mean (
float或List[float], 可选, 默认为self.image_mean) — 如果do_normalize设置为True，则用于归一化视频的图像均值。 - image_std (
float或List[float], 可选, 默认为self.image_std) — 如果do_normalize设置为True，则用于归一化视频的图像标准差。 - do_convert_rgb (
bool, 可选, 默认为self.do_convert_rgb) — 是否将图像转换为 RGB。 - return_tensors (
str或TensorType, 可选) — 要返回的张量类型。可以是以下之一：- 未设置：返回一个
np.ndarray列表。 TensorType.TENSORFLOW或'tf'：返回一个类型为tf.Tensor的批次。TensorType.PYTORCH或'pt'：返回一个类型为torch.Tensor的批次。TensorType.NUMPY或'np'：返回一个类型为np.ndarray的批次。TensorType.JAX或'jax'：返回一个类型为jax.numpy.ndarray的批次。
- 未设置：返回一个
- data_format (
ChannelDimension或str, 可选, 默认为ChannelDimension.FIRST) — 输出图像的通道维度格式。可以是以下之一："channels_first"或ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。"channels_last"或ChannelDimension.LAST：图像格式为 (height, width, num_channels)。- 未设置：使用输入图像的通道维度格式。
- input_data_format (
ChannelDimension或str, 可选) — 输入图像的通道维度格式。如果未设置，则从输入图像推断通道维度格式。可以是以下之一："channels_first"或ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。"channels_last"或ChannelDimension.LAST：图像格式为 (height, width, num_channels)。"none"或ChannelDimension.NONE：图像格式为 (height, width)。
预处理视频或图像/视频批次。
InstructBlipVideoVisionModel
class transformers.InstructBlipVideoVisionModel
< source >( config: InstructBlipVideoVisionConfig )
forward
< source >( pixel_values: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None interpolate_pos_encoding: bool = False ) → transformers.modeling_outputs.BaseModelOutputWithPooling or tuple(torch.FloatTensor)
参数
- pixel_values (
torch.FloatTensorof shape(batch_size, num_channels, height, width)) — 像素值。像素值可以使用 InstructBlipVideoProcessor 获取。有关详细信息，请参见InstructBlipVideoProcessor.__call__()。 - output_attentions (
bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参见返回张量中的attentions。 - output_hidden_states (
bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参见返回张量中的hidden_states。 - return_dict (
bool, 可选) — 是否返回一个 ModelOutput 而不是一个简单的元组。 - interpolate_pos_encoding (
bool, 可选，默认为False) — 是否对预训练的位置编码进行插值。
返回
transformers.modeling_outputs.BaseModelOutputWithPooling or tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.BaseModelOutputWithPooling 或 torch.FloatTensor 的元组（如果传递了 return_dict=False 或者 config.return_dict=False），包括根据配置（<class 'transformers.models.instructblipvideo.configuration_instructblipvideo.InstructBlipVideoVisionConfig'>）和输入而变化的各种元素。
-
last_hidden_state (
torch.FloatTensorof shape(batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。 -
pooler_output (
torch.FloatTensorof shape(batch_size, hidden_size)) — 序列第一个 token（分类 token）的最后一层隐藏状态，经过用于辅助预训练任务的层的进一步处理后。例如，对于 BERT 系列模型，这将返回分类 token，经过线性层和 tanh 激活函数的处理。线性层权重是在预训练期间从下一句预测（分类）目标中训练出来的。 -
hidden_states (
tuple(torch.FloatTensor), 可选，当传递output_hidden_states=True或config.output_hidden_states=True时返回) —torch.FloatTensor的元组（一个用于嵌入层的输出，如果模型有嵌入层，+ 一个用于每一层的输出），形状为(batch_size, sequence_length, hidden_size)。模型在每一层输出的隐藏状态，以及可选的初始嵌入输出。
-
attentions (
tuple(torch.FloatTensor), 可选，当传递output_attentions=True或config.output_attentions=True时返回) —torch.FloatTensor的元组（每一层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。
The InstructBlipVideoVisionModel 正向方法覆盖了 __call__ 特殊方法。
虽然正向传递的配方需要在这个函数中定义，但应该之后调用 Module 实例，而不是这个函数，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。
InstructBlipVideoQFormerModel
class transformers.InstructBlipVideoQFormerModel
< source >( config: InstructBlipVideoQFormerConfig )
InstructBlipVideo 中使用的查询变换器（Q-Former）。略微修改自 BLIP-2，因为它也接收指令作为输入。
forward
< source >( input_ids: LongTensor attention_mask: Optional = None position_ids: Optional = None query_embeds: Optional = None head_mask: Optional = None encoder_hidden_states: Optional = None encoder_attention_mask: Optional = None past_key_values: Optional = None use_cache: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None )
encoder_hidden_states (torch.FloatTensor 形状为 (batch_size, sequence_length, hidden_size)，可选)：编码器最后一层输出的隐藏状态序列。如果模型被配置为解码器，则在交叉注意力中使用。encoder_attention_mask (torch.FloatTensor 形状为 (batch_size, sequence_length)，可选)：掩码以避免对编码器输入的填充标记索引执行注意力。如果模型被配置为解码器，则此掩码在交叉注意力中使用。在 [0, 1] 中选择的掩码值
- 1 用于 **未掩码** 的标记，
- 0 用于 **掩码** 的标记。past_key_values (
tuple(tuple(torch.FloatTensor))长度为config.n_layers，每个元组有 4 个张量：形状(batch_size, num_heads, sequence_length - 1, embed_size_per_head))：包含预先计算的注意力块的关键值隐藏状态。可用于加速解码。如果使用past_key_values，用户可以选择仅输入形状为(batch_size, 1)的最后一个decoder_input_ids（那些没有提供其过去关键值状态的输入）而不是所有形状为(batch_size, sequence_length)的decoder_input_ids。use_cache (bool，可选)：如果设置为True，则返回past_key_values键值状态，可用于加速解码（见past_key_values）。
InstructBlipVideoForConditionalGeneration
class transformers.InstructBlipVideoForConditionalGeneration
< source >( config: InstructBlipVideoConfig )
参数
- config (InstructBlipVideoConfig) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型相关的权重，只加载配置。查看 from_pretrained() 方法加载模型权重。
InstructBlipVideo 模型，用于根据图像和可选的文本提示生成文本。该模型包含一个视觉编码器、查询变换器 (Q-Former) 和一个语言模型。
可以选择向模型传递 input_ids，它们作为文本提示，让语言模型继续提示。否则，语言模型从 [BOS]（序列开始）标记开始生成文本。
此模型继承自 PreTrainedModel。查看超类文档以了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入的大小、修剪头等）。
此模型也是一个 PyTorch torch.nn.Module 子类。将它用作常规的 PyTorch 模块，并参考 PyTorch 文档以了解所有与一般使用和行为相关的事项。
forward
< source >( pixel_values: FloatTensor qformer_input_ids: FloatTensor qformer_attention_mask: Optional = None input_ids: Optional = None attention_mask: Optional = None decoder_input_ids: Optional = None decoder_attention_mask: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None labels: Optional = None return_dict: Optional = None interpolate_pos_encoding: bool = False ) → transformers.models.instructblipvideo.modeling_instructblipvideo.InstructBlipVideoForConditionalGenerationModelOutput 或 tuple(torch.FloatTensor)
参数
- pixel_values (
torch.FloatTensor形状为(batch_size, num_channels, height, width)) — 像素值。像素值可以使用 InstructBlipVideoProcessor 获取。有关详细信息，请参见InstructBlipVideoProcessor.__call__()。 - qformer_input_ids (
torch.LongTensor形状为(batch_size, sequence_length)，可选) — Q-Former 词汇表中输入序列标记的索引。可选地提供输入标记以用作文本提示，Q-Former 模型将对其进行编码。索引可以使用 InstructBlipVideoProcessor 获取。有关详细信息，请参见
InstructBlipVideoProcessor.__call__()。 - qformer_attention_mask (
torch.Tensor形状为(batch_size, sequence_length)，可选) — 用于避免对填充标记索引执行注意力的掩码。掩码值在[0, 1]中选择：- 1 表示未掩码的标记，
- 0 表示掩码的标记。
- input_ids (
torch.LongTensor形状为(batch_size, sequence_length)，可选) — 语言模型词汇表中输入序列标记的索引。可选地提供输入标记以用作文本提示，语言模型可以继续。索引可以使用 InstructBlipVideoProcessor 获取。有关详细信息，请参见
InstructBlipVideoProcessor.__call__()。 - attention_mask (
torch.Tensor形状为(batch_size, sequence_length)，可选) — 用于避免对填充标记索引执行注意力的掩码。掩码值在[0, 1]中选择：- 1 表示未掩码的标记，
- 0 表示掩码的标记。
- decoder_input_ids (
torch.LongTensor形状为(batch_size, target_sequence_length)，可选) — 语言模型词汇表中解码器输入序列标记的索引。仅当使用编码器-解码器语言模型（如 T5）时才相关。索引可以使用 AutoTokenizer 获取。有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。 什么是解码器输入 ID？
- decoder_attention_mask (
torch.BoolTensor形状为(batch_size, target_sequence_length)，可选) — 默认行为：生成一个忽略decoder_input_ids中填充标记的张量。因果掩码也将默认使用。仅当使用编码器-解码器语言模型（如 T5）时才相关。
- output_attentions (
bool，可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参见返回张量中的attentions。 - output_hidden_states (
bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的hidden_states。 - return_dict (
bool, 可选) — 是否返回 ModelOutput 而不是普通元组。 - interpolate_pos_encoding (
bool, 可选, 默认为False) — 是否插值预训练的位置编码。 - labels (
torch.LongTensor形状为(batch_size,), 可选) — 用于计算语言建模损失的标签。索引应在[-100, 0, ..., config.vocab_size - 1]中。所有设置为-100的标签都被忽略（屏蔽），损失仅针对[0, ..., config.vocab_size]中的标签计算。
返回
transformers.models.instructblipvideo.modeling_instructblipvideo.InstructBlipVideoForConditionalGenerationModelOutput 或 tuple(torch.FloatTensor)
transformers.models.instructblipvideo.modeling_instructblipvideo.InstructBlipVideoForConditionalGenerationModelOutput 或 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含取决于配置 (<class 'transformers.models.instructblipvideo.configuration_instructblipvideo.InstructBlipVideoVisionConfig'>) 和输入的不同元素。
- loss (
torch.FloatTensor, 可选, 当提供labels时返回, 形状为(1,)的torch.FloatTensor) — 语言模型的语言建模损失。 - logits (
torch.FloatTensor形状为(batch_size, sequence_length, config.vocab_size)) — 语言模型语言建模头的预测得分。 - vision_outputs (
BaseModelOutputWithPooling) — 视觉编码器的输出。 - qformer_outputs (
BaseModelOutputWithPoolingAndCrossAttentions) — Q-Former（查询转换器）的输出。 - language_model_outputs (
CausalLMOutputWithPast或Seq2SeqLMOutput) — 语言模型的输出。
InstructBlipVideoForConditionalGeneration 正向方法，覆盖 __call__ 特殊方法。
虽然正向传递的配方需要在这个函数中定义，但应该之后调用 Module 实例，而不是这个函数，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。
示例
>>> from transformers import InstructBlipVideoProcessor, InstructBlipVideoForConditionalGeneration
>>> import torch
>>> from huggingface_hub import hf_hub_download
>>> import av
>>> import numpy as np
>>> def read_video_pyav(container, indices):
... '''
... Decode the video with PyAV decoder.
... Args:
... container (`av.container.input.InputContainer`): PyAV container.
... indices (`List[int]`): List of frame indices to decode.
... Returns:
... result (np.ndarray): np array of decoded frames of shape (num_frames, height, width, 3).
... '''
... frames = []
... container.seek(0)
... start_index = indices[0]
... end_index = indices[-1]
... for i, frame in enumerate(container.decode(video=0)):
... if i > end_index:
... break
... if i >= start_index and i in indices:
... frames.append(frame)
... return np.stack([x.to_ndarray(format="rgb24") for x in frames])
>>> model = InstructBlipVideoForConditionalGeneration.from_pretrained("Salesforce/instructblip-vicuna-7b", device_map="auto")
>>> processor = InstructBlipVideoProcessor.from_pretrained("Salesforce/instructblip-vicuna-7b")
>>> file_path = hf_hub_download(
... repo_id="nielsr/video-demo", filename="eating_spaghetti.mp4", repo_type="dataset"
... )
>>> container = av.open(file_path)
>>> # sample uniformly 4 frames from the videWhy is this video funny?o
>>> total_frames = container.streams.video[0].frames
>>> indices = np.arange(0, total_frames, total_frames / 4).astype(int)
>>> clip = read_video_pyav(container, indices)
>>> prompt = "What is happening in the video?"
>>> inputs = processor(text=prompt, images=clip, return_tensors="pt").to(model.device)
>>> outputs = model.generate(
... **inputs,
... do_sample=False,
... num_beams=5,
... max_length=256,
... repetition_penalty=1.5,
... length_penalty=1.0,
... )
>>> generated_text = processor.batch_decode(outputs, skip_special_tokens=True)[0].strip()
>>> print(generated_text)
"A person is eating a bowl of pasta, and they are using a fork to eat it. The person is sitting at a table, and the plate of pasta is on the table in front"generate
< 源代码 >( pixel_values: FloatTensor qformer_input_ids: Optional = None qformer_attention_mask: Optional = None input_ids: Optional = None attention_mask: Optional = None interpolate_pos_encoding: bool = False **generate_kwargs ) → captions (list)
参数
- pixel_values (
torch.FloatTensor形状为 (batch_size, num_channels, height, width) 或 — (batch_size, num_frames, num_channels, height, width)): 要处理的输入图像或视频。 - qformer_input_ids (
torch.LongTensor形状为 (batch_size, sequence_length), 可选) — 用作提示的序列，要馈送到 Q-Former 模块。 - qformer_attention_mask (
torch.LongTensor形状为 (batch_size, sequence_length), 可选) — 用于避免对填充令牌索引执行注意力的掩码。 - input_ids (
torch.LongTensor形状为 (batch_size, sequence_length), 可选) — 用于生成的提示序列。 - attention_mask (
torch.LongTensorof shape (batch_size, sequence_length), optional) — 用于避免对填充标记索引执行注意力的掩码。 - interpolate_pos_encoding (
bool, optional, defaults toFalse) — 是否插值图像嵌入的位置编码。
返回
captions (list)
长度为 batch_size * num_captions 的字符串列表。
覆盖 generate 函数，以便能够将模型用作条件生成器。