InstructBlipVideo

概述

InstructBLIPVideo 是 Wenliang Dai、Junnan Li、Dongxu Li、Anthony Meng Huat Tiong、Junqi Zhao、Weisheng Wang、Boyang Li、Pascale Fung 和 Steven Hoi 在 InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning 中提出的模型的扩展。InstructBLIPVideo 使用与 InstructBLIP 相同的架构，并与 InstructBLIP 使用相同的检查点。唯一的区别是处理视频的能力。

论文摘要如下：

在预训练和指令微调流程的推动下，能够解决各种语言领域任务的通用语言模型应运而生。然而，由于额外的视觉输入引入了更大的任务差异，构建通用视觉语言模型仍然具有挑战性。尽管视觉语言预训练已得到广泛研究，但视觉语言指令微调的研究相对较少。在本文中，我们基于预训练的 BLIP-2 模型，对视觉语言指令微调进行了系统而全面的研究。我们收集了 26 个公开可用的数据集，将它们转换为指令微调格式，并将它们分为两个集群，用于内置指令微调和外置零样本评估。此外，我们引入了指令感知视觉特征提取，这是一种关键方法，使模型能够提取针对给定指令定制的信息丰富的特征。由此产生的 InstructBLIP 模型在所有 13 个外置数据集上均实现了最先进的零样本性能，大大优于 BLIP-2 和更大的 Flamingo。当在各个下游任务上进行微调时（例如，在 ScienceQA IMG 上达到 90.7% 的准确率），我们的模型也取得了最先进的性能。此外，我们定性地展示了 InstructBLIP 相对于并发多模态模型的优势。

InstructBLIPVideo 架构。取自原始论文。

此模型由 RaushanTurganbay 贡献。原始代码可以在这里找到。

使用技巧

该模型通过对每个视频采样 4 帧进行训练，因此建议采样 4 帧

[!NOTE] v4.46 版本之后的 BLIP 模型会引发关于添加 processor.num_query_tokens = {{num_query_tokens}} 和扩展模型嵌入层以添加特殊的 <image> 令牌的警告。强烈建议如果您拥有模型检查点，则将属性添加到处理器，或者如果检查点不是您拥有的，则打开 PR。添加这些属性意味着 BLIP 将添加每个图像所需的查询令牌数，并使用与查询令牌一样多的 <image> 占位符扩展文本。通常每个图像大约需要 500 个令牌，因此请确保文本未被截断，否则在合并嵌入时会发生故障。属性可以从模型配置中获取，如 model.config.num_query_tokens，模型嵌入扩展可以按照此链接进行操作。

InstructBlipVideoConfig

class transformers.InstructBlipVideoConfig

< 源代码 >

( vision_config = None qformer_config = None text_config = None num_query_tokens = 32 video_token_index = None **kwargs )

参数

vision_config (dict, 可选) — 用于初始化 InstructBlipVideoVisionConfig 的配置选项字典。
qformer_config (dict, 可选) — 用于初始化 InstructBlipVideoQFormerConfig 的配置选项字典。
text_config (dict, 可选) — 用于初始化任何 PretrainedConfig 的配置选项字典。
num_query_tokens (int, 可选, 默认为 32) — 通过 Transformer 传递的查询令牌数量。
video_token_index (int, 可选) — 特殊视频令牌的令牌索引。
kwargs (可选) — 关键字参数的字典。

InstructBlipVideoConfig 是用于存储 InstructBlipVideoForConditionalGeneration 配置的配置类。它用于根据指定的参数实例化 Instructblipvideo 模型，定义视觉模型、Q-Former 模型和语言模型配置。使用默认值实例化配置将产生与 Instructblipvideo Salesforce/instruct-blip-flan-t5 架构类似的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请阅读 PretrainedConfig 的文档。

示例

>>> from transformers import (
...     InstructBlipVideoVisionConfig,
...     InstructBlipVideoQFormerConfig,
...     OPTConfig,
...     InstructBlipVideoConfig,
...     InstructBlipVideoForConditionalGeneration,
... )

>>> # Initializing a InstructBlipVideoConfig with Salesforce/instruct-blip-flan-t5 style configuration
>>> configuration = InstructBlipVideoConfig()

>>> # Initializing a InstructBlipVideoForConditionalGeneration (with random weights) from the Salesforce/instruct-blip-flan-t5 style configuration
>>> model = InstructBlipVideoForConditionalGeneration(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

>>> # We can also initialize a InstructBlipVideoConfig from a InstructBlipVideoVisionConfig, InstructBlipVideoQFormerConfig and any PretrainedConfig

>>> # Initializing Instructblipvideo vision, Instructblipvideo Q-Former and language model configurations
>>> vision_config = InstructBlipVideoVisionConfig()
>>> qformer_config = InstructBlipVideoQFormerConfig()
>>> text_config = OPTConfig()

>>> config = InstructBlipVideoConfig.from_text_vision_configs(vision_config, qformer_config, text_config)

Transformers

InstructBlipVideo

概述

使用技巧

InstructBlipVideoConfig

class transformers.InstructBlipVideoConfig

from_vision_qformer_text_configs

InstructBlipVideoVisionConfig

class transformers.InstructBlipVideoVisionConfig

InstructBlipVideoQFormerConfig

class transformers.InstructBlipVideoQFormerConfig

InstructBlipVideoProcessor

class transformers.InstructBlipVideoProcessor

batch_decode

decode

InstructBlipVideoImageProcessor

class transformers.InstructBlipVideoImageProcessor

preprocess

InstructBlipVideoVisionModel

class transformers.InstructBlipVideoVisionModel

forward

InstructBlipVideoQFormerModel

class transformers.InstructBlipVideoQFormerModel

forward

InstructBlipVideoForConditionalGeneration

class transformers.InstructBlipVideoForConditionalGeneration

forward

generate