OWLv2

概述

OWLv2 由 Matthias Minderer、Alexey Gritsenko 和 Neil Houlsby 在论文《扩展开放词汇目标检测》（Scaling Open-Vocabulary Object Detection）中提出。OWLv2 使用自训练方法扩展了 OWL-ViT，该方法利用现有检测器在图文对上生成伪框标注。这使得其在零样本目标检测方面比之前的 SOTA 模型取得了巨大进步。

论文摘要如下：

开放词汇目标检测极大地受益于预训练的视觉语言模型，但仍然受限于可用的检测训练数据量。虽然可以通过使用网络图文对作为弱监督来扩展检测训练数据，但这并未在与图像级预训练相当的规模上进行。在这里，我们通过自训练来扩展检测数据，该方法使用现有检测器在图文对上生成伪框标注。扩展自训练的主要挑战是标签空间的选择、伪标注的过滤和训练效率。我们提出了 OWLv2 模型和 OWL-ST 自训练配方，解决了这些挑战。在相当的训练规模（约 1000 万个样本）下，OWLv2 的性能已经超过了之前最先进的开放词汇检测器。然而，通过 OWL-ST，我们可以扩展到超过 10 亿个样本，从而带来更大的提升：使用 L/14 架构，OWL-ST 将 LVIS 稀有类别的 AP 从 31.2% 提高到 44.6%（相对提升 43%），而模型并未见过这些类别的人工框标注。OWL-ST 为开放世界定位解锁了网络规模的训练，类似于在图像分类和语言建模中看到的情况。

OWLv2 概览图。引自原始论文。

该模型由 nielsr 贡献。原始代码可在此处找到。

用法示例

OWLv2 和其前身 OWL-ViT 一样，是一个零样本文本条件的目标检测模型。OWL-ViT 使用 CLIP 作为其多模态主干，通过一个类 ViT 的 Transformer 获取视觉特征，通过一个因果语言模型获取文本特征。为了将 CLIP 用于检测，OWL-ViT 移除了视觉模型的最终 token 池化层，并在每个 Transformer 输出 token 上附加了一个轻量级的分类和框头。通过将固定的分类层权重替换为从文本模型获得的类名嵌入，实现了开放词汇分类。作者首先从头开始训练 CLIP，然后将其与分类和框头在标准检测数据集上进行端到端的微调，使用二分匹配损失。每张图像可以使用一个或多个文本查询来执行零样本文本条件的目标检测。

Owlv2ImageProcessor 可用于调整图像大小（或缩放）和归一化，而 CLIPTokenizer 用于编码文本。Owlv2Processor 将 Owlv2ImageProcessor 和 CLIPTokenizer 包装成一个单一实例，以同时编码文本和准备图像。以下示例展示了如何使用 Owlv2Processor 和 Owlv2ForObjectDetection 进行目标检测。

>>> import requests
>>> from PIL import Image
>>> import torch

>>> from transformers import Owlv2Processor, Owlv2ForObjectDetection

>>> processor = Owlv2Processor.from_pretrained("google/owlv2-base-patch16-ensemble")
>>> model = Owlv2ForObjectDetection.from_pretrained("google/owlv2-base-patch16-ensemble")

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)
>>> text_labels = [["a photo of a cat", "a photo of a dog"]]
>>> inputs = processor(text=text_labels, images=image, return_tensors="pt")
>>> outputs = model(**inputs)

>>> # Target image sizes (height, width) to rescale box predictions [batch_size, 2]
>>> target_sizes = torch.tensor([(image.height, image.width)])
>>> # Convert outputs (bounding boxes and class logits) to Pascal VOC format (xmin, ymin, xmax, ymax)
>>> results = processor.post_process_grounded_object_detection(
...     outputs=outputs, target_sizes=target_sizes, threshold=0.1, text_labels=text_labels
... )
>>> # Retrieve predictions for the first image for the corresponding text queries
>>> result = results[0]
>>> boxes, scores, text_labels = result["boxes"], result["scores"], result["text_labels"]
>>> for box, score, text_label in zip(boxes, scores, text_labels):
...     box = [round(i, 2) for i in box.tolist()]
...     print(f"Detected {text_label} with confidence {round(score.item(), 3)} at location {box}")
Detected a photo of a cat with confidence 0.614 at location [341.67, 23.39, 642.32, 371.35]
Detected a photo of a cat with confidence 0.665 at location [6.75, 51.96, 326.62, 473.13]

资源

一个关于使用 OWLv2 进行零样本和单样本（图像引导）目标检测的演示笔记本可以在此处找到。
零样本目标检测任务指南

OWLv2 的架构与 OWL-ViT 相同，但目标检测头现在还包括一个物体性分类器，用于预测预测框包含物体（而不是背景）的（与查询无关的）可能性。物体性得分可用于独立于文本查询对预测进行排序或过滤。OWLv2 的使用方法与 OWL-ViT 相同，但使用了新的、更新的图像处理器（Owlv2ImageProcessor）。

Owlv2Config

class transformers.Owlv2Config

< 源码 >

( text_config = None vision_config = None projection_dim = 512 logit_scale_init_value = 2.6592 return_dict = True **kwargs )

参数

text_config (dict, 可选) — 用于初始化 Owlv2TextConfig 的配置选项字典。
vision_config (dict, 可选) — 用于初始化 Owlv2VisionConfig 的配置选项字典。
projection_dim (int, 可选, 默认为 512) — 文本和视觉投影层的维度。
logit_scale_init_value (float, 可选, 默认为 2.6592) — logit_scale 参数的初始值。默认值根据原始 OWLv2 实现使用。
return_dict (bool, 可选, 默认为 True) — 模型是否应返回一个字典。如果为 False，则返回一个元组。
kwargs (可选) — 关键字参数字典。

Owlv2Config 是用于存储 Owlv2Model 配置的配置类。它用于根据指定的参数实例化一个 OWLv2 模型，定义文本模型和视觉模型的配置。使用默认值实例化配置将产生与 OWLv2 google/owlv2-base-patch16 架构类似的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请阅读 PretrainedConfig 的文档。

from_text_vision_configs

< 源码 >

( text_config: dict vision_config: dict **kwargs ) → Owlv2Config

Owlv2Config

一个配置对象的实例

根据 owlv2 文本模型配置和 owlv2 视觉模型配置实例化一个 Owlv2Config（或其派生类）。

Owlv2TextConfig

class transformers.Owlv2TextConfig

< 源码 >

( vocab_size = 49408 hidden_size = 512 intermediate_size = 2048 num_hidden_layers = 12 num_attention_heads = 8 max_position_embeddings = 16 hidden_act = 'quick_gelu' layer_norm_eps = 1e-05 attention_dropout = 0.0 initializer_range = 0.02 initializer_factor = 1.0 pad_token_id = 0 bos_token_id = 49406 eos_token_id = 49407 **kwargs )

参数

vocab_size (int, 可选, 默认为 49408) — OWLv2 文本模型的词汇表大小。定义了在调用 Owlv2TextModel 时传递的 inputs_ids 可以表示的不同 token 的数量。
hidden_size (int, 可选, 默认为 512) — 编码器层和池化层的维度。
intermediate_size (int, 可选, 默认为 2048) — Transformer 编码器中“中间”（即前馈）层的维度。
num_hidden_layers (int, 可选, 默认为 12) — Transformer 编码器中的隐藏层数量。
num_attention_heads (int, 可选, 默认为 8) — Transformer 编码器中每个注意力层的注意力头数量。
max_position_embeddings (int, 可选, 默认为 16) — 该模型可能使用的最大序列长度。通常将其设置为较大的值以防万一（例如 512、1024 或 2048）。
hidden_act (str 或 function, 可选, 默认为 "quick_gelu") — 编码器和池化层中的非线性激活函数（函数或字符串）。如果为字符串，则支持 "gelu"、"relu"、"selu"、"gelu_new" 和 "quick_gelu"。
layer_norm_eps (float, 可选, 默认为 1e-05) — 层归一化层使用的 epsilon 值。
attention_dropout (float, 可选, 默认为 0.0) — 注意力概率的 dropout 比率。
initializer_range (float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。
initializer_factor (float, 可选, 默认为 1.0) — 初始化所有权重矩阵的因子（应保持为 1，用于内部初始化测试）。
pad_token_id (int, 可选, 默认为 0) — 输入序列中填充 token 的 id。
bos_token_id (int, 可选, 默认为 49406) — 输入序列中序列开始 token 的 id。
eos_token_id (int, 可选, 默认为 49407) — 输入序列中序列结束 token 的 id。

这是用于存储 Owlv2TextModel 配置的配置类。它用于根据指定的参数实例化一个 Owlv2 文本编码器，定义模型架构。使用默认值实例化配置将产生与 Owlv2 google/owlv2-base-patch16 架构类似的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请阅读 PretrainedConfig 的文档。

示例

>>> from transformers import Owlv2TextConfig, Owlv2TextModel

>>> # Initializing a Owlv2TextModel with google/owlv2-base-patch16 style configuration
>>> configuration = Owlv2TextConfig()

>>> # Initializing a Owlv2TextConfig from the google/owlv2-base-patch16 style configuration
>>> model = Owlv2TextModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

Owlv2VisionConfig

class transformers.Owlv2VisionConfig

< 源码 >

( hidden_size = 768 intermediate_size = 3072 num_hidden_layers = 12 num_attention_heads = 12 num_channels = 3 image_size = 768 patch_size = 16 hidden_act = 'quick_gelu' layer_norm_eps = 1e-05 attention_dropout = 0.0 initializer_range = 0.02 initializer_factor = 1.0 **kwargs )

参数

hidden_size (int, 可选, 默认为 768) — 编码器层和池化层的维度。
intermediate_size (int, 可选, 默认为 3072) — Transformer 编码器中“中间”（即前馈）层的维度。
num_hidden_layers (int, 可选, 默认为 12) — Transformer 编码器中的隐藏层数量。
num_attention_heads (int, 可选, 默认为 12) — Transformer 编码器中每个注意力层的注意力头数量。
num_channels (int, 可选, 默认为 3) — 输入图像中的通道数。
image_size (int, 可选, 默认为 768) — 每个图像的大小（分辨率）。
patch_size (int, 可选, 默认为 16) — 每个补丁（patch）的大小（分辨率）。
hidden_act (str or function, 可选, 默认为 "quick_gelu") — 编码器和池化器中的非线性激活函数（函数或字符串）。如果为字符串，支持 "gelu"、"relu"、"selu"、"gelu_new" 和 "quick_gelu"。
layer_norm_eps (float, 可选, 默认为 1e-05) — 层归一化层使用的 epsilon 值。
attention_dropout (float, 可选, 默认为 0.0) — 注意力概率的 dropout 比率。
initializer_range (float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。
initializer_factor (float, 可选, 默认为 1.0) — 用于初始化所有权重矩阵的因子（应保持为 1，内部用于初始化测试）。

这是用于存储 Owlv2VisionModel 配置的配置类。它根据指定的参数实例化一个 OWLv2 图像编码器，定义模型架构。使用默认值实例化配置将产生与 OWLv2 google/owlv2-base-patch16 架构相似的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请阅读 PretrainedConfig 的文档。

示例

>>> from transformers import Owlv2VisionConfig, Owlv2VisionModel

>>> # Initializing a Owlv2VisionModel with google/owlv2-base-patch16 style configuration
>>> configuration = Owlv2VisionConfig()

>>> # Initializing a Owlv2VisionModel model from the google/owlv2-base-patch16 style configuration
>>> model = Owlv2VisionModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

Transformers

OWLv2

概述

用法示例

资源

Owlv2Config

class transformers.Owlv2Config

from_text_vision_configs

Owlv2TextConfig

class transformers.Owlv2TextConfig

Owlv2VisionConfig

class transformers.Owlv2VisionConfig

Owlv2ImageProcessor

class transformers.Owlv2ImageProcessor

preprocess

post_process_object_detection

post_process_image_guided_detection

Owlv2Processor

class transformers.Owlv2Processor

__call__

post_process_grounded_object_detection

post_process_image_guided_detection

Owlv2Model

class transformers.Owlv2Model

forward

get_text_features

get_image_features

Owlv2TextModel

class transformers.Owlv2TextModel

forward

Owlv2VisionModel

class transformers.Owlv2VisionModel

forward

Owlv2ForObjectDetection

class transformers.Owlv2ForObjectDetection

forward

image_guided_detection

call