Transformers 文档

OWLv2

Transformers

加入Hugging Face社区

并获取增强型文档体验

协作模型、数据集和空间

使用加速推理加快示例速度

在文档主题之间切换

开始使用

OWLv2

概述

OWLv2 在 Matthias Minderer、Alexey Gritsenko 和 Neil Houlsby 的论文 Scaling Open-Vocabulary Object Detection 中被提出。OWLv2 使用自训练扩展了 OWL-ViT，该方法利用现有的检测器在图像-文本对上生成伪框标注。这使得零样本目标检测的性能大幅超越了之前最先进的技术。

论文摘要如下：

开放词汇目标检测受益于预训练的视觉-语言模型，但仍然受到可用检测训练数据量的限制。虽然可以通过使用网络图像-文本对作为弱监督来扩展检测训练数据，但这尚未达到与图像级预训练相当的规模。在这里，我们使用自训练来扩展检测数据，该方法利用现有的检测器在图像-文本对上生成伪框标注。自训练扩展面临的主要挑战包括标签空间的选择、伪标注过滤和训练效率。我们提出了 OWLv2 模型和 OWL-ST 自训练方案，以解决这些挑战。OWLv2 在可比的训练规模（约 1000 万个示例）下就超越了之前最先进的开放词汇检测器的性能。然而，通过 OWL-ST，我们可以扩展到超过 10 亿个示例，从而带来进一步的显著改进：使用 L/14 架构，OWL-ST 在 LVIS 稀有类别的 AP 上取得了改进，模型从未见过这些类别的任何人工框标注，从 31.2% 提高到 44.6%（相对提高 43%）。OWL-ST 为开放世界定位解锁了网络规模训练，类似于图像分类和语言建模领域所取得的成果。

OWLv2 高级概述。摘自原始论文。

该模型由 nielsr 贡献。原始代码可以在这里找到这里。

使用示例

OWLv2 与其前身 OWL-ViT 一样，是一个零样本文本条件目标检测模型。OWL-ViT 使用 CLIP 作为其多模态骨干网络，并使用类似 ViT 的 Transformer 获取视觉特征，以及使用因果语言模型获取文本特征。为了使用 CLIP 进行检测，OWL-ViT 去除了视觉模型的最终 token 池化层，并在每个 Transformer 输出 token 上附加了一个轻量级的分类和框头。通过用从文本模型获得的类名嵌入替换固定的分类层权重，实现了开放词汇分类。作者首先从头开始训练 CLIP，然后使用二分匹配损失在标准检测数据集上对其进行端到端微调，并使用分类和框头。可以使用一个或多个图像的文本查询来执行零样本文本条件目标检测。

Owlv2ImageProcessor 可用于调整图像大小（或重新缩放）并为模型标准化图像，而 CLIPTokenizer 用于编码文本。 Owlv2Processor 将 Owlv2ImageProcessor 和 CLIPTokenizer 封装到一个实例中，以同时编码文本和准备图像。以下示例显示了如何使用 Owlv2Processor 和 Owlv2ForObjectDetection 执行目标检测。

>>> import requests
>>> from PIL import Image
>>> import torch

>>> from transformers import Owlv2Processor, Owlv2ForObjectDetection

>>> processor = Owlv2Processor.from_pretrained("google/owlv2-base-patch16-ensemble")
>>> model = Owlv2ForObjectDetection.from_pretrained("google/owlv2-base-patch16-ensemble")

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)
>>> texts = [["a photo of a cat", "a photo of a dog"]]
>>> inputs = processor(text=texts, images=image, return_tensors="pt")
>>> outputs = model(**inputs)

>>> # Target image sizes (height, width) to rescale box predictions [batch_size, 2]
>>> target_sizes = torch.Tensor([image.size[::-1]])
>>> # Convert outputs (bounding boxes and class logits) to Pascal VOC Format (xmin, ymin, xmax, ymax)
>>> results = processor.post_process_object_detection(outputs=outputs, target_sizes=target_sizes, threshold=0.1)
>>> i = 0  # Retrieve predictions for the first image for the corresponding text queries
>>> text = texts[i]
>>> boxes, scores, labels = results[i]["boxes"], results[i]["scores"], results[i]["labels"]
>>> for box, score, label in zip(boxes, scores, labels):
...     box = [round(i, 2) for i in box.tolist()]
...     print(f"Detected {text[label]} with confidence {round(score.item(), 3)} at location {box}")
Detected a photo of a cat with confidence 0.614 at location [341.67, 23.39, 642.32, 371.35]
Detected a photo of a cat with confidence 0.665 at location [6.75, 51.96, 326.62, 473.13]

资源

可以在这里找到一个关于使用 OWLv2 进行零样本和单样本（图像引导）目标检测的演示笔记本。
零样本目标检测任务指南

OWLv2 的架构与 OWL-ViT 相同，但是目标检测头现在还包括一个目标性分类器，该分类器预测预测框包含目标（而不是背景）的（与查询无关的）可能性。目标性分数可用于根据文本查询独立地对预测进行排序或过滤。OWLv2 的使用方法与 OWL-ViT 相同，但使用了一个新的、更新的图像处理器（Owlv2ImageProcessor）。

Transformers

OWLv2

概述

使用示例

资源

Owlv2Config

类 transformers.Owlv2Config

from_text_vision_configs

Owlv2TextConfig

类 transformers.Owlv2TextConfig

Owlv2VisionConfig

类 transformers.Owlv2VisionConfig

Owlv2ImageProcessor

类 transformers.Owlv2ImageProcessor

预处理

post_process_object_detection

post_process_image_guided_detection

Owlv2Processor

类 transformers.Owlv2Processor

batch_decode

decode

post_process_image_guided_detection

post_process_object_detection

Owlv2Model

类 transformers.Owlv2Model

前向传播

get_text_features

get_image_features

Owlv2TextModel

类 transformers.Owlv2TextModel

前向传播

Owlv2VisionModel

类 transformers.Owlv2VisionModel

前向传播

Owlv2ForObjectDetection

类 transformers.Owlv2ForObjectDetection

前向传播

图像引导检测