Transformers 文档

OWL-ViT

Transformers

加入 Hugging Face 社区

并获得增强的文档体验

协作开发模型、数据集和空间

通过加速推理获得更快的示例

切换文档主题

开始使用

OWL-ViT

概述

OWL-ViT（开放世界定位视觉Transformer的缩写）是由 Matthias Minderer、Alexey Gritsenko、Austin Stone、Maxim Neumann、Dirk Weissenborn、Alexey Dosovitskiy、Aravindh Mahendran、Anurag Arnab、Mostafa Dehghani、Zhuoran Shen、Xiao Wang、Xiaohua Zhai、Thomas Kipf 和 Neil Houlsby 在使用视觉Transformer进行简单的开放词汇目标检测中提出的。OWL-ViT 是一个开放词汇目标检测网络，在各种（图像、文本）对上进行训练。它可以用于使用一个或多个文本查询来查询图像，以搜索和检测文本中描述的目标对象。

该论文的摘要是这样的：

将简单的架构与大规模预训练相结合，已经大大改进了图像分类。对于目标检测来说，预训练和缩放方法还没有那么成熟，特别是在长尾和开放词汇环境中，训练数据相对稀缺。在本文中，我们提出了一种将图像-文本模型迁移到开放词汇目标检测的强有力方法。我们使用标准的视觉Transformer架构，并进行最小的修改、对比图像-文本预训练和端到端检测微调。我们对这种设置的缩放特性的分析表明，增加图像级预训练和模型大小可以持续改进下游检测任务。我们提供了实现零样本文本条件和单样本图像条件目标检测所需的自适应策略和正则化方法。代码和模型可在 GitHub 上获得。

OWL-ViT 架构。取自原始论文。

此模型由 adirik 贡献。原始代码可以在此处找到。

使用技巧

OWL-ViT 是一个零样本文本条件目标检测模型。OWL-ViT 使用 CLIP 作为其多模态骨干网络，使用类似 ViT 的 Transformer 来获取视觉特征，并使用因果语言模型来获取文本特征。为了将 CLIP 用于检测，OWL-ViT 删除了视觉模型的最终标记池化层，并将轻量级分类和框头附加到每个 Transformer 输出标记上。通过将固定的分类层权重替换为从文本模型获得的类名嵌入，可以实现开放词汇分类。作者首先从头开始训练 CLIP，并在标准检测数据集上使用二分匹配损失对分类和框头进行端到端微调。每个图像可以使用一个或多个文本查询来执行零样本文本条件目标检测。

OwlViTImageProcessor 可以用于调整图像大小（或重新缩放）并为模型规范化图像，而 CLIPTokenizer 用于编码文本。OwlViTProcessor 将 OwlViTImageProcessor 和 CLIPTokenizer 封装到一个实例中，以同时编码文本和准备图像。以下示例展示了如何使用 OwlViTProcessor 和 OwlViTForObjectDetection 执行目标检测。

>>> import requests
>>> from PIL import Image
>>> import torch

>>> from transformers import OwlViTProcessor, OwlViTForObjectDetection

>>> processor = OwlViTProcessor.from_pretrained("google/owlvit-base-patch32")
>>> model = OwlViTForObjectDetection.from_pretrained("google/owlvit-base-patch32")

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)
>>> texts = [["a photo of a cat", "a photo of a dog"]]
>>> inputs = processor(text=texts, images=image, return_tensors="pt")
>>> outputs = model(**inputs)

>>> # Target image sizes (height, width) to rescale box predictions [batch_size, 2]
>>> target_sizes = torch.Tensor([image.size[::-1]])
>>> # Convert outputs (bounding boxes and class logits) to Pascal VOC format (xmin, ymin, xmax, ymax)
>>> results = processor.post_process_object_detection(outputs=outputs, target_sizes=target_sizes, threshold=0.1)
>>> i = 0  # Retrieve predictions for the first image for the corresponding text queries
>>> text = texts[i]
>>> boxes, scores, labels = results[i]["boxes"], results[i]["scores"], results[i]["labels"]
>>> for box, score, label in zip(boxes, scores, labels):
...     box = [round(i, 2) for i in box.tolist()]
...     print(f"Detected {text[label]} with confidence {round(score.item(), 3)} at location {box}")
Detected a photo of a cat with confidence 0.707 at location [324.97, 20.44, 640.58, 373.29]
Detected a photo of a cat with confidence 0.717 at location [1.46, 55.26, 315.55, 472.17]

资源

可以在此处找到关于使用 OWL-ViT 进行零样本和单样本（图像引导）目标检测的演示笔记本。

OwlViTConfig

类 transformers.OwlViTConfig

< 源代码 >

( text_config = None vision_config = None projection_dim = 512 logit_scale_init_value = 2.6592 return_dict = True **kwargs )

参数

text_config (dict, 可选) — 用于初始化 OwlViTTextConfig 的配置选项字典。
vision_config (dict, 可选) — 用于初始化 OwlViTVisionConfig 的配置选项字典。
projection_dim (int, 可选, 默认值为 512) — 文本和视觉投影层的维度。
logit_scale_init_value (float, 可选, 默认值为 2.6592) — logit_scale 参数的初始值。默认值与原始 OWL-ViT 实现中使用的一致。
return_dict (bool, 可选, 默认值为 True) — 模型是否应返回字典。如果为 False，则返回元组。
kwargs (可选) — 关键字参数字典。

OwlViTConfig 是用于存储 OwlViTModel 配置的配置类。它用于根据指定的参数实例化 OWL-ViT 模型，定义文本模型和视觉模型的配置。使用默认值实例化配置将产生与 OWL-ViT google/owlvit-base-patch32 架构类似的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请阅读 PretrainedConfig 的文档。

from_text_vision_configs

< 源代码 >

( text_config: Dict vision_config: Dict **kwargs ) → OwlViTConfig

OwlViTConfig

配置对象的实例

从 owlvit 文本模型配置和 owlvit 视觉模型配置实例化 OwlViTConfig（或派生类）。

OwlViTTextConfig

类 transformers.OwlViTTextConfig

< 源代码 >

( vocab_size = 49408 hidden_size = 512 intermediate_size = 2048 num_hidden_layers = 12 num_attention_heads = 8 max_position_embeddings = 16 hidden_act = 'quick_gelu' layer_norm_eps = 1e-05 attention_dropout = 0.0 initializer_range = 0.02 initializer_factor = 1.0 pad_token_id = 0 bos_token_id = 49406 eos_token_id = 49407 **kwargs )

参数

vocab_size (int, 可选, 默认值为 49408) — OWL-ViT 文本模型的词汇表大小。定义了在调用 OwlViTTextModel 时传递的 inputs_ids 可以表示的不同标记的数量。
hidden_size (int, 可选, 默认值为 512) — 编码器层和池化层的维度。
intermediate_size (int, 可选, 默认值为 2048) — Transformer 编码器中“中间”（即前馈）层的维度。
num_hidden_layers (int, 可选, 默认值为 12) — Transformer 编码器中的隐藏层数。
num_attention_heads (int, 可选, 默认值为 8) — Transformer 编码器中每个注意力层的注意力头数。
max_position_embeddings (int, 可选, 默认值为 16) — 此模型可能使用的最大序列长度。通常将其设置为较大的值以防万一（例如 512、1024 或 2048）。
hidden_act (str 或 function, 可选, 默认值为 "quick_gelu") — 编码器和池化器中的非线性激活函数（函数或字符串）。如果是字符串，则支持 "gelu"、"relu"、"selu"、"gelu_new" 和 "quick_gelu"。
layer_norm_eps (float, 可选, 默认值为 1e-05) — 层归一化层使用的 epsilon 值。
attention_dropout (float, 可选, 默认值为 0.0) — 注意力概率的 dropout 比率。
initializer_range (float, 可选, 默认值为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。
initializer_factor (float, 可选, 默认值为 1.0) — 初始化所有权重矩阵的因子 (应保持为 1，在内部用于初始化测试)。
pad_token_id (int, 可选, 默认值为 0) — 输入序列中填充标记的 ID。
bos_token_id (int, 可选, 默认值为 49406) — 输入序列中序列开头标记的 ID。
eos_token_id (int, 可选, 默认值为 49407) — 输入序列中序列结尾标记的 ID。

这是用于存储 OwlViTTextModel 配置的配置类。它用于根据指定的参数实例化 OwlViT 文本编码器，定义模型架构。使用默认值实例化配置将产生与 OwlViT google/owlvit-base-patch32 架构相似的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请阅读 PretrainedConfig 的文档。

示例

>>> from transformers import OwlViTTextConfig, OwlViTTextModel

>>> # Initializing a OwlViTTextModel with google/owlvit-base-patch32 style configuration
>>> configuration = OwlViTTextConfig()

>>> # Initializing a OwlViTTextConfig from the google/owlvit-base-patch32 style configuration
>>> model = OwlViTTextModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

Transformers

OWL-ViT

概述

使用技巧

资源

OwlViTConfig

类 transformers.OwlViTConfig

from_text_vision_configs

OwlViTTextConfig

类 transformers.OwlViTTextConfig

OwlViTVisionConfig

class transformers.OwlViTVisionConfig

OwlViTImageProcessor

类 transformers.OwlViTImageProcessor

预处理

post_process_object_detection

post_process_image_guided_detection

OwlViTFeatureExtractor

类 transformers.OwlViTFeatureExtractor

__call__

post_process

post_process_image_guided_detection

OwlViTProcessor

class transformers.OwlViTProcessor

batch_decode

decode

post_process

post_process_image_guided_detection

post_process_object_detection

OwlViTModel

类 transformers.OwlViTModel

forward

get_text_features

get_image_features

OwlViTTextModel

类 transformers.OwlViTTextModel

forward

OwlViTVisionModel

类 transformers.OwlViTVisionModel

forward

OwlViTForObjectDetection

类 transformers.OwlViTForObjectDetection

forward

image_guided_detection

call