零样本目标检测
传统上，用于目标检测的模型需要使用标记的图像数据集进行训练，并且仅限于检测训练数据中的类别集。
OWL-ViT模型支持零样本目标检测，它使用了一种不同的方法。OWL-ViT是一个开放词汇目标检测器。这意味着它可以根据自由文本查询检测图像中的对象，而无需在标记的数据集上微调模型。
OWL-ViT利用多模态表示来执行开放词汇检测。它将CLIP与轻量级目标分类和定位头部相结合。开放词汇检测是通过使用CLIP的文本编码器嵌入自由文本查询并将它们作为目标分类和定位头的输入来实现的，这些头部将图像与其相应的文本描述相关联，而ViT则将图像块作为输入进行处理。OWL-ViT的作者首先从头开始训练CLIP，然后在标准目标检测数据集上使用二分匹配损失端到端微调OWL-ViT。
通过这种方法，模型可以在没有在标记数据集上进行预训练的情况下，根据文本描述检测对象。
在本指南中，您将学习如何使用OWL-ViT
- 根据文本提示检测对象
- 进行批量目标检测
- 进行图像引导的目标检测
在开始之前，请确保已安装所有必要的库
pip install -q transformers
零样本目标检测流程
尝试使用OWL-ViT进行推理的最简单方法是在pipeline()中使用它。从Hugging Face Hub上的检查点实例化一个用于零样本目标检测的管道。
>>> from transformers import pipeline
>>> checkpoint = "google/owlv2-base-patch16-ensemble"
>>> detector = pipeline(model=checkpoint, task="zero-shot-object-detection")接下来，选择一张您想要检测其中对象的图像。这里我们将使用宇航员艾琳·柯林斯的图像，该图像是NASA精彩图像数据集的一部分。
>>> import skimage
>>> import numpy as np
>>> from PIL import Image
>>> image = skimage.data.astronaut()
>>> image = Image.fromarray(np.uint8(image)).convert("RGB")
>>> image
将图像和要查找的候选对象标签传递给管道。这里我们直接传递图像；其他合适的选项包括图像的本地路径或图像URL。我们还传递了我们想要查询图像的所有项目的文本描述。
>>> predictions = detector(
... image,
... candidate_labels=["human face", "rocket", "nasa badge", "star-spangled banner"],
... )
>>> predictions
[{'score': 0.3571370542049408,
'label': 'human face',
'box': {'xmin': 180, 'ymin': 71, 'xmax': 271, 'ymax': 178}},
{'score': 0.28099656105041504,
'label': 'nasa badge',
'box': {'xmin': 129, 'ymin': 348, 'xmax': 206, 'ymax': 427}},
{'score': 0.2110239565372467,
'label': 'rocket',
'box': {'xmin': 350, 'ymin': -1, 'xmax': 468, 'ymax': 288}},
{'score': 0.13790413737297058,
'label': 'star-spangled banner',
'box': {'xmin': 1, 'ymin': 1, 'xmax': 105, 'ymax': 509}},
{'score': 0.11950037628412247,
'label': 'nasa badge',
'box': {'xmin': 277, 'ymin': 338, 'xmax': 327, 'ymax': 380}},
{'score': 0.10649408400058746,
'label': 'rocket',
'box': {'xmin': 358, 'ymin': 64, 'xmax': 424, 'ymax': 280}}]让我们可视化预测结果
>>> from PIL import ImageDraw
>>> draw = ImageDraw.Draw(image)
>>> for prediction in predictions:
... box = prediction["box"]
... label = prediction["label"]
... score = prediction["score"]
... xmin, ymin, xmax, ymax = box.values()
... draw.rectangle((xmin, ymin, xmax, ymax), outline="red", width=1)
... draw.text((xmin, ymin), f"{label}: {round(score,2)}", fill="white")
>>> image
手动进行文本提示的零样本目标检测
既然您已经了解了如何使用零样本目标检测管道，那么让我们手动复制相同的结果。
首先从Hugging Face Hub上的检查点加载模型和关联的处理器。这里我们将使用与之前相同的检查点。
>>> from transformers import AutoProcessor, AutoModelForZeroShotObjectDetection
>>> model = AutoModelForZeroShotObjectDetection.from_pretrained(checkpoint)
>>> processor = AutoProcessor.from_pretrained(checkpoint)让我们换一张不同的图片来改变一下。
>>> import requests
>>> url = "https://unsplash.com/photos/oj0zeY2Ltk4/download?ixid=MnwxMjA3fDB8MXxzZWFyY2h8MTR8fHBpY25pY3xlbnwwfHx8fDE2Nzc0OTE1NDk&force=true&w=640"
>>> im = Image.open(requests.get(url, stream=True).raw)
>>> im
使用处理器准备模型的输入。处理器结合了图像处理器（通过调整大小和归一化来为模型准备图像）和CLIPTokenizer（处理文本输入）。
>>> text_queries = ["hat", "book", "sunglasses", "camera"]
>>> inputs = processor(text=text_queries, images=im, return_tensors="pt")将输入传递给模型，进行后处理并可视化结果。由于图像处理器在将图像馈送到模型之前已调整了图像大小，因此您需要使用post_process_object_detection()方法以确保预测的边界框相对于原始图像具有正确的坐标。
>>> import torch
>>> with torch.no_grad():
... outputs = model(**inputs)
... target_sizes = torch.tensor([im.size[::-1]])
... results = processor.post_process_object_detection(outputs, threshold=0.1, target_sizes=target_sizes)[0]
>>> draw = ImageDraw.Draw(im)
>>> scores = results["scores"].tolist()
>>> labels = results["labels"].tolist()
>>> boxes = results["boxes"].tolist()
>>> for box, score, label in zip(boxes, scores, labels):
... xmin, ymin, xmax, ymax = box
... draw.rectangle((xmin, ymin, xmax, ymax), outline="red", width=1)
... draw.text((xmin, ymin), f"{text_queries[label]}: {round(score,2)}", fill="white")
>>> im
批量处理
您可以传递多组图像和文本查询，以在多张图像中搜索不同的（或相同的）对象。让我们同时使用宇航员图像和海滩图像。对于批量处理，您应该将文本查询作为嵌套列表传递给处理器，并将图像作为PIL图像、PyTorch张量或NumPy数组的列表传递。
>>> images = [image, im]
>>> text_queries = [
... ["human face", "rocket", "nasa badge", "star-spangled banner"],
... ["hat", "book", "sunglasses", "camera"],
... ]
>>> inputs = processor(text=text_queries, images=images, return_tensors="pt")之前，对于后处理，您将单个图像的大小作为张量传递，但您也可以传递元组，或者在多个图像的情况下，传递元组列表。让我们为这两个示例创建预测，并可视化第二个示例（image_idx = 1）。
>>> with torch.no_grad():
... outputs = model(**inputs)
... target_sizes = [x.size[::-1] for x in images]
... results = processor.post_process_object_detection(outputs, threshold=0.1, target_sizes=target_sizes)
>>> image_idx = 1
>>> draw = ImageDraw.Draw(images[image_idx])
>>> scores = results[image_idx]["scores"].tolist()
>>> labels = results[image_idx]["labels"].tolist()
>>> boxes = results[image_idx]["boxes"].tolist()
>>> for box, score, label in zip(boxes, scores, labels):
... xmin, ymin, xmax, ymax = box
... draw.rectangle((xmin, ymin, xmax, ymax), outline="red", width=1)
... draw.text((xmin, ymin), f"{text_queries[image_idx][label]}: {round(score,2)}", fill="white")
>>> images[image_idx]图像引导的目标检测
除了使用文本查询进行零样本目标检测之外，OWL-ViT还提供了图像引导的目标检测。这意味着您可以使用图像查询在目标图像中查找类似的对象。与文本查询不同，只允许使用单个示例图像。
让我们以一张沙发上有两只猫的图像作为目标图像，并以一张单猫的图像作为查询。
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image_target = Image.open(requests.get(url, stream=True).raw)
>>> query_url = "http://images.cocodataset.org/val2017/000000524280.jpg"
>>> query_image = Image.open(requests.get(query_url, stream=True).raw)让我们快速浏览一下这些图像。
>>> import matplotlib.pyplot as plt
>>> fig, ax = plt.subplots(1, 2)
>>> ax[0].imshow(image_target)
>>> ax[1].imshow(query_image)
在预处理步骤中，您现在需要使用query_images而不是文本查询。
>>> inputs = processor(images=image_target, query_images=query_image, return_tensors="pt")对于预测，您现在需要将输入传递给image_guided_detection()，而不是传递给模型。绘制预测结果，就像之前一样，只是现在没有标签。
>>> with torch.no_grad():
... outputs = model.image_guided_detection(**inputs)
... target_sizes = torch.tensor([image_target.size[::-1]])
... results = processor.post_process_image_guided_detection(outputs=outputs, target_sizes=target_sizes)[0]
>>> draw = ImageDraw.Draw(image_target)
>>> scores = results["scores"].tolist()
>>> boxes = results["boxes"].tolist()
>>> for box, score, label in zip(boxes, scores, labels):
... xmin, ymin, xmax, ymax = box
... draw.rectangle((xmin, ymin, xmax, ymax), outline="white", width=4)
>>> image_target