SigLIP2

概述

SigLIP2 模型在 SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features 中被提出，作者为 Michael Tschannen, Alexey Gritsenko, Xiao Wang, Muhammad Ferjad Naeem, Ibrahim Alabdulmohsin, Nikhil Parthasarathy, Talfan Evans, Lucas Beyer, Ye Xia, Basil Mustafa, Olivier Hénaff, Jeremiah Harmsen, Andreas Steiner 和 Xiaohua Zhai。

该模型有两个变体

1) FixRes - 模型使用固定分辨率图像（向后兼容 SigLIP v1） 2) NaFlex - 模型使用可变图像宽高比和分辨率（transformers 中的 SigLIP2）

论文摘要如下

我们介绍了 SigLIP 2，这是一个新的多语言视觉-语言编码器系列，它建立在原始 SigLIP 的成功之上。在第二次迭代中，我们将原始的图像-文本训练目标与几种先前独立开发的技术扩展到一个统一的配方中——这包括基于解码器的预训练、自监督损失（自蒸馏、掩码预测）和在线数据管理。通过这些更改，SigLIP 2 模型在所有模型规模上都优于其 SigLIP 对等模型，其核心能力包括零样本分类（最佳 SigLIP 2 ViT-g/16 实现了 85.0% 的 ImageNet 零样本准确率）、图像-文本检索以及在为视觉-语言模型 (VLM) 提取视觉表示时的迁移性能。此外，新的训练配方显着提高了定位和密集预测任务的性能。我们还训练了支持多种分辨率并保留输入原始宽高比的变体。最后，我们使用更多样化的数据混合进行训练，其中包括去偏见技术，从而大大提高了多语言理解能力和改进的公平性。为了让用户能够在推理成本和性能之间进行权衡，我们发布了四种尺寸的模型检查点（ViT-B/86M、L/303M、So400m/400M 和 g/1B）。

使用技巧

SigLIP2 的使用方式与 SigLIP 和 CLIP 类似。与 CLIP 的主要区别在于训练损失，后者不需要全局视图来了解批次内图像和文本的所有成对相似性。需要将 sigmoid 激活函数应用于 logits，而不是 softmax。
支持训练，但不使用 torch.distributed 实用程序，这可能会限制批次大小的可扩展性。但是，DDP 和 FDSP 在单节点多 GPU 设置上有效。
当使用独立的 GemmaTokenizerFast 时，请确保传递 padding="max_length" 和 max_length=64，因为模型就是这样训练的。
模型使用小写文本进行训练，请确保对文本标签进行相同的预处理。
为了获得与 pipeline 相同的结果，应使用 “this is a photo of {label}” 的提示模板。
NaFlex 变体通过调整 Processor 中的 max_num_patches 参数，支持以更高分辨率处理图像。默认值为 max_num_patches=256。将 max_num_patches 增加到 1024 (4x) 将大致使处理后的图像高度和宽度翻倍，同时保持宽高比。

此模型由 qubvel 贡献。原始代码可以在这里找到。

使用示例

使用 SigLIP2 主要有两种方式：使用 pipeline API，它可以为您抽象化所有复杂性；或者自己使用 Siglip2Model 类。

FixRes 变体

Pipeline API

pipeline 允许您用几行代码使用模型

>>> from transformers import pipeline
>>> from PIL import Image
>>> import requests

>>> # load pipe
>>> image_classifier = pipeline(
...     task="zero-shot-image-classification",
...     model="google/siglip2-base-patch16-224",
... )

>>> # load image
>>> url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> # inference
>>> candidate_labels = ["2 cats", "a plane", "a remote"]
>>> outputs = image_classifier(image, candidate_labels=candidate_labels)
>>> outputs = [{"score": round(output["score"], 4), "label": output["label"] } for output in outputs]
>>> print(outputs)
[{'score': 0.1499, 'label': '2 cats'}, {'score': 0.0008, 'label': 'a remote'}, {'score': 0.0, 'label': 'a plane'}]

自己使用模型

如果您想自己进行预处理和后处理，请按以下步骤操作

>>> from PIL import Image
>>> import requests
>>> from transformers import AutoProcessor, AutoModel
>>> import torch

>>> model = AutoModel.from_pretrained("google/siglip2-base-patch16-224")
>>> processor = AutoProcessor.from_pretrained("google/siglip2-base-patch16-224")

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> candidate_labels = ["2 cats", "2 dogs"]
# follows the pipeline prompt template to get same results
>>> texts = [f"This is a photo of {label}." for label in candidate_labels]

# IMPORTANT: we pass `padding=max_length` and `max_length=64` since the model was trained with this
>>> inputs = processor(text=texts, images=image, padding="max_length", max_length=64, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> logits_per_image = outputs.logits_per_image
>>> probs = torch.sigmoid(logits_per_image) # these are the probabilities
>>> print(f"{probs[0][0]:.1%} that image 0 is '{candidate_labels[0]}'")
15.0% that image 0 is '2 cats'

NaFlex 变体

NaFlex 结合了 FlexiViT 的思想，即使用单个 ViT 模型支持多个预定义的序列长度，以及 NaViT，即以其原始宽高比处理图像。这使得能够以适当的分辨率处理不同类型的图像，例如，使用更大的分辨率来处理文档图像，同时最大限度地减少宽高比失真对某些推理任务（例如 OCR）的影响。

给定补丁大小和目标序列长度，NaFlex 通过首先调整输入图像的大小来预处理数据，使得调整大小后的高度和宽度是补丁大小的倍数，同时

尽可能保持宽高比失真最小
产生最大长度为所需目标序列长度 (max_num_patches) 的序列长度

宽度和高度的最终失真分别最多为 (patch_size - 1) / width 和 (patch_size - 1) / height，这对于常见分辨率和宽高比来说往往很小。调整大小后，图像被分成一系列补丁，并添加带有填充信息的掩码。

>>> from PIL import Image
>>> import requests
>>> from transformers import AutoProcessor, AutoModel
>>> import torch

>>> model = AutoModel.from_pretrained("google/siglip2-base-patch16-naflex")
>>> processor = AutoProcessor.from_pretrained("google/siglip2-base-patch16-naflex")

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> candidate_labels = ["2 cats", "2 dogs"]
# follows the pipeline prompt template to get same results
>>> texts = [f"This is a photo of {label}." for label in candidate_labels]

# default value for `max_num_patches` is 256, but you can increase resulted image resolution providing
# higher values e.g. `max_num_patches=512`
>>> inputs = processor(text=texts, images=image, max_num_patches=256, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> logits_per_image = outputs.logits_per_image
>>> probs = torch.sigmoid(logits_per_image) # these are the probabilities
>>> print(f"{probs[0][0]:.1%} that image 0 is '{candidate_labels[0]}'")
21.1% that image 0 is '2 cats'

资源

Hugging Face 官方和社区（标有 🌎）资源列表，可帮助您开始使用 SigLIP2。

零样本图像分类任务指南
SigLIP2 的演示 notebook 可以在这里找到。 🌎

如果您有兴趣提交资源以包含在此处，请随时打开 Pull Request，我们将对其进行审核！该资源应理想地展示一些新的东西，而不是复制现有资源。

结合 SigLIP2 和 Flash Attention 2

首先，请确保安装最新版本的 Flash Attention 2。

pip install -U flash-attn --no-build-isolation

还要确保您的硬件与 Flash-Attention 2 兼容。有关更多信息，请阅读 flash-attn 存储库的官方文档。还要确保以半精度加载模型（例如 torch.float16“）

要加载和运行使用 Flash Attention 2 的模型，请参考下面的代码片段

>>> import torch
>>> import requests
>>> from PIL import Image
>>> from transformers import AutoProcessor, AutoModel
>>> device = "cuda" # the device to load the model onto

>>> model = AutoModel.from_pretrained(
...     "google/siglip2-so400m-patch14-384",
...     attn_implementation="flash_attention_2",
...     torch_dtype=torch.float16,
...     device_map=device,
... )
>>> processor = AutoProcessor.from_pretrained("google/siglip2-so400m-patch14-384")

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> candidate_labels = ["2 cats", "2 dogs"]
# follows the pipeline prompt template to get same results
>>> texts = [f'This is a photo of {label}.' for label in candidate_labels]
# important: we pass `padding=max_length` since the model was trained with this
>>> inputs = processor(text=texts, images=image, padding="max_length", return_tensors="pt").to(device)

>>> with torch.no_grad():
...     with torch.autocast(device):
...         outputs = model(**inputs)

>>> logits_per_image = outputs.logits_per_image
>>> probs = torch.sigmoid(logits_per_image) # these are the probabilities
>>> print(f"{probs[0][0]:.1%} that image 0 is '{candidate_labels[0]}'")
19.8% that image 0 is '2 cats'

Transformers

SigLIP2

概述

使用技巧

使用示例

FixRes 变体

NaFlex 变体

资源

结合 SigLIP2 和 Flash Attention 2

Siglip2Config

class transformers.Siglip2Config

from_text_vision_configs

Siglip2TextConfig

class transformers.Siglip2TextConfig

Siglip2VisionConfig

class transformers.Siglip2VisionConfig

Siglip2ImageProcessor

class transformers.Siglip2ImageProcessor

preprocess

Siglip2ImageProcessorFast

class transformers.Siglip2ImageProcessorFast

preprocess

Siglip2Processor

class transformers.Siglip2Processor

batch_decode

decode

Siglip2Model

class transformers.Siglip2Model

forward

get_text_features

get_image_features

Siglip2TextModel

class transformers.Siglip2TextModel

forward

Siglip2VisionModel

class transformers.Siglip2VisionModel

forward

Siglip2ForImageClassification

class transformers.Siglip2ForImageClassification

forward