SigLIP

概述

SigLIP 模型由 Xiaohua Zhai、Basil Mustafa、Alexander Kolesnikov、Lucas Beyer 在 Sigmoid Loss for Language Image Pre-Training 中提出。SigLIP 建议用一个简单的成对 Sigmoid 损失函数替换 CLIP 中使用的损失函数。这在 ImageNet 上的零样本分类准确率方面带来了更好的性能。

论文摘要如下：

我们为语言-图像预训练 (SigLIP) 提出了一种简单的成对 Sigmoid 损失。与使用 Softmax 归一化的标准对比学习不同，Sigmoid 损失仅对图像-文本对进行操作，不需要全局查看成对相似度进行归一化。Sigmoid 损失同时允许进一步扩大批次大小，同时在较小的批次大小下也表现更好。结合锁定图像微调，仅使用四个 TPUv4 芯片，我们训练了一个 SigLiT 模型，在两天内实现了 84.5% 的 ImageNet 零样本准确率。批次大小与损失的解耦进一步使我们能够研究示例与对以及负正比率的影响。最后，我们将批次大小推到极限，达到一百万，发现增加批次大小的好处迅速减少，更合理的批次大小为 32k 就足够了。

使用技巧

SigLIP 的使用方式与 CLIP 类似。主要区别在于训练损失，它不需要全局查看批次内图像和文本的所有成对相似度。需要将 Sigmoid 激活函数应用于 logits，而不是 Softmax。
支持训练，但不使用 torch.distributed 实用程序，这可能会限制批次大小的可扩展性。但是，DDP 和 FDSP 可以在单节点多 GPU 设置上工作。
当使用独立的 SiglipTokenizer 或 SiglipProcessor 时，请确保传递 padding="max_length"，因为模型是这样训练的。
要获得与 pipeline 相同的结果，应使用 “This is a photo of {label}.” 的提示模板。

SigLIP 评估结果与 CLIP 的比较。摘自原始论文。

此模型由 nielsr 贡献。原始代码可以在这里找到。

使用示例

使用 SigLIP 主要有两种方法：使用 pipeline API，它为您抽象化所有复杂性；或者自己使用 SiglipModel 类。

Pipeline API

pipeline 允许使用几行代码即可使用模型

>>> from transformers import pipeline
>>> from PIL import Image
>>> import requests

>>> # load pipe
>>> image_classifier = pipeline(task="zero-shot-image-classification", model="google/siglip-base-patch16-224")

>>> # load image
>>> url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> # inference
>>> candidate_labels = ["2 cats", "a plane", "a remote"]
>>> outputs = image_classifier(image, candidate_labels=candidate_labels)
>>> outputs = [{"score": round(output["score"], 4), "label": output["label"] } for output in outputs]
>>> print(outputs)
[{'score': 0.1979, 'label': '2 cats'}, {'score': 0.0, 'label': 'a remote'}, {'score': 0.0, 'label': 'a plane'}]

自己使用模型

如果您想自己进行预处理和后处理，以下是如何操作的方法

>>> from PIL import Image
>>> import requests
>>> from transformers import AutoProcessor, AutoModel
>>> import torch

>>> model = AutoModel.from_pretrained("google/siglip-base-patch16-224")
>>> processor = AutoProcessor.from_pretrained("google/siglip-base-patch16-224")

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> candidate_labels = ["2 cats", "2 dogs"]
# follows the pipeline prompt template to get same results
>>> texts = [f'This is a photo of {label}.' for label in candidate_labels]
# important: we pass `padding=max_length` since the model was trained with this
>>> inputs = processor(text=texts, images=image, padding="max_length", return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> logits_per_image = outputs.logits_per_image
>>> probs = torch.sigmoid(logits_per_image) # these are the probabilities
>>> print(f"{probs[0][0]:.1%} that image 0 is '{candidate_labels[0]}'")
19.8% that image 0 is '2 cats'

资源

Hugging Face 官方和社区（🌎 表示）资源列表，可帮助您开始使用 SigLIP。

零样本图像分类任务指南
SigLIP 的演示笔记本可以在这里找到。🌎

如果您有兴趣提交资源以包含在此处，请随时打开 Pull Request，我们将对其进行审核！理想情况下，资源应演示一些新的内容，而不是重复现有资源。

结合 SigLIP 和 Flash Attention 2

首先，请确保安装最新版本的 Flash Attention 2。

pip install -U flash-attn --no-build-isolation

还要确保您的硬件与 Flash-Attention 2 兼容。请阅读 flash-attn 仓库的官方文档以了解更多信息。还要确保以半精度加载模型（例如 torch.float16“）。

要加载和运行使用 Flash Attention 2 的模型，请参考以下代码片段

>>> import torch
>>> import requests
>>> from PIL import Image
>>> from transformers import SiglipProcessor, SiglipModel
>>> device = "cuda" # the device to load the model onto

>>> model = SiglipModel.from_pretrained(
...     "google/siglip-so400m-patch14-384",
...     attn_implementation="flash_attention_2",
...     torch_dtype=torch.float16,
...     device_map=device,
... )
>>> processor = SiglipProcessor.from_pretrained("google/siglip-so400m-patch14-384")

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> candidate_labels = ["2 cats", "2 dogs"]
# follows the pipeline prompt template to get same results
>>> texts = [f'This is a photo of {label}.' for label in candidate_labels]
# important: we pass `padding=max_length` since the model was trained with this
>>> inputs = processor(text=texts, images=image, padding="max_length", return_tensors="pt").to(device)

>>> with torch.no_grad():
...     with torch.autocast(device):
...         outputs = model(**inputs)

>>> logits_per_image = outputs.logits_per_image
>>> probs = torch.sigmoid(logits_per_image) # these are the probabilities
>>> print(f"{probs[0][0]:.1%} that image 0 is '{candidate_labels[0]}'")
19.8% that image 0 is '2 cats'

使用缩放点积注意力 (SDPA)

PyTorch 包含一个原生的缩放点积注意力 (SDPA) 运算符，作为 torch.nn.functional 的一部分。此函数包含多种实现，可以根据输入和正在使用的硬件应用。有关更多信息，请参阅官方文档或 GPU 推理页面。

您可以在 from_pretrained() 中设置 attn_implementation="sdpa" 以显式请求使用 SDPA。请确保您已安装 torch>=2.1.1。

>>> from transformers import SiglipModel

>>> model = SiglipModel.from_pretrained(
...     "google/siglip-so400m-patch14-384",
...     attn_implementation="sdpa",
...     torch_dtype=torch.float16,
...     device_map=device,
... )

为了获得最佳加速效果，我们建议以半精度加载模型（例如 torch.float16 或 torch.bfloat16）。

预期加速

以下是预期的加速图，比较了使用 float16 精度下的 google/siglip-so400m-patch14-384 检查点的 transformers 原生实现与模型 Flash Attention 2 / SDPA 版本在不同批次大小下的推理时间。

Transformers

SigLIP

概述

使用技巧

使用示例

Pipeline API

自己使用模型

资源

结合 SigLIP 和 Flash Attention 2

使用缩放点积注意力 (SDPA)

预期加速

SiglipConfig

class transformers.SiglipConfig

from_text_vision_configs

SiglipTextConfig

class transformers.SiglipTextConfig

SiglipVisionConfig

class transformers.SiglipVisionConfig

SiglipTokenizer

class transformers.SiglipTokenizer

build_inputs_with_special_tokens

get_special_tokens_mask

create_token_type_ids_from_sequences

save_vocabulary

SiglipImageProcessor

class transformers.SiglipImageProcessor

preprocess

SiglipImageProcessorFast

class transformers.SiglipImageProcessorFast

preprocess

SiglipProcessor

class transformers.SiglipProcessor

batch_decode

decode

SiglipModel

class transformers.SiglipModel

forward

get_text_features

get_image_features

SiglipTextModel

class transformers.SiglipTextModel

forward

SiglipVisionModel

class transformers.SiglipVisionModel

forward

SiglipForImageClassification

class transformers.SiglipForImageClassification

forward