Transformers 文档

SigLIP

Transformers

加入Hugging Face社区

并获得增强型文档体验

协作模型、数据集和空间

使用加速推理更快地获取示例

在文档主题之间切换

开始使用

SigLIP

概述

SigLIP 模型在 Xiaohua Zhai、Basil Mustafa、Alexander Kolesnikov 和 Lucas Beyer 发表的论文 Sigmoid Loss for Language Image Pre-Training 中被提出。SigLIP 建议用简单的成对 sigmoid 损失函数替换 CLIP 中使用的损失函数。这导致 ImageNet 零样本分类准确率方面性能的提升。

论文摘要如下：

我们提出了一种用于语言图像预训练的简单成对 Sigmoid 损失函数 (SigLIP)。与使用 softmax 归一化的标准对比学习不同，sigmoid 损失仅作用于图像-文本对，不需要全局查看成对相似度以进行归一化。sigmoid 损失同时允许进一步扩大批量大小，并且在较小的批量大小下也表现更好。结合锁定图像微调，仅使用四个 TPUv4 芯片，我们在两天内训练了一个 SigLiT 模型，在 ImageNet 上实现了 84.5% 的零样本准确率。批量大小与损失函数的解耦使我们能够进一步研究示例与对以及负样本与正样本比率的影响。最后，我们将批量大小推向极端，高达一百万，发现批量大小增长的益处迅速减弱，更合理的批量大小为 32k 就足够了。

使用技巧

SigLIP 的使用方式与 CLIP 类似。主要区别在于训练损失函数，它不需要全局查看批次中所有图像和文本的成对相似度。需要对 logits 应用 sigmoid 激活函数，而不是 softmax。
支持训练，但未使用 torch.distributed 工具，这可能会限制批量大小的可扩展性。但是，DDP 和 FDSP 在单节点多 GPU 设置上有效。
当使用独立的 SiglipTokenizer 或 SiglipProcessor 时，请确保传递 padding="max_length"，因为模型就是以此方式进行训练的。
要获得与管道相同的结果，应使用提示模板“This is a photo of {label}.”。

SigLIP 评估结果与 CLIP 的对比。摘自原始论文。

此模型由 nielsr 贡献。原始代码可以在这里找到 here。

使用示例

使用 SigLIP 主要有两种方法：一种是使用管道 API，它可以为您抽象化所有复杂性；另一种是自行使用 SiglipModel 类。

管道 API

管道允许您在几行代码中使用模型

>>> from transformers import pipeline
>>> from PIL import Image
>>> import requests

>>> # load pipe
>>> image_classifier = pipeline(task="zero-shot-image-classification", model="google/siglip-base-patch16-224")

>>> # load image
>>> url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> # inference
>>> candidate_labels = ["2 cats", "a plane", "a remote"]
>>> outputs = image_classifier(image, candidate_labels=candidate_labels)
>>> outputs = [{"score": round(output["score"], 4), "label": output["label"] } for output in outputs]
>>> print(outputs)
[{'score': 0.1979, 'label': '2 cats'}, {'score': 0.0, 'label': 'a remote'}, {'score': 0.0, 'label': 'a plane'}]

自行使用模型

如果您想自行进行预处理和后处理，以下是操作方法：

>>> from PIL import Image
>>> import requests
>>> from transformers import AutoProcessor, AutoModel
>>> import torch

>>> model = AutoModel.from_pretrained("google/siglip-base-patch16-224")
>>> processor = AutoProcessor.from_pretrained("google/siglip-base-patch16-224")

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> candidate_labels = ["2 cats", "2 dogs"]
# follows the pipeline prompt template to get same results
>>> candidate_labels = [f'This is a photo of {label}.' for label in candidate_labels]
>>> # important: we pass `padding=max_length` since the model was trained with this
>>> inputs = processor(text=texts, images=image, padding="max_length", return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> logits_per_image = outputs.logits_per_image
>>> probs = torch.sigmoid(logits_per_image) # these are the probabilities
>>> print(f"{probs[0][0]:.1%} that image 0 is '{texts[0]}'")
31.9% that image 0 is 'a photo of 2 cats'

资源

一系列官方 Hugging Face 和社区（以 🌎 表示）资源，可帮助您开始使用 SigLIP。

零样本图像分类任务指南
SigLIP 的演示笔记本可以在这里找到 here。 🌎

如果您有兴趣提交要包含在此处的资源，请随时提交拉取请求，我们将对其进行审查！理想情况下，该资源应展示一些新内容，而不是重复现有资源。

结合 SigLIP 和 Flash Attention 2

首先，请确保安装最新版本的 Flash Attention 2。

pip install -U flash-attn --no-build-isolation

还要确保您的硬件与 Flash Attention 2 兼容。请在 flash-attn 存储库的官方文档中阅读更多相关信息。还要确保以半精度加载模型（例如 torch.float16）。

要使用 Flash Attention 2 加载和运行模型，请参考以下代码片段：

>>> import torch
>>> import requests
>>> from PIL import Image
>>> from transformers import SiglipProcessor, SiglipModel
>>> device = "cuda" # the device to load the model onto

>>> model = SiglipModel.from_pretrained(
...     "google/siglip-so400m-patch14-384",
...     attn_implementation="flash_attention_2",
...     torch_dtype=torch.float16,
...     device_map=device,
... )
>>> processor = SiglipProcessor.from_pretrained("google/siglip-so400m-patch14-384")

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> candidate_labels = ["2 cats", "2 dogs"]
# follows the pipeline prompt template to get same results
>>> candidate_labels = [f'This is a photo of {label}.' for label in candidate_labels]
# important: we pass `padding=max_length` since the model was trained with this
>>> inputs = processor(text=candidate_labels, images=image, padding="max_length", return_tensors="pt")
>>> inputs.to(device)

>>> with torch.no_grad():
...     with torch.autocast(device):
...         outputs = model(**inputs)

>>> logits_per_image = outputs.logits_per_image
>>> probs = torch.sigmoid(logits_per_image) # these are the probabilities
>>> print(f"{probs[0][0]:.1%} that image 0 is '{candidate_labels[0]}'")
51.3% that image 0 is 'This is a photo of 2 cats.'

使用缩放点积注意力 (SDPA)

PyTorch 将本机缩放点积注意力 (SDPA) 运算符作为 torch.nn.functional 的一部分包含在内。此函数包含多个实现，可以根据输入和使用的硬件应用。请参阅官方文档或 GPU 推理页面以获取更多信息。

您可以在 from_pretrained() 中设置 attn_implementation="sdpa" 以显式请求使用 SDPA。请确保您拥有 torch>=2.1.1。

>>> from transformers import SiglipModel

>>> model = SiglipModel.from_pretrained(
...     "google/siglip-so400m-patch14-384",
...     attn_implementation="sdpa",
...     torch_dtype=torch.float16,
...     device_map=device,
... )

为了获得最佳加速效果，我们建议以半精度加载模型（例如 torch.float16 或 torch.bfloat16）。

预期加速

下图显示了预期加速情况，比较了使用 google/siglip-so400m-patch14-384 检查点以 float16 精度在 transformers 中进行原生实现的推理时间与使用不同批量大小的模型的 Flash Attention 2/SDPA 版本的推理时间。

Transformers

SigLIP

概述

使用技巧

使用示例

管道 API

自行使用模型

资源

结合 SigLIP 和 Flash Attention 2

使用缩放点积注意力 (SDPA)

预期加速

SiglipConfig

类 transformers.SiglipConfig

from_text_vision_configs

SiglipTextConfig

类 transformers.SiglipTextConfig

SiglipVisionConfig

类 transformers.SiglipVisionConfig

SiglipTokenizer

类 transformers.SiglipTokenizer

build_inputs_with_special_tokens

get_special_tokens_mask

create_token_type_ids_from_sequences

save_vocabulary

SiglipImageProcessor

类 transformers.SiglipImageProcessor

预处理

SiglipProcessor

类 transformers.SiglipProcessor

batch_decode

decode

SiglipModel

类 transformers.SiglipModel

forward

获取文本特征

get_image_features

SiglipTextModel

类 transformers.SiglipTextModel

forward

SiglipVisionModel

类 transformers.SiglipVisionModel

forward

SiglipForImageClassification

类 transformers.SiglipForImageClassification

forward