带寄存器的 DINOv2

概述

带寄存器的 DINOv2 模型由 Timothée Darcet, Maxime Oquab, Julien Mairal, Piotr Bojanowski 在《Vision Transformers Need Registers》一文中提出。

Vision Transformer (ViT) 是一种 Transformer 编码器模型（类 BERT），最初是为了在 ImageNet 上进行监督图像分类而引入的。

后来，人们找到了让 ViT 在自监督图像特征提取（即在不需要任何标签的情况下学习有意义的特征，也称为嵌入）上表现出色的方法。这方面的一些示例论文包括 DINOv2 和 MAE。

DINOv2 的作者注意到 ViTs 在注意力图谱中存在伪影。这是因为模型将一些图像块用作“寄存器”。作者提出了一个解决方法：只需添加一些新的 token（称为“寄存器”token），这些 token 只在预训练期间使用（之后丢弃）。这样可以实现

无伪影
可解释的注意力图谱
以及性能提升。

论文摘要如下：

Transformers 最近成为学习视觉表示的强大工具。在本文中，我们识别并描述了监督和自监督 ViT 网络特征图谱中的伪影。这些伪影对应于在推理过程中主要出现在图像中信息量较低的背景区域的高范数 token，这些 token 被重新用于内部计算。我们提出了一种简单而有效的解决方案，即在 Vision Transformer 的输入序列中提供额外的 token 来充当这个角色。我们证明，该解决方案完全解决了监督和自监督模型中的这一问题，为自监督视觉模型在密集视觉预测任务上设定了新的最高水平，使得更大模型能够进行目标发现，最重要的是，为下游视觉处理带来了更平滑的特征图谱和注意力图谱。

使用寄存器与不使用寄存器训练的各种模型的注意力图谱可视化。图片来自原始论文。

技巧

带寄存器的 DINOv2 的用法与不带寄存器的 DINOv2 相同，只是性能会更好。

该模型由 nielsr 贡献。原始代码可以在这里找到。

Dinov2WithRegistersConfig

class transformers.Dinov2WithRegistersConfig

< 来源 >

( hidden_size = 768 num_hidden_layers = 12 num_attention_heads = 12 mlp_ratio = 4 hidden_act = 'gelu' hidden_dropout_prob = 0.0 attention_probs_dropout_prob = 0.0 initializer_range = 0.02 layer_norm_eps = 1e-06 image_size = 224 patch_size = 16 num_channels = 3 qkv_bias = True layerscale_value = 1.0 drop_path_rate = 0.0 use_swiglu_ffn = False num_register_tokens = 4 out_features = None out_indices = None apply_layernorm = True reshape_hidden_states = True **kwargs )

参数

hidden_size (int, 可选, 默认为 768) — 编码器层和池化层的维度。
num_hidden_layers (int, 可选, 默认为 12) — Transformer 编码器中的隐藏层数。
num_attention_heads (int, 可选, 默认为 12) — Transformer 编码器中每个注意力层的注意力头数量。
mlp_ratio (int, 可选, 默认为 4) — MLP 隐藏大小相对于 hidden_size 的比率。
hidden_act (str or function, 可选, 默认为 "gelu") — 编码器和池化层中的非线性激活函数（函数或字符串）。如果为字符串，支持 "gelu"、"relu"、"selu" 和 "gelu_new"。
hidden_dropout_prob (float, 可选, 默认为 0.0) — 嵌入、编码器和池化层中所有全连接层的丢弃概率。
attention_probs_dropout_prob (float, 可选, 默认为 0.0) — 注意力概率的丢弃率。
initializer_range (float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。
layer_norm_eps (float, 可选, 默认为 1e-06) — 层归一化层使用的 epsilon 值。
image_size (int, 可选, 默认为 224) — 每张图像的大小（分辨率）。
patch_size (int, 可选, 默认为 16) — 每个 patch 的大小（分辨率）。
num_channels (int, 可选, 默认为 3) — 输入通道的数量。
qkv_bias (bool, 可选, 默认为 `True`) — 是否为 queries、keys 和 values 添加偏置。
layerscale_value (float, 可选, 默认为 1.0) — 用于层缩放的初始值。
drop_path_rate (float, 可选, 默认为 0.0) — 每个样本的随机深度率（在残差层的主路径中应用时）。
use_swiglu_ffn (bool, 可选, 默认为 `False`) — 是否使用 SwiGLU 前馈神经网络。
num_register_tokens (int, 可选, 默认为 4) — 使用的寄存器 token 的数量。
out_features (list[str], 可选) — 如果用作骨干网络，指定输出的特征列表。可以是 "stem"、"stage1"、"stage2" 等（取决于模型有多少阶段）。如果未设置且 out_indices 已设置，则将默认为相应的阶段。如果未设置且 out_indices 也未设置，则将默认为最后一个阶段。必须与 stage_names 属性中定义的顺序相同。
out_indices (list[int], 可选) — 如果用作骨干网络，指定输出特征的索引列表。可以是 0, 1, 2 等（取决于模型有多少阶段）。如果未设置且 out_features 已设置，则将默认为相应的阶段。如果未设置且 out_features 也未设置，则将默认为最后一个阶段。必须与 stage_names 属性中定义的顺序相同。
apply_layernorm (bool, 可选, 默认为 `True`) — 在模型用作骨干网络时，是否对特征图应用层归一化。
reshape_hidden_states (bool, 可选, 默认为 `True`) — 在模型用作骨干网络时，是否将特征图重塑为形状为 `(batch_size, hidden_size, height, width)` 的 4D 张量。如果为 `False`，特征图将是形状为 `(batch_size, seq_len, hidden_size)` 的 3D 张量。

这是用于存储 Dinov2WithRegistersModel 配置的配置类。它用于根据指定的参数实例化一个 Dinov2WithRegisters 模型，定义模型架构。使用默认值实例化配置将产生与带寄存器的 DINOv2 facebook/dinov2-with-registers-base 架构类似的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请参阅 PretrainedConfig 的文档。

示例

>>> from transformers import Dinov2WithRegistersConfig, Dinov2WithRegistersModel

>>> # Initializing a Dinov2WithRegisters base style configuration
>>> configuration = Dinov2WithRegistersConfig()

>>> # Initializing a model (with random weights) from the base style configuration
>>> model = Dinov2WithRegistersModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

Dinov2WithRegistersModel

class transformers.Dinov2WithRegistersModel

< 来源 >

( config: Dinov2WithRegistersConfig )

参数

config (Dinov2WithRegistersConfig) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型相关的权重，只会加载配置。请查阅 from_pretrained() 方法来加载模型权重。

不带任何特定头部的纯 Dinov2 With Registers 模型，输出原始的隐藏状态。

该模型继承自 PreTrainedModel。请查阅超类文档，了解该库为所有模型实现的通用方法（如下载或保存、调整输入嵌入大小、修剪头部等）。

该模型也是一个 PyTorch torch.nn.Module 的子类。可以像常规 PyTorch 模块一样使用它，并参考 PyTorch 文档了解所有与通用用法和行为相关的事项。

forward

< 来源 >

( pixel_values: typing.Optional[torch.Tensor] = None bool_masked_pos: typing.Optional[torch.Tensor] = None head_mask: typing.Optional[torch.Tensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.BaseModelOutputWithPooling 或 tuple(torch.FloatTensor)

参数

pixel_values (torch.Tensor，形状为 (batch_size, num_channels, image_size, image_size), 可选) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获得。详情请参阅 {image_processor_class}.__call__ ({processor_class} 使用 {image_processor_class} 处理图像)。
bool_masked_pos (torch.BoolTensor，形状为 (batch_size, sequence_length)) — 布尔掩码位置。指示哪些 patch 被掩码 (1)，哪些没有 (0)。仅与预训练相关。
head_mask (torch.Tensor，形状为 (num_heads,) 或 (num_layers, num_heads), 可选) — 用于使自注意力模块的选定头部无效的掩码。掩码值选自 [0, 1]：
- 1 表示头部未被掩码,
- 0 表示头部被掩码。
output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参见返回张量下的 `attentions`。
output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参见返回张量下的 `hidden_states`。
return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通的元组。

transformers.modeling_outputs.BaseModelOutputWithPooling 或 tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.BaseModelOutputWithPooling 或一个 `torch.FloatTensor` 的元组（如果传递了 `return_dict=False` 或当 `config.return_dict=False` 时），根据配置 (Dinov2WithRegistersConfig) 和输入包含不同的元素。

last_hidden_state (torch.FloatTensor, 形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。
pooler_output (torch.FloatTensor，形状为 (batch_size, hidden_size)) — 序列第一个 token（分类 token）的最后一层隐藏状态，经过用于辅助预训练任务的层进一步处理。例如，对于 BERT 族模型，这返回经过线性层和 tanh 激活函数处理后的分类 token。线性层权重是在预训练期间通过下一句预测（分类）目标进行训练的。
hidden_states (tuple(torch.FloatTensor), 可选, 在传递 `output_hidden_states=True` 或 `config.output_hidden_states=True` 时返回) — `torch.FloatTensor` 的元组（如果模型有嵌入层，则一个用于嵌入层的输出，+ 每个层一个用于其输出），形状为 `(batch_size, sequence_length, hidden_size)`。

模型在每个层输出的隐藏状态以及可选的初始嵌入输出。
attentions (tuple(torch.FloatTensor), 可选, 在传递 `output_attentions=True` 或 `config.output_attentions=True` 时返回) — `torch.FloatTensor` 的元组（每层一个），形状为 `(batch_size, num_heads, sequence_length, sequence_length)`。

注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

Dinov2WithRegistersModel 的前向方法，覆盖了 `__call__` 特殊方法。

尽管前向传递的配方需要在此函数内定义，但之后应调用 `Module` 实例而不是此函数，因为前者会处理预处理和后处理步骤，而后者会默默地忽略它们。

示例

Dinov2WithRegistersForImageClassification

class transformers.Dinov2WithRegistersForImageClassification

< 来源 >

( config: Dinov2WithRegistersConfig )

参数

config (Dinov2WithRegistersConfig) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型相关的权重，只会加载配置。请查阅 from_pretrained() 方法来加载模型权重。

带有一个图像分类头部的 Dinov2WithRegisters 模型 Transformer（在 [CLS] token 的最终隐藏状态之上添加一个线性层），例如用于 ImageNet。

该模型继承自 PreTrainedModel。请查阅超类文档，了解该库为所有模型实现的通用方法（如下载或保存、调整输入嵌入大小、修剪头部等）。

该模型也是一个 PyTorch torch.nn.Module 的子类。可以像常规 PyTorch 模块一样使用它，并参考 PyTorch 文档了解所有与通用用法和行为相关的事项。

forward

< 来源 >

( pixel_values: typing.Optional[torch.Tensor] = None head_mask: typing.Optional[torch.Tensor] = None labels: typing.Optional[torch.Tensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.ImageClassifierOutput 或 tuple(torch.FloatTensor)

参数

pixel_values (torch.Tensor，形状为 (batch_size, num_channels, image_size, image_size)，可选) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获取。有关详细信息，请参阅 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
head_mask (torch.Tensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于使自注意力模块中选定的头无效的掩码。掩码值在 [0, 1] 中选择：
- 1 表示该头未被屏蔽，
- 0 表示该头被屏蔽。
labels (torch.LongTensor，形状为 (batch_size,)，可选) — 用于计算图像分类/回归损失的标签。索引应在 [0, ..., config.num_labels - 1] 范围内。如果 config.num_labels == 1，则计算回归损失（均方损失）；如果 config.num_labels > 1，则计算分类损失（交叉熵）。
output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
return_dict (bool，可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。

transformers.modeling_outputs.ImageClassifierOutput 或 tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.ImageClassifierOutput 或一个 torch.FloatTensor 的元组（如果传入 return_dict=False 或 config.return_dict=False），根据配置（Dinov2WithRegistersConfig）和输入，包含不同的元素。

loss (形状为 (1,) 的 torch.FloatTensor，可选，当提供 labels 时返回) — 分类损失（如果 config.num_labels==1，则为回归损失）。
logits (形状为 (batch_size, config.num_labels) 的 torch.FloatTensor) — 分类（如果 config.num_labels==1，则为回归）分数（SoftMax 之前）。
hidden_states (tuple(torch.FloatTensor)，可选，当传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型有嵌入层，则一个为嵌入层的输出，另外每个阶段的输出各一个），形状为 (batch_size, sequence_length, hidden_size)。模型在每个阶段输出的隐藏状态（也称为特征图）。
attentions (tuple(torch.FloatTensor)，可选，当传入 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, patch_size, sequence_length)。

注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

Dinov2WithRegistersForImageClassification 的 forward 方法重写了 __call__ 特殊方法。

尽管前向传递的配方需要在此函数内定义，但之后应调用 `Module` 实例而不是此函数，因为前者会处理预处理和后处理步骤，而后者会默默地忽略它们。

示例

>>> from transformers import AutoImageProcessor, Dinov2WithRegistersForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/dinov2-with-registers-base")
>>> model = Dinov2WithRegistersForImageClassification.from_pretrained("facebook/dinov2-with-registers-base")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...

< > 在 GitHub 上更新