Swin Transformer V2
概述
Swin Transformer V2 模型由 Ze Liu、Han Hu、Yutong Lin、Zhuliang Yao、Zhenda Xie、Yixuan Wei、Jia Ning、Yue Cao、Zheng Zhang、Li Dong、Furu Wei、Baining Guo 在Swin Transformer V2: Scaling Up Capacity and Resolution中提出。
该论文的摘要如下：
大规模 NLP 模型已被证明可以显著提高语言任务的性能，且没有饱和的迹象。它们还展示了惊人的人类般的少样本能力。本文旨在探索计算机视觉中的大规模模型。我们解决了大型视觉模型训练和应用中的三个主要问题，包括训练不稳定、预训练和微调之间的分辨率差距以及对标记数据的饥渴。本文提出了三种主要技术：1) 残差后归一化方法结合余弦注意力，以提高训练稳定性；2) 一种对数间隔的连续位置偏差方法，以有效地将使用低分辨率图像预训练的模型迁移到具有高分辨率输入的下游任务；3) 一种自监督预训练方法 SimMIM，以减少对大量标记图像的需求。通过这些技术，本文成功训练了一个 30 亿参数的 Swin Transformer V2 模型，这是迄今为止最大的密集视觉模型，并使其能够使用高达 1,536×1,536 分辨率的图像进行训练。它在 4 个代表性的视觉任务上创造了新的性能记录，包括 ImageNet-V2 图像分类、COCO 目标检测、ADE20K 语义分割和 Kinetics-400 视频动作分类。另请注意，我们的训练比谷歌的十亿级视觉模型高效得多，消耗的标记数据和训练时间均减少了 40 倍。
此模型由 nandwalritik 贡献。 原始代码可以在这里找到。
资源
以下是官方 Hugging Face 和社区 (🌎 表示) 资源列表，可帮助您开始使用 Swin Transformer v2。
- Swinv2ForImageClassification 由此示例脚本和notebook支持。
- 另请参阅：图像分类任务指南
除此之外
如果您有兴趣提交资源以包含在此处，请随时打开 Pull Request，我们将对其进行审核！该资源最好能展示一些新的东西，而不是复制现有资源。
Swinv2Config
class transformers.Swinv2Config
< source >( image_size = 224 patch_size = 4 num_channels = 3 embed_dim = 96 depths = [2, 2, 6, 2] num_heads = [3, 6, 12, 24] window_size = 7 pretrained_window_sizes = [0, 0, 0, 0] mlp_ratio = 4.0 qkv_bias = True hidden_dropout_prob = 0.0 attention_probs_dropout_prob = 0.0 drop_path_rate = 0.1 hidden_act = 'gelu' use_absolute_embeddings = False initializer_range = 0.02 layer_norm_eps = 1e-05 encoder_stride = 32 out_features = None out_indices = None **kwargs )
参数
- image_size (
int, 可选, 默认为 224) — 每个图像的大小（分辨率）。 - patch_size (
int, 可选, 默认为 4) — 每个补丁的大小（分辨率）。 - num_channels (
int, 可选, 默认为 3) — 输入通道数。 - embed_dim (
int, 可选, 默认为 96) — 补丁嵌入的维度。 - depths (
list(int), 可选, 默认为[2, 2, 6, 2]) — Transformer 编码器中每层的深度。 - num_heads (
list(int), 可选, 默认为[3, 6, 12, 24]) — Transformer 编码器每层中的注意力头的数量。 - window_size (
int, 可选, 默认为 7) — 窗口大小。 - pretrained_window_sizes (
list(int), 可选, 默认为[0, 0, 0, 0]) — 预训练期间的窗口大小。 - mlp_ratio (
float, 可选, 默认为 4.0) — MLP 隐藏层维度与嵌入维度的比率。 - qkv_bias (
bool, 可选, 默认为True) — 是否应向 queries, keys 和 values 添加可学习的偏置。 - hidden_dropout_prob (
float, 可选, 默认为 0.0) — 嵌入和编码器中所有全连接层的 dropout 概率。 - attention_probs_dropout_prob (
float, 可选, 默认为 0.0) — 注意力概率的 dropout 比率。 - drop_path_rate (
float, 可选, 默认为 0.1) — 随机深度率。 - hidden_act (
str或function, 可选, 默认为"gelu") — 编码器中的非线性激活函数（函数或字符串）。 如果是字符串，则支持"gelu","relu","selu"和"gelu_new"。 - use_absolute_embeddings (
bool, 可选, 默认为False) — 是否将绝对位置嵌入添加到补丁嵌入中。 - initializer_range (
float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。 - layer_norm_eps (
float, 可选, 默认为 1e-05) — 层归一化层使用的 epsilon 值。 - encoder_stride (
int, 可选, 默认为 32) — 用于掩码图像建模的解码器头部中增加空间分辨率的因子。 - out_features (
List[str], 可选) — 如果用作骨干网络，则输出的特征列表。 可以是"stem","stage1","stage2"等中的任何一个（取决于模型有多少个阶段）。 如果未设置且设置了out_indices，则默认为相应的阶段。 如果未设置且out_indices也未设置，则默认为最后一个阶段。 - out_indices (
List[int], 可选) — 如果用作骨干网络，则输出的特征索引列表。 可以是 0、1、2 等中的任何一个（取决于模型有多少个阶段）。 如果未设置且设置了out_features，则默认为相应的阶段。 如果未设置且out_features也未设置，则默认为最后一个阶段。
这是用于存储 Swinv2Model 配置的配置类。 它用于根据指定的参数实例化 Swin Transformer v2 模型，定义模型架构。 使用默认值实例化配置将产生与 Swin Transformer v2 microsoft/swinv2-tiny-patch4-window8-256 架构类似的配置。
配置对象继承自 PretrainedConfig，可用于控制模型输出。 有关更多信息，请阅读 PretrainedConfig 的文档。
示例
>>> from transformers import Swinv2Config, Swinv2Model
>>> # Initializing a Swinv2 microsoft/swinv2-tiny-patch4-window8-256 style configuration
>>> configuration = Swinv2Config()
>>> # Initializing a model (with random weights) from the microsoft/swinv2-tiny-patch4-window8-256 style configuration
>>> model = Swinv2Model(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configSwinv2Model
class transformers.Swinv2Model
< source >( config add_pooling_layer = True use_mask_token = False )
参数
- config (Swinv2Config) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，仅加载配置。查看 from_pretrained() 方法加载模型权重。
裸 Swinv2 Model Transformer 输出原始 hidden-states，顶部没有任何特定的 head。此模型是 PyTorch torch.nn.Module 子类。 可以像常规 PyTorch 模块一样使用它，并参考 PyTorch 文档了解所有与通用用法和行为相关的事项。
forward
< source >( pixel_values: Optional = None bool_masked_pos: Optional = None head_mask: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None interpolate_pos_encoding: bool = False return_dict: Optional = None ) → transformers.models.swinv2.modeling_swinv2.Swinv2ModelOutput 或 tuple(torch.FloatTensor)
参数
- pixel_values (
torch.FloatTensor，形状为(batch_size, num_channels, height, width)) — 像素值。像素值可以使用 AutoImageProcessor 获得。 有关详细信息，请参阅 ViTImageProcessor.call()。 - head_mask (
torch.FloatTensor，形状为(num_heads,)或(num_layers, num_heads)，可选) — 用于置空自注意力模块中选定 head 的掩码。掩码值在[0, 1]中选择：- 1 表示 head 未被掩蔽，
- 0 表示 head 被掩蔽。
- output_attentions (
bool, 可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参见返回张量下的attentions。 - output_hidden_states (
bool, 可选) — 是否返回所有层的 hidden states。 有关更多详细信息，请参见返回张量下的hidden_states。 - interpolate_pos_encoding (
bool, 可选, 默认False) — 是否插值预训练的位置编码。 - return_dict (
bool, 可选) — 是否返回 ModelOutput 而不是普通元组。 - bool_masked_pos (
torch.BoolTensor，形状为(batch_size, num_patches)，可选) — 布尔掩码位置。 指示哪些 patch 被掩蔽 (1) 以及哪些未被掩蔽 (0)。
返回值
transformers.models.swinv2.modeling_swinv2.Swinv2ModelOutput 或 tuple(torch.FloatTensor)
transformers.models.swinv2.modeling_swinv2.Swinv2ModelOutput 或 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含取决于配置 (Swinv2Config) 和输入的各种元素。
-
last_hidden_state (
torch.FloatTensor，形状为(batch_size, sequence_length, hidden_size)) — 模型最后一层输出的 hidden-states 序列。 -
pooler_output (
torch.FloatTensor，形状为(batch_size, hidden_size)，可选，当传递add_pooling_layer=True时返回) — 最后一层 hidden-state 的平均池化。 -
hidden_states (
tuple(torch.FloatTensor)，可选，当传递了output_hidden_states=True或当config.output_hidden_states=True时返回) —torch.FloatTensor的元组（embeddings 输出一个，每个 stage 的输出一个），形状为(batch_size, sequence_length, hidden_size)。模型在每一层输出的 Hidden-states，加上初始 embedding 输出。
-
attentions (
tuple(torch.FloatTensor)，可选，当传递了output_attentions=True或当config.output_attentions=True时返回) —torch.FloatTensor的元组（每个 stage 一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 之后的 Attention 权重，用于计算自注意力 head 中的加权平均值。
-
reshaped_hidden_states (
tuple(torch.FloatTensor)，可选，当传递了output_hidden_states=True或当config.output_hidden_states=True时返回) —torch.FloatTensor的元组（embeddings 输出一个，每个 stage 的输出一个），形状为(batch_size, hidden_size, height, width)。模型在每一层输出的 Hidden-states，加上初始 embedding 输出，并重塑形状以包含空间维度。
Swinv2Model 的 forward 方法，覆盖了 __call__ 特殊方法。
尽管 forward 传递的配方需要在该函数中定义，但应该在之后调用 Module 实例而不是此函数，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。
示例
>>> from transformers import AutoImageProcessor, Swinv2Model
>>> import torch
>>> from datasets import load_dataset
>>> dataset = load_dataset("huggingface/cats-image", trust_remote_code=True)
>>> image = dataset["test"]["image"][0]
>>> image_processor = AutoImageProcessor.from_pretrained("microsoft/swinv2-tiny-patch4-window8-256")
>>> model = Swinv2Model.from_pretrained("microsoft/swinv2-tiny-patch4-window8-256")
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.no_grad():
... outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 64, 768]Swinv2ForMaskedImageModeling
class transformers.Swinv2ForMaskedImageModeling
< source >( config )
参数
- config (Swinv2Config) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，仅加载配置。查看 from_pretrained() 方法加载模型权重。
带有顶部解码器的 Swinv2 模型，用于掩码图像建模，如 SimMIM 中提出的那样。
请注意，我们在 examples directory 中提供了一个脚本，用于在自定义数据上预训练此模型。
此模型是 PyTorch torch.nn.Module 子类。 可以像常规 PyTorch 模块一样使用它，并参考 PyTorch 文档了解所有与通用用法和行为相关的事项。
forward
< source >( pixel_values: Optional = None bool_masked_pos: Optional = None head_mask: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None interpolate_pos_encoding: bool = False return_dict: Optional = None ) → transformers.models.swinv2.modeling_swinv2.Swinv2MaskedImageModelingOutput 或 tuple(torch.FloatTensor)
参数
- pixel_values (
torch.FloatTensor，形状为(batch_size, num_channels, height, width)) — 像素值。像素值可以使用 AutoImageProcessor 获得。 有关详细信息，请参阅 ViTImageProcessor.call()。 - head_mask (
torch.FloatTensor，形状为(num_heads,)或(num_layers, num_heads)，可选) — 用于置空自注意力模块中选定 head 的掩码。掩码值在[0, 1]中选择：- 1 表示 head 未被掩蔽，
- 0 表示 head 被掩蔽。
- output_attentions (
bool, 可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参见返回张量下的attentions。 - output_hidden_states (
bool, 可选) — 是否返回所有层的 hidden states。 有关更多详细信息，请参见返回张量下的hidden_states。 - interpolate_pos_encoding (
bool, 可选, 默认False) — 是否插值预训练的位置编码。 - return_dict (
bool, 可选) — 是否返回 ModelOutput 而不是普通元组。 - bool_masked_pos (
torch.BoolTensor，形状为(batch_size, num_patches)) — 布尔掩码位置。 指示哪些 patch 被掩蔽 (1) 以及哪些未被掩蔽 (0)。
返回值
transformers.models.swinv2.modeling_swinv2.Swinv2MaskedImageModelingOutput 或 tuple(torch.FloatTensor)
transformers.models.swinv2.modeling_swinv2.Swinv2MaskedImageModelingOutput 或 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含取决于配置 (Swinv2Config) 和输入的各种元素。
-
loss (
torch.FloatTensor，形状为(1,)，可选，当提供bool_masked_pos时返回) — 掩码图像建模 (MLM) 损失。 -
reconstruction (
torch.FloatTensor，形状为(batch_size, num_channels, height, width)) — 重建的像素值。 -
hidden_states (
tuple(torch.FloatTensor)，可选，当传递了output_hidden_states=True或当config.output_hidden_states=True时返回) —torch.FloatTensor的元组（embeddings 输出一个，每个 stage 的输出一个），形状为(batch_size, sequence_length, hidden_size)。模型在每一层输出的 Hidden-states，加上初始 embedding 输出。
-
attentions (
tuple(torch.FloatTensor)，可选，当传递了output_attentions=True或当config.output_attentions=True时返回) —torch.FloatTensor的元组（每个 stage 一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 之后的 Attention 权重，用于计算自注意力 head 中的加权平均值。
-
reshaped_hidden_states (
tuple(torch.FloatTensor)，可选，当传递了output_hidden_states=True或当config.output_hidden_states=True时返回) —torch.FloatTensor的元组（embeddings 输出一个，每个 stage 的输出一个），形状为(batch_size, hidden_size, height, width)。模型在每一层输出的 Hidden-states，加上初始 embedding 输出，并重塑形状以包含空间维度。
Swinv2ForMaskedImageModeling 的 forward 方法，覆盖了 __call__ 特殊方法。
尽管 forward 传递的配方需要在该函数中定义，但应该在之后调用 Module 实例而不是此函数，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。
示例
>>> from transformers import AutoImageProcessor, Swinv2ForMaskedImageModeling
>>> import torch
>>> from PIL import Image
>>> import requests
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)
>>> image_processor = AutoImageProcessor.from_pretrained("microsoft/swinv2-tiny-patch4-window8-256")
>>> model = Swinv2ForMaskedImageModeling.from_pretrained("microsoft/swinv2-tiny-patch4-window8-256")
>>> num_patches = (model.config.image_size // model.config.patch_size) ** 2
>>> pixel_values = image_processor(images=image, return_tensors="pt").pixel_values
>>> # create random boolean mask of shape (batch_size, num_patches)
>>> bool_masked_pos = torch.randint(low=0, high=2, size=(1, num_patches)).bool()
>>> outputs = model(pixel_values, bool_masked_pos=bool_masked_pos)
>>> loss, reconstructed_pixel_values = outputs.loss, outputs.reconstruction
>>> list(reconstructed_pixel_values.shape)
[1, 3, 256, 256]Swinv2ForImageClassification
class transformers.Swinv2ForImageClassification
< source >( config )
参数
- config (Swinv2Config) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，仅加载配置。查看 from_pretrained() 方法来加载模型权重。
带有图像分类头的 Swinv2 模型 Transformer（最终隐藏状态的 [CLS] 标记之上的线性层），例如用于 ImageNet。
请注意，通过在模型的前向传播中将 interpolate_pos_encoding 设置为 True，可以在比 SwinV2 训练时更高分辨率的图像上微调 SwinV2。 这会将预训练的位置嵌入插值到更高的分辨率。
此模型是 PyTorch torch.nn.Module 子类。 可以像常规 PyTorch 模块一样使用它，并参考 PyTorch 文档了解所有与通用用法和行为相关的事项。
forward
< source >( pixel_values: Optional = None head_mask: Optional = None labels: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None interpolate_pos_encoding: bool = False return_dict: Optional = None ) → transformers.models.swinv2.modeling_swinv2.Swinv2ImageClassifierOutput 或 tuple(torch.FloatTensor)
参数
- pixel_values (
torch.FloatTensor，形状为(batch_size, num_channels, height, width)) — 像素值。 像素值可以使用 AutoImageProcessor 获得。 有关详细信息，请参阅 ViTImageProcessor.call()。 - head_mask (
torch.FloatTensor，形状为(num_heads,)或(num_layers, num_heads)，可选) — 用于置空自注意力模块中选定头的掩码。 掩码值在[0, 1]中选择：- 1 表示头未被掩蔽，
- 0 表示头被掩蔽。
- output_attentions (
bool，可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参阅返回张量下的attentions。 - output_hidden_states (
bool，可选) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参阅返回张量下的hidden_states。 - interpolate_pos_encoding (
bool，可选，默认为False) — 是否插值预训练的位置编码。 - return_dict (
bool，可选) — 是否返回 ModelOutput 而不是纯元组。 - labels (
torch.LongTensor，形状为(batch_size,)，可选) — 用于计算图像分类/回归损失的标签。 索引应在[0, ..., config.num_labels - 1]中。 如果config.num_labels == 1，则计算回归损失（均方误差损失）。 如果config.num_labels > 1，则计算分类损失（交叉熵损失）。
返回值
transformers.models.swinv2.modeling_swinv2.Swinv2ImageClassifierOutput 或 tuple(torch.FloatTensor)
一个 transformers.models.swinv2.modeling_swinv2.Swinv2ImageClassifierOutput 或 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含各种元素，具体取决于配置 (Swinv2Config) 和输入。
-
loss (
torch.FloatTensor，形状为(1,)，可选，当提供labels时返回) — 分类损失（如果 config.num_labels==1，则为回归损失）。 -
logits (
torch.FloatTensor，形状为(batch_size, config.num_labels)) — 分类分数（如果 config.num_labels==1，则为回归分数）（在 SoftMax 之前）。 -
hidden_states (
tuple(torch.FloatTensor)，可选，当传递了output_hidden_states=True或当config.output_hidden_states=True时返回) —torch.FloatTensor的元组（embeddings 输出一个，每个 stage 的输出一个），形状为(batch_size, sequence_length, hidden_size)。模型在每一层输出的 Hidden-states，加上初始 embedding 输出。
-
attentions (
tuple(torch.FloatTensor)，可选，当传递了output_attentions=True或当config.output_attentions=True时返回) —torch.FloatTensor的元组（每个 stage 一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 之后的 Attention 权重，用于计算自注意力 head 中的加权平均值。
-
reshaped_hidden_states (
tuple(torch.FloatTensor)，可选，当传递了output_hidden_states=True或当config.output_hidden_states=True时返回) —torch.FloatTensor的元组（embeddings 输出一个，每个 stage 的输出一个），形状为(batch_size, hidden_size, height, width)。模型在每一层输出的 Hidden-states，加上初始 embedding 输出，并重塑形状以包含空间维度。
Swinv2ForImageClassification 的前向传播方法，覆盖了 __call__ 特殊方法。
尽管 forward 传递的配方需要在该函数中定义，但应该在之后调用 Module 实例而不是此函数，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。
示例
>>> from transformers import AutoImageProcessor, Swinv2ForImageClassification
>>> import torch
>>> from datasets import load_dataset
>>> dataset = load_dataset("huggingface/cats-image", trust_remote_code=True)
>>> image = dataset["test"]["image"][0]
>>> image_processor = AutoImageProcessor.from_pretrained("microsoft/swinv2-tiny-patch4-window8-256")
>>> model = Swinv2ForImageClassification.from_pretrained("microsoft/swinv2-tiny-patch4-window8-256")
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
Egyptian cat