MobileViTV2
概述
MobileViTV2 模型由 Sachin Mehta 和 Mohammad Rastegari 在 Separable Self-attention for Mobile Vision Transformers 中提出。
MobileViTV2 是 MobileViT 的第二个版本，通过将 MobileViT 中的多头自注意力替换为可分离的自注意力而构建。
论文的摘要如下：
移动视觉 Transformer (MobileViT) 可以在多个移动视觉任务（包括分类和检测）中实现最先进的性能。虽然这些模型的参数较少，但与基于卷积神经网络的模型相比，它们的延迟较高。MobileViT 中的主要效率瓶颈是 Transformer 中的多头自注意力 (MHA)，这需要相对于 tokens（或 patches）数量 k 的 O(k2) 时间复杂度。此外，MHA 需要昂贵的操作（例如，批量矩阵乘法）来计算自注意力，从而影响资源受限设备上的延迟。本文介绍了一种具有线性复杂度的可分离自注意力方法，即 O(k)。所提出方法的一个简单而有效的特点是，它使用逐元素操作来计算自注意力，使其成为资源受限设备的理想选择。改进后的模型 MobileViTV2 在多个移动视觉任务（包括 ImageNet 对象分类和 MS-COCO 对象检测）中处于最先进水平。MobileViTV2 约有 300 万个参数，在 ImageNet 数据集上实现了 75.6% 的 top-1 准确率，优于 MobileViT 约 1%，同时在移动设备上的运行速度快 3.2 倍。
此模型由 shehan97 贡献。原始代码可以在 此处 找到。
使用技巧
- MobileViTV2 更像是 CNN 而不是 Transformer 模型。它不处理序列数据，而是处理图像批次。与 ViT 不同，它没有嵌入层。骨干模型输出特征图。
- 可以使用 MobileViTImageProcessor 来为模型准备图像。请注意，如果您进行自己的预处理，预训练的检查点期望图像采用 BGR 像素顺序（而不是 RGB）。
- 可用的图像分类检查点是在 ImageNet-1k（也称为 ILSVRC 2012，包含 130 万张图像和 1,000 个类别的数据集）上预训练的。
- 分割模型使用 DeepLabV3 头。可用的语义分割检查点是在 PASCAL VOC 上预训练的。
MobileViTV2Config
class transformers.MobileViTV2Config
< source >( num_channels = 3 image_size = 256 patch_size = 2 expand_ratio = 2.0 hidden_act = 'swish' conv_kernel_size = 3 output_stride = 32 classifier_dropout_prob = 0.1 initializer_range = 0.02 layer_norm_eps = 1e-05 aspp_out_channels = 512 atrous_rates = [6, 12, 18] aspp_dropout_prob = 0.1 semantic_loss_ignore_index = 255 n_attn_blocks = [2, 4, 3] base_attn_unit_dims = [128, 192, 256] width_multiplier = 1.0 ffn_multiplier = 2 attn_dropout = 0.0 ffn_dropout = 0.0 **kwargs )
参数
- num_channels (
int, 可选, 默认为 3) — 输入通道数。 - image_size (
int, 可选, 默认为 256) — 每张图像的大小（分辨率）。 - patch_size (
int, 可选, 默认为 2) — 每个图像块的大小（分辨率）。 - expand_ratio (
float, 可选, 默认为 2.0) — MobileNetv2 层的扩展因子。 - hidden_act (
str或function, 可选, 默认为"swish") — Transformer 编码器和卷积层中的非线性激活函数（函数或字符串）。 - conv_kernel_size (
int, 可选, 默认为 3) — MobileViTV2 层中卷积核的大小。 - output_stride (
int, 可选, 默认为 32) — 输出的空间分辨率与输入图像分辨率的比率。 - classifier_dropout_prob (
float, 可选, 默认为 0.1) — 附加分类器的 dropout 比率。 - initializer_range (
float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。 - layer_norm_eps (
float, 可选, 默认为 1e-05) — 层归一化层使用的 epsilon 值。 - aspp_out_channels (
int, 可选, 默认为 512) — 用于语义分割的 ASPP 层中使用的输出通道数。 - atrous_rates (
List[int], 可选, 默认为[6, 12, 18]) — 用于语义分割的 ASPP 层中使用的扩张（空洞）因子。 - aspp_dropout_prob (
float, 可选, 默认为 0.1) — 用于语义分割的 ASPP 层的 dropout 比率。 - semantic_loss_ignore_index (
int, 可选, 默认为 255) — 语义分割模型的损失函数忽略的索引。 - n_attn_blocks (
List[int], 可选, 默认为[2, 4, 3]) — 每个 MobileViTV2Layer 中的注意力模块的数量 - base_attn_unit_dims (
List[int], 可选, 默认为[128, 192, 256]) — 每个 MobileViTV2Layer 中注意力模块维度的基本乘数 - width_multiplier (
float, 可选, 默认为 1.0) — MobileViTV2 的宽度乘数。 - ffn_multiplier (
int, 可选, 默认为 2) — MobileViTV2 的 FFN 乘数。 - attn_dropout (
float, 可选, 默认为 0.0) — 注意力层中的 dropout。 - ffn_dropout (
float, 可选, 默认为 0.0) — FFN 层之间的 dropout。
这是用于存储 MobileViTV2Model 配置的配置类。它用于根据指定的参数实例化 MobileViTV2 模型，定义模型架构。使用默认值实例化配置将产生类似于 MobileViTV2 apple/mobilevitv2-1.0 架构的配置。
配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请阅读 PretrainedConfig 的文档。
示例
>>> from transformers import MobileViTV2Config, MobileViTV2Model
>>> # Initializing a mobilevitv2-small style configuration
>>> configuration = MobileViTV2Config()
>>> # Initializing a model from the mobilevitv2-small style configuration
>>> model = MobileViTV2Model(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configMobileViTV2Model
class transformers.MobileViTV2Model
< source >( config: MobileViTV2Config expand_output: bool = True )
参数
- config (MobileViTV2Config) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。
裸 MobileViTV2 模型，输出原始的 hidden-states，顶部没有任何特定的 head。此模型是 PyTorch torch.nn.Module 子类。可将其用作常规 PyTorch 模块，并参阅 PyTorch 文档，了解与常规用法和行为相关的所有事项。
forward
< source >( pixel_values: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → transformers.modeling_outputs.BaseModelOutputWithPoolingAndNoAttention 或 tuple(torch.FloatTensor)
参数
- pixel_values (形状为
(batch_size, num_channels, height, width)的torch.FloatTensor) — 像素值。像素值可以使用 AutoImageProcessor 获得。有关详细信息，请参阅 MobileViTImageProcessor.call()。 - output_hidden_states (
bool, 可选) — 是否返回所有层的 hidden states。有关更多详细信息，请参阅返回张量下的hidden_states。 - return_dict (
bool, 可选) — 是否返回 ModelOutput 而不是纯元组。
返回值
transformers.modeling_outputs.BaseModelOutputWithPoolingAndNoAttention 或 tuple(torch.FloatTensor)
transformers.modeling_outputs.BaseModelOutputWithPoolingAndNoAttention 或 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），其中包含各种元素，具体取决于配置 (MobileViTV2Config) 和输入。
-
last_hidden_state (形状为
(batch_size, num_channels, height, width)的torch.FloatTensor) — 模型最后一层输出端的 hidden-states 序列。 -
pooler_output (形状为
(batch_size, hidden_size)的torch.FloatTensor) — 在空间维度上进行池化操作后的最后一层 hidden-state。 -
hidden_states (
tuple(torch.FloatTensor), 可选, 当传递了output_hidden_states=True或当config.output_hidden_states=True时返回) —torch.FloatTensor元组（对于嵌入的输出，如果模型具有嵌入层，则为一个；对于每一层的输出，则为一个），形状为(batch_size, num_channels, height, width)。模型在每一层输出端的 Hidden-states，加上可选的初始嵌入输出。
MobileViTV2Model forward 方法，覆盖了 __call__ 特殊方法。
虽然 forward 传递的配方需要在该函数中定义，但应该在之后调用 Module 实例而不是此函数，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。
示例
>>> from transformers import AutoImageProcessor, MobileViTV2Model
>>> import torch
>>> from datasets import load_dataset
>>> dataset = load_dataset("huggingface/cats-image", trust_remote_code=True)
>>> image = dataset["test"]["image"][0]
>>> image_processor = AutoImageProcessor.from_pretrained("apple/mobilevitv2-1.0-imagenet1k-256")
>>> model = MobileViTV2Model.from_pretrained("apple/mobilevitv2-1.0-imagenet1k-256")
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.no_grad():
... outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 512, 8, 8]MobileViTV2ForImageClassification
class transformers.MobileViTV2ForImageClassification
< source >( config: MobileViTV2Config )
参数
- config (MobileViTV2Config) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。
MobileViTV2 模型，顶部带有图像分类 head（池化特征顶部的线性层），例如，用于 ImageNet。
此模型是 PyTorch torch.nn.Module 子类。可将其用作常规 PyTorch 模块，并参阅 PyTorch 文档，了解与常规用法和行为相关的所有事项。
forward
< source >( pixel_values: Optional = None output_hidden_states: Optional = None labels: Optional = None return_dict: Optional = None ) → transformers.modeling_outputs.ImageClassifierOutputWithNoAttention 或 tuple(torch.FloatTensor)
参数
- pixel_values (形状为
(batch_size, num_channels, height, width)的torch.FloatTensor) — 像素值。像素值可以使用 AutoImageProcessor 获得。有关详细信息，请参阅 MobileViTImageProcessor.call()。 - output_hidden_states (
bool, 可选) — 是否返回所有层的 hidden states。有关更多详细信息，请参阅返回张量下的hidden_states。 - return_dict (
bool, 可选) — 是否返回 ModelOutput 而不是纯元组。 - labels (形状为
(batch_size,)的torch.LongTensor, 可选) — 用于计算图像分类/回归损失的标签。索引应在[0, ..., config.num_labels - 1]中。如果config.num_labels == 1，则计算回归损失（均方损失）。如果config.num_labels > 1，则计算分类损失（交叉熵）。
返回值
transformers.modeling_outputs.ImageClassifierOutputWithNoAttention 或 tuple(torch.FloatTensor)
transformers.modeling_outputs.ImageClassifierOutputWithNoAttention 或 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），其中包含各种元素，具体取决于配置 (MobileViTV2Config) 和输入。
- loss (形状为
(1,)的torch.FloatTensor, 可选, 当提供labels时返回) — 分类（或回归，如果 config.num_labels==1）损失。 - logits (形状为
(batch_size, config.num_labels)的torch.FloatTensor) — 分类（或回归，如果 config.num_labels==1）得分（在 SoftMax 之前）。 - hidden_states (
tuple(torch.FloatTensor), 可选, 当传递了output_hidden_states=True或当config.output_hidden_states=True时返回) —torch.FloatTensor元组（对于嵌入的输出，如果模型具有嵌入层，则为一个；对于每个阶段的输出，则为一个），形状为(batch_size, num_channels, height, width)。模型在每个阶段输出端的 Hidden-states（也称为特征图）。
MobileViTV2ForImageClassification forward 方法，覆盖了 __call__ 特殊方法。
虽然 forward 传递的配方需要在该函数中定义，但应该在之后调用 Module 实例而不是此函数，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。
示例
>>> from transformers import AutoImageProcessor, MobileViTV2ForImageClassification
>>> import torch
>>> from datasets import load_dataset
>>> dataset = load_dataset("huggingface/cats-image", trust_remote_code=True)
>>> image = dataset["test"]["image"][0]
>>> image_processor = AutoImageProcessor.from_pretrained("apple/mobilevitv2-1.0-imagenet1k-256")
>>> model = MobileViTV2ForImageClassification.from_pretrained("apple/mobilevitv2-1.0-imagenet1k-256")
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
tabby, tabby catMobileViTV2ForSemanticSegmentation
class transformers.MobileViTV2ForSemanticSegmentation
< source >( config: MobileViTV2Config )
参数
- config (MobileViTV2Config) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。
MobileViTV2 模型，顶部带有语义分割 head，例如，用于 Pascal VOC。
此模型是 PyTorch torch.nn.Module 子类。可将其用作常规 PyTorch 模块，并参阅 PyTorch 文档，了解与常规用法和行为相关的所有事项。
forward
< source >( pixel_values: Optional = None labels: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → transformers.modeling_outputs.SemanticSegmenterOutput 或 tuple(torch.FloatTensor)
参数
- pixel_values (形状为
(batch_size, num_channels, height, width)的torch.FloatTensor) — 像素值。像素值可以使用 AutoImageProcessor 获得。有关详细信息，请参阅 MobileViTImageProcessor.call()。 - output_hidden_states (
bool, 可选) — 是否返回所有层的隐藏状态。 详见返回张量下的hidden_states部分了解更多详情。 - return_dict (
bool, 可选) — 是否返回 ModelOutput 而不是纯粹的元组。 - labels (
torch.LongTensor，形状为(batch_size, height, width)，可选) — 用于计算损失的语义分割图的真实标签。 索引应在[0, ..., config.num_labels - 1]范围内。 如果config.num_labels > 1，则计算分类损失（交叉熵）。
返回值
transformers.modeling_outputs.SemanticSegmenterOutput 或 tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.SemanticSegmenterOutput 或 torch.FloatTensor 的元组 (如果传递了 return_dict=False 或当 config.return_dict=False 时)，其中包含各种元素，具体取决于配置 (MobileViTV2Config) 和输入。
-
loss (形状为
(1,)的torch.FloatTensor, 可选, 当提供labels时返回) — 分类（或回归，如果 config.num_labels==1）损失。 -
logits (
torch.FloatTensor，形状为(batch_size, config.num_labels, logits_height, logits_width)) — 每个像素的分类得分。返回的 logits 不一定与作为输入传递的
pixel_values具有相同的大小。 这是为了避免进行两次插值，并在用户需要将 logits 调整为原始图像大小作为后处理时损失一些质量。 您应始终检查您的 logits 形状并在需要时调整大小。 -
hidden_states (
tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或当config.output_hidden_states=True时返回) —torch.FloatTensor的元组（如果模型具有嵌入层，则为嵌入层的输出 + 每层输出一个），形状为(batch_size, patch_size, hidden_size)。模型在每一层输出端的 Hidden-states，加上可选的初始嵌入输出。
-
attentions (
tuple(torch.FloatTensor)，可选，当传递output_attentions=True或当config.output_attentions=True时返回) —torch.FloatTensor的元组（每层一个），形状为(batch_size, num_heads, patch_size, sequence_length)。注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。
MobileViTV2ForSemanticSegmentation 前向传播方法，覆盖了 __call__ 特殊方法。
虽然 forward 传递的配方需要在该函数中定义，但应该在之后调用 Module 实例而不是此函数，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。
示例
>>> import requests
>>> import torch
>>> from PIL import Image
>>> from transformers import AutoImageProcessor, MobileViTV2ForSemanticSegmentation
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)
>>> image_processor = AutoImageProcessor.from_pretrained("apple/mobilevitv2-1.0-imagenet1k-256")
>>> model = MobileViTV2ForSemanticSegmentation.from_pretrained("apple/mobilevitv2-1.0-imagenet1k-256")
>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
... outputs = model(**inputs)
>>> # logits are of shape (batch_size, num_labels, height, width)
>>> logits = outputs.logits