Transformers 文档

MobileViT

Transformers

加入 Hugging Face 社区

并获得增强的文档体验

在模型、数据集和 Spaces 上协作

通过加速推理获得更快的示例

切换文档主题

开始使用

MobileViT

概述

MobileViT 模型由 Sachin Mehta 和 Mohammad Rastegari 在论文MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer中提出。MobileViT 引入了一个新层，用 transformers 的全局处理取代卷积中的局部处理。

论文摘要如下：

轻量级卷积神经网络 (CNN) 是移动视觉任务的事实标准。它们在空间上的归纳偏置使它们能够以更少的参数学习不同视觉任务的表示。然而，这些网络在空间上是局部的。为了学习全局表示，已经采用了基于自注意力机制的视觉 Transformer (ViT)。与 CNN 不同，ViT 是重量级的。在本文中，我们提出以下问题：是否有可能结合 CNN 和 ViT 的优势，为移动视觉任务构建一个轻量级和低延迟的网络？为此，我们推出了 MobileViT，这是一款用于移动设备的轻量级通用视觉 transformer。MobileViT 为使用 transformers 进行全局信息处理提供了一种不同的视角，即 transformers 作为卷积。我们的结果表明，MobileViT 在不同的任务和数据集上显著优于基于 CNN 和 ViT 的网络。在 ImageNet-1k 数据集上，MobileViT 以约 600 万个参数实现了 78.4% 的 top-1 准确率，这比参数数量相似的 MobileNetv3（基于 CNN）和 DeIT（基于 ViT）分别高出 3.2% 和 6.2%。在 MS-COCO 目标检测任务中，MobileViT 比参数数量相似的 MobileNetv3 准确率高 5.7%。

此模型由 matthijs 贡献。该模型的 TensorFlow 版本由 sayakpaul 贡献。原始代码和权重可以在这里找到。

使用技巧

MobileViT 更像是一个 CNN 而不是 Transformer 模型。它不处理序列数据，而是处理图像批次。与 ViT 不同，它没有嵌入层。骨干模型输出特征图。您可以参考本教程进行轻量级入门。
可以使用 MobileViTImageProcessor 来为模型准备图像。请注意，如果您进行自己的预处理，预训练的检查点期望图像采用 BGR 像素顺序（而不是 RGB）。
可用的图像分类检查点在 ImageNet-1k 上进行了预训练（也称为 ILSVRC 2012，包含 130 万张图像和 1000 个类别）。
分割模型使用 DeepLabV3 头。可用的语义分割检查点在 PASCAL VOC 上进行了预训练。
正如其名称所示，MobileViT 旨在在移动电话上实现高性能和高效率。MobileViT 模型的 TensorFlow 版本与 TensorFlow Lite 完全兼容。

您可以使用以下代码转换 MobileViT 检查点（无论是图像分类还是语义分割）以生成 TensorFlow Lite 模型

from transformers import TFMobileViTForImageClassification
import tensorflow as tf


model_ckpt = "apple/mobilevit-xx-small"
model = TFMobileViTForImageClassification.from_pretrained(model_ckpt)

converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.target_spec.supported_ops = [
    tf.lite.OpsSet.TFLITE_BUILTINS,
    tf.lite.OpsSet.SELECT_TF_OPS,
]
tflite_model = converter.convert()
tflite_filename = model_ckpt.split("/")[-1] + ".tflite"
with open(tflite_filename, "wb") as f:
    f.write(tflite_model)

生成的模型将只有大约 1MB，非常适合资源和网络带宽可能受限的移动应用程序。

资源

官方 Hugging Face 和社区（🌎 表示）资源列表，可帮助您开始使用 MobileViT。

图像分类

MobileViTForImageClassification 由此示例脚本和notebook提供支持。
另请参阅：图像分类任务指南

语义分割

语义分割任务指南

如果您有兴趣提交资源以包含在此处，请随时打开 Pull Request，我们将进行审核！理想情况下，资源应展示一些新内容，而不是重复现有资源。

MobileViTConfig

class transformers.MobileViTConfig

< 源代码 >

( num_channels = 3 image_size = 256 patch_size = 2 hidden_sizes = [144, 192, 240] neck_hidden_sizes = [16, 32, 64, 96, 128, 160, 640] num_attention_heads = 4 mlp_ratio = 2.0 expand_ratio = 4.0 hidden_act = 'silu' conv_kernel_size = 3 output_stride = 32 hidden_dropout_prob = 0.1 attention_probs_dropout_prob = 0.0 classifier_dropout_prob = 0.1 initializer_range = 0.02 layer_norm_eps = 1e-05 qkv_bias = True aspp_out_channels = 256 atrous_rates = [6, 12, 18] aspp_dropout_prob = 0.1 semantic_loss_ignore_index = 255 **kwargs )

参数

num_channels (int, optional, 默认为 3) — 输入通道的数量。
image_size (int, optional, 默认为 256) — 每张图像的大小（分辨率）。
patch_size (int, optional, 默认为 2) — 每个 patch 的大小（分辨率）。
hidden_sizes (List[int], optional, 默认为 [144, 192, 240]) — 每个阶段 Transformer 编码器的维度（隐藏大小）。
neck_hidden_sizes (List[int], optional, 默认为 [16, 32, 64, 96, 128, 160, 640]) — 骨干网络特征图的通道数。
num_attention_heads (int, optional, 默认为 4) — Transformer 编码器中每个注意力层的注意力头数。
mlp_ratio (float, optional, 默认为 2.0) — MLP 输出中的通道数与输入中的通道数之比。
expand_ratio (float, optional, 默认为 4.0) — MobileNetv2 层的扩展因子。
hidden_act (str 或 function, optional, 默认为 "silu") — Transformer 编码器和卷积层中的非线性激活函数（函数或字符串）。
conv_kernel_size (int, optional, 默认为 3) — MobileViT 层中卷积核的大小。
output_stride (int, optional, 默认为 32) — 输出的空间分辨率与输入图像分辨率之比。
hidden_dropout_prob (float, optional, 默认为 0.1) — Transformer 编码器中所有全连接层的 dropout 概率。
attention_probs_dropout_prob (float, optional, 默认为 0.0) — 注意力概率的 dropout 比率。
classifier_dropout_prob (float, optional, 默认为 0.1) — 附加分类器的 dropout 比率。
initializer_range (float, optional, 默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。
layer_norm_eps (float, optional, defaults to 1e-05) — 层归一化层使用的 epsilon 值。
qkv_bias (bool, optional, defaults to True) — 是否向 queries, keys 和 values 添加偏置。
aspp_out_channels (int, optional, defaults to 256) — 用于语义分割的 ASPP 层中使用的输出通道数。
atrous_rates (List[int], optional, defaults to [6, 12, 18]) — 用于语义分割的 ASPP 层中使用的空洞率（atrous rate）因子列表。
aspp_dropout_prob (float, optional, defaults to 0.1) — 用于语义分割的 ASPP 层的 dropout 比率。
semantic_loss_ignore_index (int, optional, defaults to 255) — 语义分割模型的损失函数忽略的索引值。

这是用于存储 MobileViTModel 配置的配置类。它用于根据指定的参数实例化 MobileViT 模型，定义模型架构。使用默认值实例化配置将产生与 MobileViT apple/mobilevit-small 架构类似的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请阅读 PretrainedConfig 的文档。

示例

>>> from transformers import MobileViTConfig, MobileViTModel

>>> # Initializing a mobilevit-small style configuration
>>> configuration = MobileViTConfig()

>>> # Initializing a model from the mobilevit-small style configuration
>>> model = MobileViTModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

Transformers

MobileViT

概述

使用技巧

资源

MobileViTConfig

class transformers.MobileViTConfig

MobileViTFeatureExtractor

class transformers.MobileViTFeatureExtractor

__call__

post_process_semantic_segmentation

MobileViTImageProcessor

class transformers.MobileViTImageProcessor

preprocess

post_process_semantic_segmentation

MobileViTModel

class transformers.MobileViTModel

forward

MobileViTForImageClassification

class transformers.MobileViTForImageClassification

forward

MobileViTForSemanticSegmentation

class transformers.MobileViTForSemanticSegmentation

forward

TFMobileViTModel

class transformers.TFMobileViTModel

call

TFMobileViTForImageClassification

class transformers.TFMobileViTForImageClassification

call

TFMobileViTForSemanticSegmentation

class transformers.TFMobileViTForSemanticSegmentation

call

call