Hugging Face 的 LOGO

Transformers 文档

MobileViT

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

该模型于 2021 年 10 月 5 日发布在 HF 论文库中，并于 2022 年 6 月 29 日贡献给 Hugging Face Transformers。

MobileViT

MobileViT 是一种适用于移动设备的轻量级视觉 Transformer，它融合了 CNN 的效率和归纳偏置，以及 Transformer 的全局上下文建模能力。它将 Transformer 视为卷积，在无需标准 ViT 高额计算成本的前提下实现了全局信息处理。

你可以在 Apple 组织下找到所有原始的 MobileViT 检查点（checkpoints）。

点击右侧边栏中的 MobileViT 模型，查看有关如何将 MobileViT 应用于不同视觉任务的更多示例。

下面的示例演示了如何使用 Pipeline 和 AutoModel 类进行 [图像分类]。

流水线
自动模型
from transformers import pipeline


classifier = pipeline(
   task="image-classification",
   model="apple/mobilevit-small",
   device=0,
)

preds = classifier("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg")
print(f"Prediction: {preds}\n")

注意事项

  • 不处理序列数据，它专为图像任务而设计。
  • 直接使用特征图（feature maps）而不是标记嵌入（token embeddings）。
  • 使用 MobileViTImageProcessor 来预处理图像。
  • 如果使用自定义预处理，请确保图像处于 BGR 格式（而非 RGB），这是预训练权重所预期的格式。
  • 分类模型是在 ImageNet-1k 上进行预训练的。
  • 分割模型使用 DeepLabV3 头部，并在 PASCAL VOC 上进行预训练。

MobileViTConfig

class transformers.MobileViTConfig

< >

( transformers_version: str | None = None architectures: list[str] | None = None output_hidden_states: bool | None = False return_dict: bool | None = True dtype: typing.Union[str, ForwardRef('torch.dtype'), NoneType] = None chunk_size_feed_forward: int = 0 is_encoder_decoder: bool = False id2label: dict[int, str] | dict[str, str] | None = None label2id: dict[str, int] | dict[str, str] | None = None problem_type: typing.Optional[typing.Literal['regression', 'single_label_classification', 'multi_label_classification']] = None num_channels: int = 3 image_size: int | list[int] | tuple[int, int] = 256 patch_size: int | list[int] | tuple[int, int] = 2 hidden_sizes: list[int] | tuple[int, ...] = (144, 192, 240) neck_hidden_sizes: list[int] | tuple[int, ...] = (16, 32, 64, 96, 128, 160, 640) num_attention_heads: int = 4 mlp_ratio: float = 2.0 expand_ratio: float = 4.0 hidden_act: str = 'silu' conv_kernel_size: int = 3 output_stride: int = 32 hidden_dropout_prob: float | int = 0.1 attention_probs_dropout_prob: float | int = 0.0 classifier_dropout_prob: float | int = 0.1 initializer_range: float = 0.02 layer_norm_eps: float = 1e-05 qkv_bias: bool = True aspp_out_channels: int = 256 atrous_rates: list[int] | tuple[int, ...] = (6, 12, 18) aspp_dropout_prob: float | int = 0.1 semantic_loss_ignore_index: int = 255 )

参数

  • num_channels (int, 可选, 默认为 3) — 输入通道数。
  • image_size (Union[int, list[int], tuple[int, int]], 可选, 默认为 256) — 每张图像的大小（分辨率）。
  • patch_size (Union[int, list[int], tuple[int, int]], 可选, 默认为 2) — 每个块（patch）的大小（分辨率）。
  • hidden_sizes (Union[list[int], tuple[int, ...]], 可选, 默认为 (144, 192, 240)) — 模型每个阶段的维度（隐藏层大小）。
  • neck_hidden_sizes (list[int], 可选, 默认为 [16, 32, 64, 96, 128, 160, 640]) — 主干网络特征图的通道数。
  • num_attention_heads (int, 可选, 默认为 4) — Transformer 解码器中每个注意力层的注意力头数。
  • mlp_ratio (float, 可选, 默认为 2.0) — MLP 隐藏维度与嵌入维度的比率。
  • expand_ratio (float, 可选, 默认为 4.0) — 用于设置扩展后输出维度的扩展比率。
  • hidden_act (str, 可选, 默认为 silu) — 解码器中的非线性激活函数（函数或字符串）。例如："gelu", "relu", "silu" 等。
  • conv_kernel_size (int, 可选, 默认为 3) — 卷积核的大小。
  • output_stride (int, 可选, 默认为 32) — 输入特征图与输出特征图空间分辨率之间的比率。
  • hidden_dropout_prob (Union[float, int], 可选, 默认为 0.1) — 嵌入层、编码器和池化层中所有全连接层的丢弃概率。
  • attention_probs_dropout_prob (Union[float, int], 可选, 默认为 0.0) — 注意力概率的丢弃率。
  • classifier_dropout_prob (Union[float, int], 可选, 默认为 0.1) — 分类器的丢弃率。
  • initializer_range (float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。
  • layer_norm_eps (float, 可选, 默认为 1e-05) — 层归一化层所使用的 epsilon 值。
  • qkv_bias (bool, 可选, 默认为 True) — 是否在查询（queries）、键（keys）和值（values）中添加偏置。
  • aspp_out_channels (int, 可选, 默认为 256) — 用于语义分割的 ASPP 层中使用的输出通道数。
  • atrous_rates (list[int], 可选, 默认为 [6, 12, 18]) — 用于语义分割的 ASPP 层中使用的空洞（atrous/dilation）因子。
  • aspp_dropout_prob (float, 可选, 默认为 0.1) — 用于语义分割的 ASPP 层的丢弃率。
  • semantic_loss_ignore_index (int, 可选, 默认为 255) — 语义分割模型的损失函数所忽略的索引。

这是用于存储 MobileViTModel 配置的配置类。它根据指定的参数实例化 MobileViT 模型，从而定义模型架构。使用默认值实例化配置将产生与 google/mobilenet_v2_1.0_224 类似的配置。

配置对象继承自 PreTrainedConfig，可用于控制模型输出。阅读 PreTrainedConfig 的文档以获取更多信息。

示例

>>> from transformers import MobileViTConfig, MobileViTModel

>>> # Initializing a mobilevit-small style configuration
>>> configuration = MobileViTConfig()

>>> # Initializing a model from the mobilevit-small style configuration
>>> model = MobileViTModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

MobileViTImageProcessor

class transformers.MobileViTImageProcessor

< >

( **kwargs: typing_extensions.Unpack[transformers.models.mobilevit.image_processing_mobilevit.MobileVitImageProcessorKwargs] )

参数

  • do_flip_channel_order (bool, kwargs, optional, defaults to self.do_flip_channel_order) — 是否将颜色通道从 RGB 翻转为 BGR，反之亦然。
  • do_reduce_labels (bool, kwargs, optional, defaults to self.do_reduce_labels) — 是否将分割图的所有标签值减 1。通常用于背景使用 0 表示，且背景本身未包含在数据集所有类别中的情况（例如 ADE20k）。背景标签将被替换为 255。
  • **kwargs (ImagesKwargs, optional) — 其他图像预处理选项。模型特定的 kwargs 已列于上方；有关支持参数的完整列表，请参见 TypedDict 类。

构造一个 MobileViTImageProcessor 图像处理器。

preprocess

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']] segmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None **kwargs: typing_extensions.Unpack[transformers.models.mobilevit.image_processing_mobilevit.MobileVitImageProcessorKwargs] ) → ~image_processing_base.BatchFeature

参数

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — 待预处理的图像。期望输入单个图像或一批图像，像素值范围为 0 到 255。如果传入像素值在 0 到 1 之间的图像，请设置 do_rescale=False。
  • segmentation_maps (ImageInput, optional) — 待预处理的分割图。
  • do_flip_channel_order (bool, kwargs, optional, defaults to self.do_flip_channel_order) — 是否将颜色通道从 RGB 翻转为 BGR，反之亦然。
  • do_reduce_labels (bool, kwargs, optional, defaults to self.do_reduce_labels) — 是否将分割图的所有标签值减 1。通常用于背景使用 0 表示，且背景本身未包含在数据集所有类别中的情况（例如 ADE20k）。背景标签将被替换为 255。
  • return_tensors (str 或 TensorType, optional) — 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
  • **kwargs (ImagesKwargs, optional) — 其他图像预处理选项。模型特定的 kwargs 已列于上方；有关支持参数的完整列表，请参见 TypedDict 类。

返回

~image_processing_base.BatchFeature

  • data (dict) — 由 call 方法返回的列表/数组/张量字典（“pixel_values”等）。
  • tensor_type (Union[None, str, TensorType], optional) — 您可以在此处提供 tensor_type 以在初始化时将整数列表转换为 PyTorch/Numpy 张量。

post_process_semantic_segmentation

< >

( outputs target_sizes: list[tuple] | None = None )

将 MobileViTForSemanticSegmentation 的输出转换为语义分割图。

MobileViTImageProcessorPil

class transformers.MobileViTImageProcessorPil

< >

( **kwargs: typing_extensions.Unpack[transformers.models.mobilevit.image_processing_pil_mobilevit.MobileVitImageProcessorKwargs] )

参数

  • do_flip_channel_order (bool, kwargs, optional, defaults to self.do_flip_channel_order) — 是否将颜色通道从 RGB 翻转为 BGR，反之亦然。
  • do_reduce_labels (bool, kwargs, optional, defaults to self.do_reduce_labels) — 是否将分割图的所有标签值减 1。通常用于背景使用 0 表示，且背景本身未包含在数据集所有类别中的情况（例如 ADE20k）。背景标签将被替换为 255。
  • **kwargs (ImagesKwargs, optional) — 其他图像预处理选项。模型特定的 kwargs 已列于上方；有关支持参数的完整列表，请参见 TypedDict 类。

构造一个 MobileViTImageProcessor 图像处理器。

preprocess

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']] segmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None **kwargs: typing_extensions.Unpack[transformers.models.mobilevit.image_processing_pil_mobilevit.MobileVitImageProcessorKwargs] ) → ~image_processing_base.BatchFeature

参数

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — 待预处理的图像。期望输入单个图像或一批图像，像素值范围为 0 到 255。如果传入像素值在 0 到 1 之间的图像，请设置 do_rescale=False。
  • segmentation_maps (ImageInput, optional) — 待预处理的分割图。
  • do_flip_channel_order (bool, kwargs, optional, defaults to self.do_flip_channel_order) — 是否将颜色通道从 RGB 翻转为 BGR，反之亦然。
  • do_reduce_labels (bool, kwargs, optional, defaults to self.do_reduce_labels) — 是否将分割图的所有标签值减 1。通常用于背景使用 0 表示，且背景本身未包含在数据集所有类别中的情况（例如 ADE20k）。背景标签将被替换为 255。
  • return_tensors (str 或 TensorType, optional) — 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
  • **kwargs (ImagesKwargs, optional) — 其他图像预处理选项。模型特定的 kwargs 已列于上方；有关支持参数的完整列表，请参见 TypedDict 类。

返回

~image_processing_base.BatchFeature

  • data (dict) — 由 call 方法返回的列表/数组/张量字典（“pixel_values”等）。
  • tensor_type (Union[None, str, TensorType], optional) — 您可以在此处提供 tensor_type 以在初始化时将整数列表转换为 PyTorch/Numpy 张量。

post_process_semantic_segmentation

< >

( outputs target_sizes: list[tuple] | None = None )

将 MobileViTForSemanticSegmentation 的输出转换为语义分割图。

MobileViTModel

class transformers.MobileViTModel

< >

( config: MobileViTConfig expand_output: bool = True )

参数

  • config (MobileViTConfig) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载模型相关的权重，仅加载配置。请查看 from_pretrained() 方法以加载模型权重。
  • expand_output (bool, 可选, 默认为 True) — 是否使用 1x1 卷积来扩展模型输出。如果为 True，模型将应用额外的 1x1 卷积，将输出通道从 config.neck_hidden_sizes[5] 扩展到 config.neck_hidden_sizes[6]。

裸 MobileViT 模型，输出原始隐藏状态，顶部没有任何特定的头部（head）。

该模型继承自 PreTrainedModel。请查看超类文档以了解该库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头部等）。

此模型也是一个 PyTorch torch.nn.Module 子类。像普通的 PyTorch Module 一样使用它，并参考 PyTorch 文档了解一般用法和行为的所有相关信息。

forward

< >

( pixel_values: torch.Tensor | None = None output_hidden_states: bool | None = None return_dict: bool | None = None **kwargs ) → BaseModelOutputWithPoolingAndNoAttention 或 tuple(torch.FloatTensor)

参数

  • pixel_values (形状为 (batch_size, num_channels, image_size, image_size) 的 torch.Tensor, 可选) — 对应于输入图像的张量。像素值可以使用 MobileViTImageProcessor 获取。详情请参阅 MobileViTImageProcessor.__call__() (processor_class 使用 MobileViTImageProcessor 来处理图像)。
  • output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多详情请查看返回张量中的 hidden_states。
  • return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是普通的元组。

返回

BaseModelOutputWithPoolingAndNoAttention 或 tuple(torch.FloatTensor)

一个 BaseModelOutputWithPoolingAndNoAttention 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或者当 config.return_dict=False 时），根据配置 (MobileViTConfig) 和输入包含不同的元素。

MobileViTModel 的 forward 方法，覆盖了 __call__ 特殊方法。

虽然 forward pass 的实现需要在此函数中定义，但你应该在之后调用 Module 实例而不是这个，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。

  • last_hidden_state (torch.FloatTensor, 形状为 (batch_size, num_channels, height, width)) — 模型最后一层输出的隐藏状态序列。

  • pooler_output (torch.FloatTensor, 形状为 (batch_size, hidden_size)) — 经过空间维度池化操作后的最后一层隐藏状态。

  • hidden_states (tuple(torch.FloatTensor), optional, 当传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型有嵌入层，则包含一个嵌入层输出，加上每层的一个输出），形状为 (batch_size, num_channels, height, width)。

    模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

示例

MobileViTForImageClassification

class transformers.MobileViTForImageClassification

< >

( config: MobileViTConfig )

参数

  • config (MobileViTConfig) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载模型相关的权重，仅加载配置。请查看 from_pretrained() 方法以加载模型权重。

带有图像分类头（在池化特征顶部增加了一个线性层）的 MobileViT 模型，例如用于 ImageNet。

该模型继承自 PreTrainedModel。请查看超类文档以了解该库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头部等）。

此模型也是一个 PyTorch torch.nn.Module 子类。像普通的 PyTorch Module 一样使用它，并参考 PyTorch 文档了解一般用法和行为的所有相关信息。

forward

< >

( pixel_values: torch.Tensor | None = None output_hidden_states: bool | None = None labels: torch.Tensor | None = None return_dict: bool | None = None **kwargs ) → ImageClassifierOutputWithNoAttention 或 tuple(torch.FloatTensor)

参数

  • pixel_values (形状为 (batch_size, num_channels, image_size, image_size) 的 torch.Tensor, 可选) — 对应于输入图像的张量。像素值可以使用 MobileViTImageProcessor 获取。详情请参阅 MobileViTImageProcessor.__call__() (processor_class 使用 MobileViTImageProcessor 来处理图像)。
  • output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多详情请查看返回张量中的 hidden_states。
  • labels (形状为 (batch_size,) 的 torch.LongTensor, 可选) — 用于计算图像分类/回归损失的标签。索引应在 [0, ..., config.num_labels - 1] 范围内。如果 config.num_labels == 1，则计算回归损失（均方误差损失）。如果 config.num_labels > 1，则计算分类损失（交叉熵损失）。
  • return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是普通的元组。

返回

ImageClassifierOutputWithNoAttention 或 tuple(torch.FloatTensor)

一个 ImageClassifierOutputWithNoAttention 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或者当 config.return_dict=False 时），根据配置 (MobileViTConfig) 和输入包含不同的元素。

MobileViTForImageClassification 的 forward 方法，覆盖了 __call__ 特殊方法。

虽然 forward pass 的实现需要在此函数中定义，但你应该在之后调用 Module 实例而不是这个，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。

  • loss (形状为 (1,) 的 torch.FloatTensor，可选，当提供 labels 时返回) — 分类损失（如果 config.num_labels==1，则为回归损失）。
  • logits (形状为 (batch_size, config.num_labels) 的 torch.FloatTensor) — 分类（如果 config.num_labels==1，则为回归）分数（SoftMax 之前）。
  • hidden_states (tuple(torch.FloatTensor), optional, 当传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型有嵌入层，则包含一个嵌入层输出，加上每阶段的一个输出），形状为 (batch_size, num_channels, height, width)。模型在每个阶段输出的隐藏状态（也称为特征图）。

示例

>>> from transformers import AutoImageProcessor, MobileViTForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("google/mobilenet_v2_1.0_224")
>>> model = MobileViTForImageClassification.from_pretrained("google/mobilenet_v2_1.0_224")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...

MobileViTForSemanticSegmentation

class transformers.MobileViTForSemanticSegmentation

< >

( config: MobileViTConfig )

参数

  • config (MobileViTConfig) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载模型相关的权重，仅加载配置。请查看 from_pretrained() 方法以加载模型权重。

带有语义分割头的 MobileViT 模型，例如用于 Pascal VOC。

该模型继承自 PreTrainedModel。请查看超类文档以了解该库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头部等）。

此模型也是一个 PyTorch torch.nn.Module 子类。像普通的 PyTorch Module 一样使用它，并参考 PyTorch 文档了解一般用法和行为的所有相关信息。

forward

< >

( pixel_values: torch.Tensor | None = None labels: torch.Tensor | None = None output_hidden_states: bool | None = None return_dict: bool | None = None **kwargs ) → SemanticSegmenterOutput 或 tuple(torch.FloatTensor)

参数

  • pixel_values (形状为 (batch_size, num_channels, image_size, image_size) 的 torch.Tensor, 可选) — 对应于输入图像的张量。像素值可以使用 MobileViTImageProcessor 获取。详情请参阅 MobileViTImageProcessor.__call__() (processor_class 使用 MobileViTImageProcessor 来处理图像)。
  • labels (形状为 (batch_size, height, width) 的 torch.LongTensor, 可选) — 用于计算损失的地面真值语义分割图。索引应在 [0, ..., config.num_labels - 1] 范围内。如果 config.num_labels > 1，则计算分类损失（交叉熵损失）。
  • output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多详情请查看返回张量中的 hidden_states。
  • return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是普通的元组。

返回

SemanticSegmenterOutput 或 tuple(torch.FloatTensor)

一个 SemanticSegmenterOutput 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或者当 config.return_dict=False 时），根据配置 (MobileViTConfig) 和输入包含不同的元素。

MobileViTForSemanticSegmentation 的 forward 方法，覆盖了 __call__ 特殊方法。

虽然 forward pass 的实现需要在此函数中定义，但你应该在之后调用 Module 实例而不是这个，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。

  • loss (形状为 (1,) 的 torch.FloatTensor，可选，当提供 labels 时返回) — 分类损失（如果 config.num_labels==1，则为回归损失）。

  • logits (形状为 (batch_size, config.num_labels, logits_height, logits_width) 的 torch.FloatTensor) — 每个像素的分类分数。

    返回的 logits 大小不一定与传入的 pixel_values 相同。这是为了避免在用户需要将 logits 大小调整回原始图像大小时进行两次插值并损失质量。您应该始终检查 logits 形状并根据需要进行调整。

  • hidden_states (tuple(torch.FloatTensor), optional, 当传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型有嵌入层，则包含一个嵌入层输出，加上每层的一个输出），形状为 (batch_size, patch_size, hidden_size)。

    模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

  • attentions (tuple(torch.FloatTensor), optional, 当传入 output_attentions=True 或当 config.output_attentions=True 时返回) — 形状为 (batch_size, num_heads, patch_size, sequence_length) 的 torch.FloatTensor 元组（每个层一个）。

    注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

示例

>>> import httpx
>>> from io import BytesIO
>>> import torch
>>> from PIL import Image
>>> from transformers import AutoImageProcessor, MobileViTForSemanticSegmentation

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("apple/deeplabv3-mobilevit-small")
>>> model = MobileViTForSemanticSegmentation.from_pretrained("apple/deeplabv3-mobilevit-small")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> # logits are of shape (batch_size, num_labels, height, width)
>>> logits = outputs.logits
在 GitHub 上更新

←MobileNetV2 MobileViTV2→
© . This site is unofficial and not affiliated with Hugging Face, Inc.