Transformers 文档

MobileNet V1

Transformers

加入 Hugging Face 社区

并获得增强型文档体验

协作模型、数据集和 Spaces

使用加速推理加快示例

在文档主题之间切换

开始使用

MobileNet V1

概述

MobileNet 模型由 Andrew G. Howard、Menglong Zhu、Bo Chen、Dmitry Kalenichenko、Weijun Wang、Tobias Weyand、Marco Andreetto 和 Hartwig Adam 在 MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications 中提出。

论文摘要如下：

我们提出了一类称为 MobileNets 的高效模型，用于移动和嵌入式视觉应用。MobileNets 基于简化的架构，该架构使用深度可分离卷积来构建轻量级深度神经网络。我们引入了两个简单的全局超参数，它们可以有效地在延迟和准确性之间进行权衡。这些超参数允许模型构建者根据问题的约束选择适合其应用的模型大小。我们在资源和准确性权衡方面进行了广泛的实验，并表明与 ImageNet 分类上的其他流行模型相比，MobileNets 表现出优异的性能。然后，我们展示了 MobileNets 在各种应用和用例中的有效性，包括目标检测、细粒度分类、人脸属性和大型地理定位。

此模型由 matthijs 贡献。原始代码和权重可以在此处找到。

使用技巧

检查点命名为 mobilenet_v1_depth_size，例如 mobilenet_v1_1.0_224，其中 1.0 是深度乘数（有时也称为“alpha”或宽度乘数），224 是模型训练使用的输入图像的分辨率。
即使检查点是在特定大小的图像上训练的，模型也能处理任何大小的图像。最小的支持图像大小为 32x32。
可以使用 MobileNetV1ImageProcessor 为模型准备图像。
可用的图像分类检查点是在 ImageNet-1k（也称为 ILSVRC 2012，包含 130 万张图像和 1000 个类别）上预训练的。但是，模型预测 1001 个类别：ImageNet 中的 1000 个类别加上一个额外的“背景”类别（索引 0）。
原始的 TensorFlow 检查点使用与 PyTorch 不同的填充规则，要求模型在推理时确定填充量，因为这取决于输入图像的大小。要使用本地的 PyTorch 填充行为，请使用 tf_padding = False 创建一个 MobileNetV1Config。

不支持的功能

MobileNetV1Model 输出最后一个隐藏状态的全局池化版本。在原始模型中，可以使用步长为 2 的 7x7 平均池化层而不是全局池化。对于较大的输入，这将给出大于 1x1 像素的池化输出。HuggingFace 实现不支持这一点。
目前无法指定 output_stride。对于较小的输出步长，原始模型会调用膨胀卷积以防止空间分辨率进一步降低。HuggingFace 模型的输出步长始终为 32。
原始的 TensorFlow 检查点包含量化的模型。我们不支持这些模型，因为它们包含额外的“FakeQuantization”操作来取消量化权重。
通常，从索引为 5、11、12、13 的逐点层中提取输出以供下游使用。使用 output_hidden_states=True 将返回所有中间层的输出。目前没有办法将此限制在特定层。

资源

以下是官方 Hugging Face 和社区（🌎 表示）资源列表，可帮助您开始使用 MobileNetV1。

图像分类

MobileNetV1ForImageClassification 支持此示例脚本和笔记本。
另请参阅：图像分类任务指南

如果您有兴趣提交要在此处包含的资源，请随时打开一个 Pull Request，我们将对其进行审核！理想情况下，资源应该展示一些新内容，而不是重复现有资源。

MobileNetV1Config

class transformers.MobileNetV1Config

< 源代码 >

( num_channels = 3 image_size = 224 depth_multiplier = 1.0 min_depth = 8 hidden_act = 'relu6' tf_padding = True classifier_dropout_prob = 0.999 initializer_range = 0.02 layer_norm_eps = 0.001 **kwargs )

参数

num_channels (int, 可选, 默认为 3) — 输入通道数。
image_size (int, 可选, 默认为 224) — 每个图像的大小（分辨率）。
depth_multiplier (float, 可选, 默认为 1.0) — 缩小或扩展每层中的通道数量。默认值为 1.0，它以 32 个通道启动网络。有时也称为“alpha”或“宽度倍增器”。
min_depth (int, 可选, 默认为 8) — 所有层至少将拥有此数量的通道。
hidden_act (str 或 function, 可选, 默认为 "relu6") — Transformer 编码器和卷积层中的非线性激活函数 (函数或字符串)。
tf_padding (bool, 可选, 默认为 True) — 是否在卷积层上使用 TensorFlow 填充规则。
classifier_dropout_prob (float, 可选, 默认为 0.999) — 附加分类器的 dropout 比率。
initializer_range (float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。
layer_norm_eps (float, 可选, 默认为 0.001) — 层归一化层使用的 epsilon。

这是用于存储 MobileNetV1Model 配置的配置类。它用于根据指定的参数实例化 MobileNetV1 模型，定义模型架构。使用默认值实例化配置将产生与 MobileNetV1 google/mobilenet_v1_1.0_224 架构相似的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以了解更多信息。

示例

>>> from transformers import MobileNetV1Config, MobileNetV1Model

>>> # Initializing a "mobilenet_v1_1.0_224" style configuration
>>> configuration = MobileNetV1Config()

>>> # Initializing a model from the "mobilenet_v1_1.0_224" style configuration
>>> model = MobileNetV1Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

MobileNetV1FeatureExtractor

class transformers.MobileNetV1FeatureExtractor

< 源代码 >

( *args **kwargs )

预处理

< 源代码 >

( images: Union do_resize: Optional = None size: Dict = None resample: Resampling = None do_center_crop: bool = None crop_size: Dict = None do_rescale: Optional = None rescale_factor: Optional = None do_normalize: Optional = None image_mean: Union = None image_std: Union = None return_tensors: Union = None data_format: Union = <ChannelDimension.FIRST: 'channels_first'> input_data_format: Union = None )

参数

images (ImageInput) — 要预处理的图像。预期单个或一批图像，像素值范围为 0 到 255。如果传入像素值介于 0 到 1 之间的图像，请设置 do_rescale=False。
do_resize (bool, 可选, 默认值为 self.do_resize) — 是否调整图像大小。
size (Dict[str, int], 可选, 默认值为 self.size) — 调整大小后图像的大小。图像的短边将调整为 size[“shortest_edge”]，长边将调整为保持输入长宽比。
resample (PILImageResampling 过滤器, 可选, 默认值为 self.resample) — 如果调整图像大小，则使用 PILImageResampling 过滤器，例如 PILImageResampling.BILINEAR。只有在 do_resize 设置为 True 时才有效。
do_center_crop (bool, 可选, 默认值为 self.do_center_crop) — 是否对图像进行中心裁剪。
crop_size (Dict[str, int], 可选, 默认值为 self.crop_size) — 中心裁剪的大小。只有在 do_center_crop 设置为 True 时才有效。
do_rescale (bool, 可选, 默认值为 self.do_rescale) — 是否将图像值重新缩放到 [0 - 1] 之间。
rescale_factor (float, 可选, 默认值为 self.rescale_factor) — 如果 do_rescale 设置为 True，则重新缩放图像的缩放因子。
do_normalize (bool, 可选, 默认值为 self.do_normalize) — 是否对图像进行归一化。
image_mean (float 或 List[float], 可选, 默认为 self.image_mean) — 如果 do_normalize 设置为 True，则使用的图像均值。
image_std (float 或 List[float], 可选, 默认为 self.image_std) — 如果 do_normalize 设置为 True，则使用的图像标准差。
return_tensors (str 或 TensorType, 可选) — 要返回的张量类型。可以是以下之一：
- 未设置：返回 np.ndarray 列表。
- TensorType.TENSORFLOW 或 'tf'：返回 tf.Tensor 类型的批次。
- TensorType.PYTORCH 或 'pt'：返回 torch.Tensor 类型的批次。
- TensorType.NUMPY 或 'np'：返回 np.ndarray 类型的批次。
- TensorType.JAX 或 'jax'：返回 jax.numpy.ndarray 类型的批次。
data_format (ChannelDimension 或 str, 可选, 默认为 ChannelDimension.FIRST) — 输出图像的通道维度格式。可以是以下之一：
- "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
- "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
- 未设置：使用输入图像的通道维度格式。
input_data_format (ChannelDimension 或 str, 可选) — 输入图像的通道维度格式。如果未设置，则从输入图像推断通道维度格式。可以是以下之一：
- "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
- "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
- "none" 或 ChannelDimension.NONE：图像格式为 (height, width)。

预处理图像或图像批次。

MobileNetV1ImageProcessor

class transformers.MobileNetV1ImageProcessor

< source >

( do_resize: bool = True size: Optional = None resample: Resampling = <Resampling.BILINEAR: 2> do_center_crop: bool = True crop_size: Dict = None do_rescale: bool = True rescale_factor: Union = 0.00392156862745098 do_normalize: bool = True image_mean: Union = None image_std: Union = None **kwargs )

参数

do_resize (bool, 可选, 默认为 True) — 是否将图像的 (height, width) 维度调整为指定的 size。可以在 preprocess 方法中由 do_resize 覆盖。
size (Dict[str, int] 可选, 默认为 {"shortest_edge" -- 256}): 调整大小后图像的大小。图像的最短边将调整为 size[“shortest_edge”]，最长边调整为保持输入纵横比。可以在 preprocess 方法中由 size 覆盖。
resample (PILImageResampling, 可选, 默认值为 PILImageResampling.BILINEAR) — 如果调整图像大小，要使用的重采样过滤器。可以被 preprocess 方法中的 resample 参数覆盖。
do_center_crop (bool, 可选, 默认值为 True) — 是否对图像进行中心裁剪。如果输入尺寸沿任何边缘小于 crop_size，则图像将用 0 填充，然后进行中心裁剪。可以被 preprocess 方法中的 do_center_crop 参数覆盖。
crop_size (Dict[str, int], 可选, 默认值为 {"height" -- 224, "width": 224}): 应用中心裁剪时所需的输出尺寸。只有在 do_center_crop 设置为 True 时才会生效。可以被 preprocess 方法中的 crop_size 参数覆盖。
do_rescale (bool, 可选, 默认值为 True) — 是否按指定的比例 rescale_factor 对图像进行缩放。可以被 preprocess 方法中的 do_rescale 参数覆盖。
rescale_factor (int 或 float, 可选, 默认值为 1/255) — 如果调整图像大小，要使用的缩放因子。可以被 preprocess 方法中的 rescale_factor 参数覆盖。
image_mean (float 或 List[float], 可选, 默认值为 IMAGENET_STANDARD_MEAN) — 如果对图像进行归一化，要使用的均值。这是一个浮点数或长度等于图像通道数的浮点数列表。可以被 preprocess 方法中的 image_mean 参数覆盖。
image_std (float 或 List[float], 可选, 默认值为 IMAGENET_STANDARD_STD) — 如果对图像进行归一化，要使用的标准差。这是一个浮点数或长度等于图像通道数的浮点数列表。可以被 preprocess 方法中的 image_std 参数覆盖。

构建 MobileNetV1 图像处理器。

预处理

< source >

参数

images (ImageInput) — 要预处理的图像。期望单个或批量的图像，像素值范围为 0 到 255。如果传入像素值介于 0 到 1 之间的图像，请将 do_rescale 设置为 False。
do_resize (bool, 可选, 默认值为 self.do_resize) — 是否调整图像大小。
resample (PILImageResampling 过滤器, 可选, 默认值为 self.resample) — 如果调整图像大小，则使用的 PILImageResampling 过滤器，例如 PILImageResampling.BILINEAR。仅当 do_resize 设置为 True 时有效。
do_center_crop (bool, 可选, 默认值为 self.do_center_crop) — 是否对图像进行中心裁剪。
crop_size (Dict[str, int], 可选, 默认值为 self.crop_size) — 中心裁剪的大小。仅当 do_center_crop 设置为 True 时有效。
do_rescale (bool, 可选, 默认值为 self.do_rescale) — 是否将图像值重新缩放到 [0 - 1] 之间。
rescale_factor (float, 可选, 默认值为 self.rescale_factor) — 如果 do_rescale 设置为 True，则用于重新缩放图像的缩放因子。
do_normalize (bool, 可选, 默认值为 self.do_normalize) — 是否对图像进行归一化。
image_mean (float 或 List[float], 可选, 默认值为 self.image_mean) — 如果 do_normalize 设置为 True，则使用的图像均值。
image_std (float 或 List[float], 可选, 默认值为 self.image_std) — 如果 do_normalize 设置为 True，则使用的图像标准差。
return_tensors (str 或 TensorType, 可选) — 要返回的张量类型。可以是以下之一：
- 未设置：返回一个 np.ndarray 列表。
- TensorType.TENSORFLOW 或 'tf'：返回一个 tf.Tensor 类型的批次。
- TensorType.PYTORCH 或 'pt'：返回一个 torch.Tensor 类型的批次。
- TensorType.NUMPY 或 'np'：返回一个 np.ndarray 类型的批次。
- TensorType.JAX 或 'jax'：返回一个 jax.numpy.ndarray 类型的批次。
data_format (ChannelDimension 或 str, 可选, 默认值为 ChannelDimension.FIRST) — 输出图像的通道维度格式。可以是以下之一：
- "channels_first" 或 ChannelDimension.FIRST：图像以 (通道数, 高度, 宽度) 格式呈现。
- "channels_last" 或 ChannelDimension.LAST：图像以 (高度, 宽度, 通道数) 格式呈现。
- 未设置：使用输入图像的通道维度格式。
input_data_format (ChannelDimension 或 str, 可选) — 输入图像的通道维度格式。如果未设置，通道维度格式将从输入图像推断。可以是以下之一：
- "channels_first" 或 ChannelDimension.FIRST: 图像格式为 (通道数, 高度, 宽度)。
- "channels_last" 或 ChannelDimension.LAST: 图像格式为 (高度, 宽度, 通道数)。
- "none" 或 ChannelDimension.NONE: 图像格式为 (高度, 宽度)。

预处理图像或图像批次。

MobileNetV1Model

类 transformers.MobileNetV1Model

< 源代码 >

( config: MobileNetV1Config add_pooling_layer: bool = True )

参数

config (MobileNetV1Config) — 模型配置类，包含模型的所有参数。用配置文件初始化不会加载与模型关联的权重，只会加载配置。查看 from_pretrained() 方法来加载模型权重。

不带任何特定头部，输出原始隐藏状态的裸 MobileNetV1 模型。此模型是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以了解所有与一般使用和行为有关的事项。

forward

< 源代码 >

( pixel_values: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → transformers.modeling_outputs.BaseModelOutputWithPoolingAndNoAttention 或 tuple(torch.FloatTensor)

参数

pixel_values (torch.FloatTensor 形状为 (batch_size, 通道数, 高度, 宽度)) — 像素值。像素值可以使用 AutoImageProcessor 获取。有关详细信息，请参见 MobileNetV1ImageProcessor.call()。
output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参见返回张量中的 hidden_states。
return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

transformers.modeling_outputs.BaseModelOutputWithPoolingAndNoAttention 或 tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.BaseModelOutputWithPoolingAndNoAttention 或一个 torch.FloatTensor 元组（如果传递 return_dict=False 或者 config.return_dict=False），包含取决于配置 (MobileNetV1Config) 和输入的各种元素。

last_hidden_state (torch.FloatTensor 形状为 (batch_size, 通道数, 高度, 宽度)) — 模型最后一层输出的隐藏状态序列。
pooler_output (torch.FloatTensor 形状为 (batch_size, 隐藏大小)) — 在对空间维度进行池化操作后，最后一层隐藏状态。
hidden_states (tuple(torch.FloatTensor), 可选, 当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组（一个用于嵌入层的输出，如果模型具有嵌入层，加上每一层的输出），形状为 (batch_size, 通道数, 高度, 宽度)。

每一层输出的模型隐藏状态，以及可选的初始嵌入输出。

MobileNetV1Model 的 forward 方法覆盖了 __call__ 特殊方法。

虽然前向传递的配方需要在此函数中定义，但应该在之后调用 Module 实例，而不是调用此函数，因为前者负责运行前处理和后处理步骤，而后者会静默地忽略它们。

示例

>>> from transformers import AutoImageProcessor, MobileNetV1Model
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image", trust_remote_code=True)
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("google/mobilenet_v1_1.0_224")
>>> model = MobileNetV1Model.from_pretrained("google/mobilenet_v1_1.0_224")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 1024, 7, 7]

MobileNetV1ForImageClassification

class transformers.MobileNetV1ForImageClassification

< 源码 >

( config: MobileNetV1Config )

参数

config (MobileNetV1Config) — 模型配置类，包含模型的所有参数。用配置文件初始化不会加载与模型相关的权重，只会加载配置。查看 from_pretrained() 方法来加载模型权重。

带有图像分类头的 MobileNetV1 模型（在池化特征之上添加一个线性层），例如用于 ImageNet。

此模型是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档了解有关一般用法和行为的所有事项。

forward

< 源码 >

( pixel_values: Optional = None output_hidden_states: Optional = None labels: Optional = None return_dict: Optional = None ) → transformers.modeling_outputs.ImageClassifierOutputWithNoAttention 或 tuple(torch.FloatTensor)

参数

pixel_values (torch.FloatTensor 形状为 (batch_size, num_channels, height, width)) — 像素值。像素值可以通过 AutoImageProcessor 获取。详情请查看 MobileNetV1ImageProcessor.call()。
output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请查看返回张量中的 hidden_states。
return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个简单的元组。
labels (torch.LongTensor 形状为 (batch_size,), 可选) — 用于计算图像分类/回归损失的标签。索引应在 [0, ..., config.num_labels - 1] 中。如果 config.num_labels == 1，则计算回归损失（均方损失）。如果 config.num_labels > 1，则计算分类损失（交叉熵）。

transformers.modeling_outputs.ImageClassifierOutputWithNoAttention 或 tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.ImageClassifierOutputWithNoAttention 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或者当 config.return_dict=False 时），包含各种元素，具体取决于配置 (MobileNetV1Config) 和输入。

loss (torch.FloatTensor 形状为 (1,), 可选, 当提供 labels 时返回) — 分类（如果 config.num_labels==1 则为回归）损失。
logits (torch.FloatTensor 形状为 (batch_size, config.num_labels)) — 分类（如果 config.num_labels==1 则为回归）分数（在 SoftMax 之前）。
hidden_states (tuple(torch.FloatTensor), 可选, 当传递了 output_hidden_states=True 或者当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型具有嵌入层，则一个用于嵌入的输出，+ 一个用于每个阶段的输出），形状为 (batch_size, num_channels, height, width)。模型在每个阶段输出的隐藏状态（也称为特征图）。

The MobileNetV1ForImageClassification 正向方法覆盖了 __call__ 特殊方法。

示例

>>> from transformers import AutoImageProcessor, MobileNetV1ForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image", trust_remote_code=True)
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("google/mobilenet_v1_1.0_224")
>>> model = MobileNetV1ForImageClassification.from_pretrained("google/mobilenet_v1_1.0_224")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
tabby, tabby cat

< > 在 GitHub 上更新

←MaskFormer MobileNetV2→