该模型于 2023 年 1 月 2 日发表在 HF papers 上，并于 2023 年 3 月 14 日贡献给 Hugging Face Transformers。

ConvNeXt V2

概述

ConvNeXt V2 模型由 Sanghyun Woo、Shoubhik Debnath、Ronghang Hu、Xinlei Chen、Zhuang Liu、In So Kweon 和 Saining Xie 在《ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders》中提出。ConvNeXt V2 是一种纯卷积模型 (ConvNet)，其设计灵感源于视觉 Transformer (Vision Transformers)，是 ConvNeXT 的继任者。

论文摘要如下：

在改进的架构和更好的表征学习框架的推动下，视觉识别领域在 21 世纪 20 年代初经历了快速的现代化和性能提升。例如，以 ConvNeXt 为代表的现代卷积神经网络 (ConvNets) 已在多种场景中展现出强大的性能。虽然这些模型最初是为使用 ImageNet 标签的监督学习而设计的，但它们也可以从掩码自动编码器 (MAE) 等自监督学习技术中获益。然而，我们发现简单地结合这两种方法会导致性能不佳。在本文中，我们提出了一个全卷积掩码自动编码器框架和一个新的全局响应归一化 (GRN) 层，该层可以添加到 ConvNeXt 架构中，以增强通道间的特征竞争。这种自监督学习技术与架构改进的协同设计，催生了一个新的模型家族——ConvNeXt V2。它显著提高了纯 ConvNets 在各种识别基准（包括 ImageNet 分类、COCO 检测和 ADE20K 分割）上的性能。我们还提供了各种尺寸的预训练 ConvNeXt V2 模型，从在 ImageNet 上具有 76.7% Top-1 准确率的高效 3.7M 参数 Atto 模型，到仅使用公开训练数据就达到 88.9% 最佳准确率的 650M Huge 模型。

ConvNeXt V2 架构。摘自原始论文。

该模型由 adirik 贡献。原始代码可以在此处找到。

资源

一份官方 Hugging Face 和社区（用 🌎 表示）资源列表，帮助您开始使用 ConvNeXt V2。

图像分类

ConvNextV2ForImageClassification 受此示例脚本和笔记本支持。

如果您有兴趣在此处提交资源，请随时开启 Pull Request，我们将对其进行审查！该资源最好能展示一些新内容，而不是重复现有资源。

ConvNextV2Config

class transformers.ConvNextV2Config

< source >

( transformers_version: str | None = None architectures: list[str] | None = None output_hidden_states: bool | None = False return_dict: bool | None = True dtype: typing.Union[str, ForwardRef('torch.dtype'), NoneType] = None chunk_size_feed_forward: int = 0 is_encoder_decoder: bool = False id2label: dict[int, str] | dict[str, str] | None = None label2id: dict[str, int] | dict[str, str] | None = None problem_type: typing.Optional[typing.Literal['regression', 'single_label_classification', 'multi_label_classification']] = None num_channels: int = 3 patch_size: int | list[int] | tuple[int, int] = 4 num_stages: int = 4 hidden_sizes: list[int] | tuple[int, ...] | None = (96, 192, 384, 768) depths: list[int] | tuple[int, ...] | None = (3, 3, 9, 3) hidden_act: str = 'gelu' initializer_range: float = 0.02 layer_norm_eps: float = 1e-12 drop_path_rate: float | int = 0.0 image_size: int | list[int] | tuple[int, int] = 224 _out_features: list[str] | None = None _out_indices: list[int] | None = None )

参数

num_channels (int, 可选, 默认为 3) — 输入通道的数量。
patch_size (Union[int, list[int], tuple[int, int]], 可选, 默认为 4) — 每个补丁 (patch) 的大小（分辨率）。
num_stages (int, 可选, 默认为 4) — 模型中的阶段数。
hidden_sizes (Union[list[int], tuple[int, ...]], 可选, 默认为 (96, 192, 384, 768)) — 模型每个阶段的维度（隐藏层大小）。
depths (Union[list[int], tuple[int, ...]], 可选, 默认为 (3, 3, 9, 3)) — Transformer 中每一层的深度。
hidden_act (str, 可选, 默认为 gelu) — 解码器中的非线性激活函数（函数或字符串）。例如，"gelu", "relu", "silu" 等。
initializer_range (float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。
layer_norm_eps (float, 可选, 默认为 1e-12) — 层归一化层使用的 epsilon 值。
drop_path_rate (Union[float, int], 可选, 默认为 0.0) — 用于补丁融合 (patch fusion) 的 drop path 比率。
image_size (Union[int, list[int], tuple[int, int]], 可选, 默认为 224) — 每张图像的大小（分辨率）。

这是用于存储 ConvNextV2Model 配置的配置类。它根据指定的参数实例化 Convnextv2 模型，定义模型架构。使用默认值实例化配置将产生与 facebook/convnextv2-tiny-1k-224 类似的配置。

配置对象继承自 PreTrainedConfig，可用于控制模型输出。阅读 PreTrainedConfig 的文档以获取更多信息。

示例

>>> from transformers import ConvNeXTV2Config, ConvNextV2Model

>>> # Initializing a ConvNeXTV2 convnextv2-tiny-1k-224 style configuration
>>> configuration = ConvNeXTV2Config()

>>> # Initializing a model (with random weights) from the convnextv2-tiny-1k-224 style configuration
>>> model = ConvNextV2Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ConvNextV2Model

class transformers.ConvNextV2Model

< source >

( config model_args: ~utils.generic.ModelArgs | None = None adapter_args: ~utils.generic.AdapterArgs | None = None lora_args: ~utils.generic.LoRAArgs | None = None tokenizer_args: ~utils.generic.TokenizerArgs | None = None dataset_args: ~utils.generic.DatasetArgs | None = None data_args: ~utils.generic.DataArgs | None = None training_args: ~utils.generic.TrainingArgs | None = None generation_args: ~utils.generic.GenerationArgs | None = None vision_tower_args: ~utils.generic.VisionTowerArgs | None = None qlora_args: ~utils.generic.QLoRAArgs | None = None vision_tower_template_args: ~utils.generic.VisionTowerTemplateArgs | None = None video_tower_args: ~utils.generic.VideoTowerArgs | None = None vision_config: ~utils.generic.VisionConfig | None = None video_config: ~utils.generic.VideoConfig | None = None load_dataset: bool | None = None load_data_collator: bool | None = None load_processor: bool | None = None load_lora_adapter: bool | None = None load_adapter: bool | None = None load_qlora_adapter: bool | None = None **kwargs: typing_extensions.Unpack[transformers.modeling_utils.PreTrainedModelKwargs] )

参数

config (ConvNextV2Model) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型相关的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。

裸的 Convnextv2 模型，输出原始隐藏状态，顶部没有任何特定的头部。

该模型继承自 PreTrainedModel。请查看超类文档以了解该库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头部等）。

此模型也是一个 PyTorch torch.nn.Module 子类。像普通的 PyTorch Module 一样使用它，并参考 PyTorch 文档了解一般用法和行为的所有相关信息。

forward

< source >

( pixel_values: torch.FloatTensor | None = None **kwargs: typing_extensions.Unpack[transformers.utils.generic.TransformersKwargs] ) → BaseModelOutputWithPoolingAndNoAttention 或 tuple(torch.FloatTensor)

参数

pixel_values (形状为 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor, 可选) — 对应于输入图像的张量。可以使用 ConvNextImageProcessor 获取像素值。详情请参阅 ConvNextImageProcessor.__call__()（processor_class 使用 ConvNextImageProcessor 来处理图像）。

BaseModelOutputWithPoolingAndNoAttention 或 tuple(torch.FloatTensor)

一个 BaseModelOutputWithPoolingAndNoAttention 或一个 torch.FloatTensor 元组（如果传入了 return_dict=False 或当 config.return_dict=False 时），根据配置 (ConvNextV2Config) 和输入，包含各种元素。

ConvNextV2Model 的 forward 方法，重写了 __call__ 特殊方法。

虽然 forward pass 的实现需要在此函数中定义，但你应该在之后调用 Module 实例而不是这个，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。

last_hidden_state (torch.FloatTensor, 形状为 (batch_size, num_channels, height, width)) — 模型最后一层输出的隐藏状态序列。
pooler_output (torch.FloatTensor, 形状为 (batch_size, hidden_size)) — 经过空间维度池化操作后的最后一层隐藏状态。
hidden_states (tuple(torch.FloatTensor), optional, 当传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型有嵌入层，则包含一个嵌入层输出，加上每层的一个输出），形状为 (batch_size, num_channels, height, width)。

模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

示例

ConvNextV2ForImageClassification

class transformers.ConvNextV2ForImageClassification

< source >

参数

config (ConvNextV2ForImageClassification) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型相关的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。

带有图像分类头（池化特征之上的线性层）的 ConvNextV2 模型，例如用于 ImageNet。

该模型继承自 PreTrainedModel。请查看超类文档以了解该库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头部等）。

此模型也是一个 PyTorch torch.nn.Module 子类。像普通的 PyTorch Module 一样使用它，并参考 PyTorch 文档了解一般用法和行为的所有相关信息。

forward

< source >

( pixel_values: torch.FloatTensor | None = None labels: torch.LongTensor | None = None **kwargs ) → ImageClassifierOutputWithNoAttention 或 tuple(torch.FloatTensor)

参数

pixel_values (形状为 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor, 可选) — 对应于输入图像的张量。可以使用 ConvNextImageProcessor 获取像素值。详情请参阅 ConvNextImageProcessor.__call__()（processor_class 使用 ConvNextImageProcessor 来处理图像）。
labels (形状为 (batch_size,) 的 torch.LongTensor, 可选) — 用于计算图像分类/回归损失的标签。索引应在 [0, ..., config.num_labels - 1] 之间。如果 config.num_labels == 1，则计算回归损失（均方误差损失）；如果 config.num_labels > 1，则计算分类损失（交叉熵损失）。

ImageClassifierOutputWithNoAttention 或 tuple(torch.FloatTensor)

一个 ImageClassifierOutputWithNoAttention 或一个 torch.FloatTensor 元组（如果传入了 return_dict=False 或当 config.return_dict=False 时），根据配置 (ConvNextV2Config) 和输入，包含各种元素。

ConvNextV2ForImageClassification 的 forward 方法，重写了 __call__ 特殊方法。

虽然 forward pass 的实现需要在此函数中定义，但你应该在之后调用 Module 实例而不是这个，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。

loss (形状为 (1,) 的 torch.FloatTensor，可选，当提供 labels 时返回) — 分类损失（如果 config.num_labels==1，则为回归损失）。
logits (形状为 (batch_size, config.num_labels) 的 torch.FloatTensor) — 分类（如果 config.num_labels==1，则为回归）分数（SoftMax 之前）。
hidden_states (tuple(torch.FloatTensor), optional, 当传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型有嵌入层，则包含一个嵌入层输出，加上每阶段的一个输出），形状为 (batch_size, num_channels, height, width)。模型在每个阶段输出的隐藏状态（也称为特征图）。

示例

>>> from transformers import AutoImageProcessor, ConvNextV2ForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/convnextv2-tiny-1k-224")
>>> model = ConvNextV2ForImageClassification.from_pretrained("facebook/convnextv2-tiny-1k-224")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...

在 GitHub 上更新