ConvNeXt V2

概述

ConvNeXt V2 模型由 Sanghyun Woo、Shoubhik Debnath、Ronghang Hu、Xinlei Chen、Zhuang Liu、In So Kweon 和 Saining Xie 在论文《ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders》中提出。ConvNeXt V2 是一个纯卷积模型（ConvNet），其设计灵感来源于 Vision Transformer，是 ConvNeXT 的后续版本。

论文摘要如下：

在改进的架构和更好的表示学习框架的推动下，视觉识别领域在 21 世纪 20 年代初经历了快速的现代化和性能提升。例如，以 ConvNeXt 为代表的现代卷积网络（ConvNets）在各种场景中都表现出了强大的性能。虽然这些模型最初是为使用 ImageNet 标签进行监督学习而设计的，但它们也可能从自监督学习技术中受益，例如掩码自编码器（MAE）。然而，我们发现简单地将这两种方法结合会导致性能不佳。在本文中，我们提出了一个全卷积掩码自编码器框架和一个新的全局响应归一化（Global Response Normalization，GRN）层，该层可以添加到 ConvNeXt 架构中以增强通道间特征的竞争。这种自监督学习技术和架构改进的协同设计产生了一个新的模型家族，称为 ConvNeXt V2，它显著提高了纯 ConvNets 在各种识别基准上的性能，包括 ImageNet 分类、COCO 检测和 ADE20K 分割。我们还提供了各种大小的预训练 ConvNeXt V2 模型，从参数为 370 万的高效 Atto 模型（在 ImageNet 上的 top-1 准确率为 76.7%），到参数为 6.5 亿的 Huge 模型，该模型仅使用公共训练数据就达到了 88.9% 的 SOTA 准确率。

ConvNeXt V2 架构。摘自原始论文。

该模型由 adirik 贡献。原始代码可以在这里找到。

资源

Hugging Face 官方和社区（由 🌎 标识）提供的资源列表，帮助你开始使用 ConvNeXt V2。

图像分类

此示例脚本和笔记本支持ConvNextV2ForImageClassification。

如果您有兴趣在此处提交资源，请随时开启 Pull Request，我们将对其进行审查！该资源最好能展示一些新内容，而不是重复现有资源。

ConvNextV2Config

class transformers.ConvNextV2Config

< 来源 >

( num_channels = 3 patch_size = 4 num_stages = 4 hidden_sizes = None depths = None hidden_act = 'gelu' initializer_range = 0.02 layer_norm_eps = 1e-12 drop_path_rate = 0.0 image_size = 224 out_features = None out_indices = None **kwargs )

参数

num_channels (int, 可选, 默认为 3) — 输入通道数。
patch_size (int, 可选, 默认为 4) — 图像块嵌入层中使用的图像块大小。
num_stages (int, 可选, 默认为 4) — 模型中的阶段数。
hidden_sizes (list[int], 可选, 默认为 [96, 192, 384, 768]) — 每个阶段的维度（隐藏层大小）。
depths (list[int], 可选, 默认为 [3, 3, 9, 3]) — 每个阶段的深度（块数）。
hidden_act (str 或 function, 可选, 默认为 "gelu") — 每个块中的非线性激活函数（函数或字符串）。如果为字符串，则支持 "gelu"、"relu"、"selu" 和 "gelu_new"。
initializer_range (float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。
layer_norm_eps (float, 可选, 默认为 1e-12) — 层归一化层使用的 epsilon 值。
drop_path_rate (float, 可选, 默认为 0.0) — 随机深度的丢弃率。
image_size (int, 可选, 默认为 224) — 每张图像的大小（分辨率）。
out_features (list[str], 可选) — 当用作骨干网络时，输出的特征列表。可以是 "stem"、"stage1"、"stage2" 等中的任何一个（取决于模型有多少个阶段）。如果未设置而 out_indices 已设置，则将默认为相应的阶段。如果未设置且 out_indices 也未设置，则将默认为最后一个阶段。必须与 stage_names 属性中定义的顺序相同。
out_indices (list[int], 可选) — 当用作骨干网络时，要输出的特征的索引列表。可以是 0、1、2 等中的任何一个（取决于模型有多少个阶段）。如果未设置而 out_features 已设置，则将默认为相应的阶段。如果未设置且 out_features 也未设置，则将默认为最后一个阶段。必须与 stage_names 属性中定义的顺序相同。

这是用于存储 ConvNextV2Model 配置的配置类。它用于根据指定的参数实例化一个 ConvNeXTV2 模型，定义模型架构。使用默认值实例化配置将产生与 ConvNeXTV2 facebook/convnextv2-tiny-1k-224 架构类似的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请参阅 PretrainedConfig 的文档。

示例

>>> from transformers import ConvNeXTV2Config, ConvNextV2Model

>>> # Initializing a ConvNeXTV2 convnextv2-tiny-1k-224 style configuration
>>> configuration = ConvNeXTV2Config()

>>> # Initializing a model (with random weights) from the convnextv2-tiny-1k-224 style configuration
>>> model = ConvNextV2Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ConvNextV2Model

class transformers.ConvNextV2Model

< 来源 >

( config )

参数

config (ConvNextV2Model) — 包含模型所有参数的模型配置类。使用配置文件进行初始化不会加载与模型关联的权重，只会加载配置。请查看 from_pretrained() 方法以加载模型权重。

基础的 Convnextv2 模型，输出原始的隐藏状态，没有任何特定的头部。

该模型继承自 PreTrainedModel。请查看超类文档以了解该库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、修剪头部等）。

该模型也是一个 PyTorch torch.nn.Module 的子类。可以像使用常规 PyTorch 模块一样使用它，并参考 PyTorch 文档了解所有与常规用法和行为相关的事项。

forward

< 来源 >

( pixel_values: typing.Optional[torch.FloatTensor] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.BaseModelOutputWithPoolingAndNoAttention 或 tuple(torch.FloatTensor)

参数

pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, image_size, image_size)，可选) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获取。有关详细信息，请参阅 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。

transformers.modeling_outputs.BaseModelOutputWithPoolingAndNoAttention 或 tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.BaseModelOutputWithPoolingAndNoAttention 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含根据配置（ConvNextV2Config）和输入的不同元素。

last_hidden_state (torch.FloatTensor, 形状为 (batch_size, num_channels, height, width)) — 模型最后一层输出的隐藏状态序列。
pooler_output (torch.FloatTensor, 形状为 (batch_size, hidden_size)) — 经过空间维度池化操作后的最后一层隐藏状态。
hidden_states (tuple(torch.FloatTensor), 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层，+ 一个用于每层的输出），形状为 (batch_size, num_channels, height, width)。

模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

ConvNextV2Model 的 forward 方法，重写了 __call__ 特殊方法。

尽管前向传播的配方需要在此函数内定义，但之后应调用 Module 实例而不是此函数，因为前者会处理运行前处理和后处理步骤，而后者会静默地忽略它们。

示例

ConvNextV2ForImageClassification

class transformers.ConvNextV2ForImageClassification

< 来源 >

( config )

参数

config (ConvNextV2ForImageClassification) — 包含模型所有参数的模型配置类。使用配置文件进行初始化不会加载与模型关联的权重，只会加载配置。请查看 from_pretrained() 方法以加载模型权重。

带有图像分类头的 ConvNextV2 模型（在池化特征之上加一个线性层），例如用于 ImageNet。

该模型继承自 PreTrainedModel。请查看超类文档以了解该库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、修剪头部等）。

该模型也是一个 PyTorch torch.nn.Module 的子类。可以像使用常规 PyTorch 模块一样使用它，并参考 PyTorch 文档了解所有与常规用法和行为相关的事项。

forward

< 来源 >

( pixel_values: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.ImageClassifierOutputWithNoAttention 或 tuple(torch.FloatTensor)

参数

pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, image_size, image_size)，可选) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获取。有关详细信息，请参阅 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
labels (torch.LongTensor，形状为 (batch_size,)，可选) — 用于计算图像分类/回归损失的标签。索引应在 [0, ..., config.num_labels - 1] 范围内。如果 config.num_labels == 1，则计算回归损失（均方损失），如果 config.num_labels > 1，则计算分类损失（交叉熵）。
output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。

transformers.modeling_outputs.ImageClassifierOutputWithNoAttention 或 tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.ImageClassifierOutputWithNoAttention 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含根据配置（ConvNextV2Config）和输入的不同元素。

loss (形状为 (1,) 的 torch.FloatTensor，可选，当提供 labels 时返回) — 分类损失（如果 config.num_labels==1，则为回归损失）。
logits (形状为 (batch_size, config.num_labels) 的 torch.FloatTensor) — 分类（如果 config.num_labels==1，则为回归）分数（SoftMax 之前）。
hidden_states (tuple(torch.FloatTensor), 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层，+ 一个用于每个阶段的输出），形状为 (batch_size, num_channels, height, width)。模型在每个阶段输出的隐藏状态（也称为特征图）。

ConvNextV2ForImageClassification 的 forward 方法，重写了 __call__ 特殊方法。

示例

>>> from transformers import AutoImageProcessor, ConvNextV2ForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/convnextv2-tiny-1k-224")
>>> model = ConvNextV2ForImageClassification.from_pretrained("facebook/convnextv2-tiny-1k-224")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...

TFConvNextV2Model

class transformers.TFConvNextV2Model

< 来源 >

( config: ConvNextV2Config *inputs **kwargs )

参数

config (ConvNextV2Config) — 包含模型所有参数的模型配置类。使用配置文件进行初始化不会加载与模型关联的权重，只会加载配置。请查看 from_pretrained() 方法以加载模型权重。

基础的 ConvNextV2 模型，输出原始特征，没有任何特定的头部。该模型继承自 TFPreTrainedModel。请查看超类文档以了解该库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、修剪头部等）。

该模型也是一个 keras.Model 的子类。可以像使用常规的 TF 2.0 Keras 模型一样使用它，并参考 TF 2.0 文档了解所有与常规用法和行为相关的事项。

transformers 中的 TensorFlow 模型和层接受两种输入格式

所有输入作为关键字参数（如 PyTorch 模型），或
所有输入作为第一个位置参数中的列表、元组或字典。

支持第二种格式的原因是，Keras 方法在将输入传递给模型和层时更喜欢这种格式。由于这种支持，当使用 model.fit() 等方法时，一切应该会“正常工作”——只需以 model.fit() 支持的任何格式传递你的输入和标签！然而，如果你想在 Keras 方法（如 fit() 和 predict()）之外使用第二种格式，例如在使用 Keras Functional API 创建自己的层或模型时，有三种可能性可以用来在第一个位置参数中收集所有输入张量：

一个只包含 pixel_values 的独立张量：model(pixel_values)
一个长度可变的列表，其中包含一个或多个输入张量，按文档字符串中给定的顺序排列：model([pixel_values, attention_mask]) 或 model([pixel_values, attention_mask, token_type_ids])
一个字典，包含一个或多个与文档字符串中给定的输入名称相关联的输入张量：model({"pixel_values": pixel_values, "token_type_ids": token_type_ids})

请注意，当使用子类化创建模型和层时，你无需担心任何这些问题，因为你可以像传递给任何其他 Python 函数一样传递输入！

调用

< source >

( pixel_values: TFModelInputType | None = None output_hidden_states: Optional[bool] = None return_dict: Optional[bool] = None training: bool = False ) → transformers.modeling_tf_outputs.TFBaseModelOutputWithPoolingAndNoAttention 或 tuple(tf.Tensor)

参数

pixel_values (np.ndarray, tf.Tensor, list[tf.Tensor], dict[str, tf.Tensor] 或 dict[str, np.ndarray]，并且每个示例的形状必须为 (batch_size, num_channels, height, width)) — 像素值。像素值可以使用 AutoImageProcessor 获取。有关详细信息，请参阅 ConvNextImageProcessor.__call__()。
output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。此参数只能在 Eager 模式下使用，在图模式下将使用配置中的值。
return_dict (bool, optional) — 是否返回一个 ModelOutput 而不是一个普通的元组。此参数可以在 Eager 模式下使用，在图模式下，该值将始终设置为 True。

transformers.modeling_tf_outputs.TFBaseModelOutputWithPoolingAndNoAttention 或 tuple(tf.Tensor)

一个 transformers.modeling_tf_outputs.TFBaseModelOutputWithPoolingAndNoAttention 或一个 tf.Tensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），根据配置（ConvNextV2Config）和输入，包含各种元素。

last_hidden_state (形状为 (batch_size, num_channels, height, width) 的 tf.Tensor) — 模型最后一层输出的隐藏状态序列。
pooler_output (形状为 (batch_size, hidden_size) 的 tf.Tensor) — 在空间维度上进行池化操作后最后一层的隐藏状态。
hidden_states (tuple(tf.Tensor), optional, 当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — tf.Tensor 的元组（如果模型有嵌入层，则一个用于嵌入层的输出，外加每个层的输出），形状为 (batch_size, num_channels, height, width)。

模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

TFConvNextV2Model 的前向方法，重写了 __call__ 特殊方法。

示例

>>> from transformers import AutoImageProcessor, TFConvNextV2Model
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/convnextv2-tiny-1k-224")
>>> model = TFConvNextV2Model.from_pretrained("facebook/convnextv2-tiny-1k-224")

>>> inputs = image_processor(image, return_tensors="tf")
>>> outputs = model(**inputs)

>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 768, 7, 7]

TFConvNextV2ForImageClassification

class transformers.TFConvNextV2ForImageClassification

< source >

( config: ConvNextV2Config *inputs **kwargs )

参数

config (ConvNextV2Config) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型相关的权重，只会加载配置。请查看 from_pretrained() 方法来加载模型权重。

带有图像分类头的 ConvNextV2 模型（在池化特征之上加一个线性层），例如用于 ImageNet。

该模型继承自 TFPreTrainedModel。请查看超类文档，了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、修剪头部等）。

该模型也是一个 keras.Model 的子类。可以像使用常规的 TF 2.0 Keras 模型一样使用它，并参考 TF 2.0 文档了解所有与常规用法和行为相关的事项。

transformers 中的 TensorFlow 模型和层接受两种输入格式

所有输入作为关键字参数（如 PyTorch 模型），或
所有输入作为第一个位置参数中的列表、元组或字典。

一个只包含 pixel_values 的独立张量：model(pixel_values)
一个长度可变的列表，其中包含一个或多个输入张量，按文档字符串中给定的顺序排列：model([pixel_values, attention_mask]) 或 model([pixel_values, attention_mask, token_type_ids])
一个字典，包含一个或多个与文档字符串中给定的输入名称相关联的输入张量：model({"pixel_values": pixel_values, "token_type_ids": token_type_ids})

请注意，当使用子类化创建模型和层时，你无需担心任何这些问题，因为你可以像传递给任何其他 Python 函数一样传递输入！

调用

< source >

( pixel_values: TFModelInputType | None = None output_hidden_states: Optional[bool] = None return_dict: Optional[bool] = None labels: np.ndarray | tf.Tensor | None = None training: Optional[bool] = False ) → transformers.modeling_tf_outputs.TFImageClassifierOutputWithNoAttention 或 tuple(tf.Tensor)

参数

pixel_values (np.ndarray, tf.Tensor, list[tf.Tensor], dict[str, tf.Tensor] 或 dict[str, np.ndarray]，并且每个示例的形状必须为 (batch_size, num_channels, height, width)) — 像素值。像素值可以使用 AutoImageProcessor 获取。有关详细信息，请参阅 ConvNextImageProcessor.__call__()。
output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。此参数只能在 Eager 模式下使用，在图模式下将使用配置中的值。
return_dict (bool, optional) — 是否返回一个 ModelOutput 而不是一个普通的元组。此参数可以在 Eager 模式下使用，在图模式下，该值将始终设置为 True。
labels (tf.Tensor 或 np.ndarray，形状为 (batch_size,), optional) — 用于计算图像分类/回归损失的标签。索引应在 [0, ..., config.num_labels - 1] 范围内。如果 config.num_labels == 1，则计算回归损失（均方损失），如果 config.num_labels > 1，则计算分类损失（交叉熵）。

transformers.modeling_tf_outputs.TFImageClassifierOutputWithNoAttention 或 tuple(tf.Tensor)

一个 transformers.modeling_tf_outputs.TFImageClassifierOutputWithNoAttention 或一个 tf.Tensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），根据配置（ConvNextV2Config）和输入，包含各种元素。

loss (形状为 (1,) 的 tf.Tensor，可选，当提供 labels 时返回) — 分类（如果 config.num_labels==1，则为回归）损失。
logits (tf.Tensor，形状为 (batch_size, config.num_labels)) — 分类（或回归，如果 config.num_labels==1）分数（SoftMax 之前）。
hidden_states (tuple(tf.Tensor), optional, 当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — tf.Tensor 的元组（如果模型有嵌入层，则一个用于嵌入层的输出，外加每个阶段的输出），形状为 (batch_size, num_channels, height, width)。模型在每个阶段输出的隐藏状态（也称为特征图）。

TFConvNextV2ForImageClassification 的前向方法，重写了 __call__ 特殊方法。

示例

>>> from transformers import AutoImageProcessor, TFConvNextV2ForImageClassification
>>> import tensorflow as tf
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image"))
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/convnextv2-tiny-1k-224")
>>> model = TFConvNextV2ForImageClassification.from_pretrained("facebook/convnextv2-tiny-1k-224")

>>> inputs = image_processor(image, return_tensors="tf")
>>> logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = int(tf.math.argmax(logits, axis=-1))
>>> print(model.config.id2label[predicted_label])
tabby, tabby cat

< > 在 GitHub 上更新

Transformers

ConvNeXt V2

概述

资源

ConvNextV2Config

class transformers.ConvNextV2Config

ConvNextV2Model

class transformers.ConvNextV2Model

forward

ConvNextV2ForImageClassification

class transformers.ConvNextV2ForImageClassification

forward

TFConvNextV2Model

class transformers.TFConvNextV2Model

调用

TFConvNextV2ForImageClassification

class transformers.TFConvNextV2ForImageClassification

调用