ConvNeXT

概述

ConvNeXT 模型在 2020 年代的卷积网络中提出，作者是 Zhuang Liu、Hanzi Mao、Chao-Yuan Wu、Christoph Feichtenhofer、Trevor Darrell、Saining Xie。ConvNeXT 是一种纯卷积模型 (ConvNet)，其设计灵感来自 Vision Transformers，声称性能优于后者。

该论文的摘要如下：

视觉识别的“咆哮的 20 年代”始于 Vision Transformers (ViT) 的引入，它迅速取代了 ConvNets 成为最先进的图像分类模型。另一方面，当应用于对象检测和语义分割等通用计算机视觉任务时，原始 ViT 面临困难。正是分层 Transformer（例如，Swin Transformers）重新引入了几个 ConvNet 先验，使 Transformer 在实践中可以作为通用的视觉骨干网络，并在各种视觉任务中展示了卓越的性能。然而，这种混合方法的有效性仍然主要归功于 Transformer 的内在优越性，而不是卷积固有的归纳偏置。在这项工作中，我们重新审视了设计空间，并测试了纯 ConvNet 可以实现的极限。我们逐步将标准 ResNet“现代化”以适应视觉 Transformer 的设计，并在此过程中发现了几个有助于性能差异的关键组件。这种探索的结果是一个名为 ConvNeXt 的纯 ConvNet 模型系列。ConvNeXt 完全由标准 ConvNet 模块构建，在准确性和可扩展性方面与 Transformer 竞争，在 ImageNet top-1 准确率方面达到 87.8%，并且在 COCO 检测和 ADE20K 分割方面优于 Swin Transformers，同时保持了标准 ConvNet 的简单性和效率。

ConvNeXT 架构。取自原始论文。

此模型由 nielsr 贡献。该模型的 TensorFlow 版本由 ariG23498、gante 和 sayakpaul（同等贡献）贡献。原始代码可以在这里找到。

资源

官方 Hugging Face 和社区（以 🌎 表示）资源的列表，可帮助您开始使用 ConvNeXT。

图像分类

ConvNextForImageClassification 由此示例脚本和notebook支持。
另请参阅：图像分类任务指南

如果您有兴趣提交资源以包含在此处，请随时打开 Pull Request，我们将对其进行审核！该资源最好能展示一些新的东西，而不是重复现有的资源。

ConvNextConfig

class transformers.ConvNextConfig

< 源代码 >

( num_channels = 3 patch_size = 4 num_stages = 4 hidden_sizes = None depths = None hidden_act = 'gelu' initializer_range = 0.02 layer_norm_eps = 1e-12 layer_scale_init_value = 1e-06 drop_path_rate = 0.0 image_size = 224 out_features = None out_indices = None **kwargs )

参数

num_channels (int, 可选, 默认为 3) — 输入通道数。
patch_size (int, 可选, 默认为 4) — 在 patch 嵌入层中使用的 patch 大小。
num_stages (int, 可选, 默认为 4) — 模型中的阶段数。
hidden_sizes (List[int], 可选, 默认为 [96, 192, 384, 768]) — 每个阶段的维度（隐藏大小）。
depths (List[int], 可选, 默认为 [3, 3, 9, 3]) — 每个阶段的深度（块数）。
hidden_act (str 或 function, 可选, 默认为 "gelu") — 每个块中的非线性激活函数（函数或字符串）。如果为字符串，则支持 "gelu"、"relu"、"selu" 和 "gelu_new"。
initializer_range (float, optional, defaults to 0.02) — 用于初始化所有权重矩阵的截断正态分布初始化器的标准差。
layer_norm_eps (float, optional, defaults to 1e-12) — 层归一化层使用的 epsilon 值。
layer_scale_init_value (float, optional, defaults to 1e-6) — 层缩放的初始值。
drop_path_rate (float, optional, defaults to 0.0) — 随机深度（stochastic depth）的 dropout 比率。
out_features (List[str], optional) — 如果用作骨干网络，则输出的特征列表。可以是 "stem", "stage1", "stage2" 等中的任何一个（取决于模型有多少个阶段）。如果未设置且设置了 out_indices，则默认为相应的阶段。如果未设置且 out_indices 也未设置，则默认为最后一个阶段。必须与 stage_names 属性中定义的顺序相同。
out_indices (List[int], optional) — 如果用作骨干网络，则输出的特征索引列表。可以是 0, 1, 2 等中的任何一个（取决于模型有多少个阶段）。如果未设置且设置了 out_features，则默认为相应的阶段。如果未设置且 out_features 也未设置，则默认为最后一个阶段。必须与 stage_names 属性中定义的顺序相同。

这是用于存储 ConvNextModel 配置的配置类。它用于根据指定的参数实例化 ConvNeXT 模型，定义模型架构。使用默认值实例化配置将产生与 ConvNeXT facebook/convnext-tiny-224 架构类似的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。

示例

>>> from transformers import ConvNextConfig, ConvNextModel

>>> # Initializing a ConvNext convnext-tiny-224 style configuration
>>> configuration = ConvNextConfig()

>>> # Initializing a model (with random weights) from the convnext-tiny-224 style configuration
>>> model = ConvNextModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ConvNextFeatureExtractor

class transformers.ConvNextFeatureExtractor

< source >

( *args **kwargs )

ConvNextImageProcessor

class transformers.ConvNextImageProcessor

< source >

( do_resize: bool = True size: typing.Dict[str, int] = None crop_pct: float = None resample: Resampling = <Resampling.BILINEAR: 2> do_rescale: bool = True rescale_factor: typing.Union[int, float] = 0.00392156862745098 do_normalize: bool = True image_mean: typing.Union[float, typing.List[float], NoneType] = None image_std: typing.Union[float, typing.List[float], NoneType] = None **kwargs )

参数

do_resize (bool, optional, defaults to True) — 控制是否将图像的（高度，宽度）尺寸调整为指定的 size。可以被 preprocess 方法中的 do_resize 重写。
size (Dict[str, int] optional, defaults to {"shortest_edge" -- 384}): 应用 resize 后输出图像的分辨率。如果 size["shortest_edge"] >= 384，则图像将调整为 (size["shortest_edge"], size["shortest_edge"])。否则，图像的较小边缘将匹配到 int(size["shortest_edge"]/crop_pct)，之后图像将被裁剪为 (size["shortest_edge"], size["shortest_edge"])。仅当 do_resize 设置为 True 时才有效。可以被 preprocess 方法中的 size 重写。
crop_pct (float optional, defaults to 224 / 256) — 要裁剪的图像百分比。仅当 do_resize 为 True 且 size < 384 时才有效。可以被 preprocess 方法中的 crop_pct 重写。
resample (PILImageResampling, optional, defaults to Resampling.BILINEAR) — 如果调整图像大小，则使用的重采样滤波器。可以被 preprocess 方法中的 resample 重写。
do_rescale (bool, optional, defaults to True) — 是否按指定的比例 rescale_factor 重新缩放图像。可以被 preprocess 方法中的 do_rescale 重写。
rescale_factor (int or float, optional, defaults to 1/255) — 如果重新缩放图像，则使用的缩放因子。可以被 preprocess 方法中的 rescale_factor 重写。
do_normalize (bool, optional, defaults to True) — 是否对图像进行归一化。可以被 preprocess 方法中的 do_normalize 参数重写。
image_mean (float or List[float], optional, defaults to IMAGENET_STANDARD_MEAN) — 如果归一化图像，则使用的均值。这是一个浮点数或浮点数列表，其长度为图像中通道的数量。可以被 preprocess 方法中的 image_mean 参数重写。
image_std (float or List[float], optional, defaults to IMAGENET_STANDARD_STD) — 如果归一化图像，则使用的标准差。这是一个浮点数或浮点数列表，其长度为图像中通道的数量。可以被 preprocess 方法中的 image_std 参数重写。

构建 ConvNeXT 图像处理器。

preprocess

< source >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']] do_resize: bool = None size: typing.Dict[str, int] = None crop_pct: float = None resample: Resampling = None do_rescale: bool = None rescale_factor: float = None do_normalize: bool = None image_mean: typing.Union[float, typing.List[float], NoneType] = None image_std: typing.Union[float, typing.List[float], NoneType] = None return_tensors: typing.Union[str, transformers.utils.generic.TensorType, NoneType] = None data_format: ChannelDimension = <ChannelDimension.FIRST: 'channels_first'> input_data_format: typing.Union[transformers.image_utils.ChannelDimension, str, NoneType] = None )

参数

images (ImageInput) — 要预处理的图像。期望单个或一批像素值范围为 0 到 255 的图像。如果传入的图像像素值在 0 到 1 之间，请设置 do_rescale=False。
do_resize (bool, optional, defaults to self.do_resize) — 是否调整图像大小。
size (Dict[str, int], optional, defaults to self.size) — 应用 resize 后输出图像的大小。如果 size["shortest_edge"] >= 384，则图像将调整为 (size["shortest_edge"], size["shortest_edge"])。否则，图像的较小边缘将匹配到 int(size["shortest_edge"]/ crop_pct)，之后图像将被裁剪为 (size["shortest_edge"], size["shortest_edge"])。仅当 do_resize 设置为 True 时才有效。
crop_pct (float, 可选, 默认为 self.crop_pct) — 如果尺寸 < 384，则裁剪图像的百分比。
resample (int, 可选, 默认为 self.resample) — 如果调整图像大小，则使用的重采样过滤器。可以是 PILImageResampling，filters 之一。仅当 do_resize 设置为 True 时才有效。
do_rescale (bool, 可选, 默认为 self.do_rescale) — 是否将图像值重新缩放到 [0 - 1] 之间。
rescale_factor (float, 可选, 默认为 self.rescale_factor) — 如果 do_rescale 设置为 True，则用于重新缩放图像的缩放因子。
do_normalize (bool, 可选, 默认为 self.do_normalize) — 是否对图像进行归一化。
image_mean (float 或 List[float], 可选, 默认为 self.image_mean) — 图像均值。
image_std (float 或 List[float], 可选, 默认为 self.image_std) — 图像标准差。
return_tensors (str 或 TensorType, 可选) — 返回张量的类型。可以是以下之一：
- 未设置：返回 np.ndarray 列表。
- TensorType.TENSORFLOW 或 'tf'：返回 tf.Tensor 类型的批次。
- TensorType.PYTORCH 或 'pt'：返回 torch.Tensor 类型的批次。
- TensorType.NUMPY 或 'np'：返回 np.ndarray 类型的批次。
- TensorType.JAX 或 'jax'：返回 jax.numpy.ndarray 类型的批次。
data_format (ChannelDimension 或 str, 可选, 默认为 ChannelDimension.FIRST) — 输出图像的通道维度格式。可以是以下之一：
- "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
- "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
- 未设置：使用输入图像的通道维度格式。
input_data_format (ChannelDimension 或 str, 可选) — 输入图像的通道维度格式。如果未设置，则通道维度格式从输入图像推断。可以是以下之一：
- "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
- "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
- "none" 或 ChannelDimension.NONE：图像格式为 (height, width)。

预处理单张或批量图像。

ConvNextImageProcessorFast

class transformers.ConvNextImageProcessorFast

< source >

( **kwargs: typing_extensions.Unpack[transformers.models.convnext.image_processing_convnext_fast.ConvNextFastImageProcessorKwargs] )

参数

do_resize (bool, 可选, 默认为 self.do_resize) — 是否将图像的 (height, width) 维度调整为指定的 size。可以被 preprocess 方法中的 do_resize 参数覆盖。
size (dict, 可选, 默认为 self.size) — 调整大小后输出图像的尺寸。可以被 preprocess 方法中的 size 参数覆盖。
default_to_square (bool, 可选, 默认为 self.default_to_square) — 当调整大小时，如果 size 是整数，是否默认为正方形图像。
resample (PILImageResampling, 可选, 默认为 self.resample) — 如果调整图像大小，则使用的重采样过滤器。仅当 do_resize 设置为 True 时才有效。可以被 preprocess 方法中的 resample 参数覆盖。
do_center_crop (bool, 可选, 默认为 self.do_center_crop) — 是否将图像中心裁剪为指定的 crop_size。可以被 preprocess 方法中的 do_center_crop 覆盖。
crop_size (Dict[str, int] 可选, 默认为 self.crop_size) — 应用 center_crop 后输出图像的尺寸。可以被 preprocess 方法中的 crop_size 覆盖。
do_rescale (bool, 可选, 默认为 self.do_rescale) — 是否按指定的比例 rescale_factor 重新缩放图像。可以被 preprocess 方法中的 do_rescale 参数覆盖。
rescale_factor (int 或 float, 可选, 默认为 self.rescale_factor) — 如果重新缩放图像，则使用的缩放因子。仅当 do_rescale 设置为 True 时才有效。可以被 preprocess 方法中的 rescale_factor 参数覆盖。
do_normalize (bool, 可选, 默认为 self.do_normalize) — 是否对图像进行归一化。可以被 preprocess 方法中的 do_normalize 参数覆盖。可以被 preprocess 方法中的 do_normalize 参数覆盖。
image_mean (float 或 List[float], 可选, 默认为 self.image_mean) — 归一化图像时使用的均值。这是一个浮点数或浮点数列表，其长度等于图像中的通道数。可以被 preprocess 方法中的 image_mean 参数覆盖。可以被 preprocess 方法中的 image_mean 参数覆盖。
image_std (float 或 List[float], 可选, 默认为 self.image_std) — 归一化图像时使用的标准差。这是一个浮点数或浮点数列表，其长度等于图像中的通道数。可以被 preprocess 方法中的 image_std 参数覆盖。可以被 preprocess 方法中的 image_std 参数覆盖。
do_convert_rgb (bool, 可选, 默认为 self.do_convert_rgb) — 是否将图像转换为 RGB 格式。
return_tensors (str 或 TensorType, 可选, 默认为 self.return_tensors) — 如果设置为 `pt`，则返回堆叠张量，否则返回张量列表。
data_format (ChannelDimension 或 str, 可选, 默认为 self.data_format) — 仅支持 ChannelDimension.FIRST。为与慢速处理器兼容而添加。
input_data_format (ChannelDimension 或 str, 可选, 默认为 self.input_data_format) — 输入图像的通道维度格式。如果未设置，则通道维度格式从输入图像推断。可以是以下之一：
- "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
- "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
- "none" 或 ChannelDimension.NONE：图像格式为 (height, width)。
device (torch.device, 可选, 默认为 self.device) — 用于处理图像的设备。如果未设置，则设备从输入图像推断。
crop_pct (float, 可选) — 图像裁剪的百分比。仅当尺寸 < 384 时才有效。可以被 preprocess 方法中的 crop_pct 覆盖。

构建快速 ConvNeXT 图像处理器。

preprocess

< source >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']] **kwargs: typing_extensions.Unpack[transformers.models.convnext.image_processing_convnext_fast.ConvNextFastImageProcessorKwargs] )

参数

images (ImageInput) — 预处理的图像。期望输入像素值范围在 0 到 255 之间的单张或批量图像。如果传入的图像像素值在 0 到 1 之间，请设置 do_rescale=False。
do_resize (bool, optional, defaults to self.do_resize) — 是否调整图像大小。
size (Dict[str, int], optional, defaults to self.size) — 描述模型的最大输入尺寸。
resample (PILImageResampling or InterpolationMode, optional, defaults to self.resample) — 如果调整图像大小，则使用的重采样过滤器。可以是枚举类型 PILImageResampling 之一。仅当 do_resize 设置为 True 时才有效。
do_center_crop (bool, optional, defaults to self.do_center_crop) — 是否对图像进行中心裁剪。
crop_size (Dict[str, int], optional, defaults to self.crop_size) — 应用 center_crop 后输出图像的大小。
do_rescale (bool, optional, defaults to self.do_rescale) — 是否对图像进行重新缩放。
rescale_factor (float, optional, defaults to self.rescale_factor) — 如果 do_rescale 设置为 True，则用于重新缩放图像的缩放因子。
do_normalize (bool, optional, defaults to self.do_normalize) — 是否对图像进行归一化。
image_mean (float or List[float], optional, defaults to self.image_mean) — 用于归一化的图像均值。仅当 do_normalize 设置为 True 时才有效。
image_std (float or List[float], optional, defaults to self.image_std) — 用于归一化的图像标准差。仅当 do_normalize 设置为 True 时才有效。
do_convert_rgb (bool, optional, defaults to self.do_convert_rgb) — 是否将图像转换为 RGB 格式。
return_tensors (str or TensorType, optional, defaults to self.return_tensors) — 如果设置为 `pt`，则返回堆叠的张量，否则返回张量列表。
data_format (ChannelDimension or str, optional, defaults to self.data_format) — 仅支持 ChannelDimension.FIRST。为了与慢速处理器兼容而添加。
input_data_format (ChannelDimension or str, optional, defaults to self.input_data_format) — 输入图像的通道维度格式。如果未设置，则通道维度格式从输入图像推断。可以是以下之一：
- "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
- "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
- "none" 或 ChannelDimension.NONE：图像格式为 (height, width)。
device (torch.device, optional, defaults to self.device) — 处理图像的设备。如果未设置，则设备从输入图像推断。
crop_pct (float, optional) — 图像裁剪百分比。仅当尺寸 < 384 时才有效。可以被 preprocess 方法中的 crop_pct 覆盖。

预处理单张或批量图像。

Pytorch

Hide Pytorch content

ConvNextModel

class transformers.ConvNextModel

< source >

( config )

参数

config (ConvNextConfig) — 带有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，仅加载配置。查看 from_pretrained() 方法来加载模型权重。

裸 ConvNext 模型，输出原始特征，顶部没有任何特定的 head。此模型是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取与常规用法和行为相关的所有事项。

forward

< source >

( pixel_values: FloatTensor = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.BaseModelOutputWithPoolingAndNoAttention or tuple(torch.FloatTensor)

参数

pixel_values (torch.FloatTensor of shape (batch_size, num_channels, height, width)) — 像素值。像素值可以使用 AutoImageProcessor 获得。有关详细信息，请参阅 ConvNextImageProcessor.call()。
output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
return_dict (bool, optional) — 是否返回 ModelOutput 而不是纯粹的元组。

返回值

transformers.modeling_outputs.BaseModelOutputWithPoolingAndNoAttention 或 tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.BaseModelOutputWithPoolingAndNoAttention 或一个 torch.FloatTensor 元组 (如果传递了 return_dict=False 或者当 config.return_dict=False 时)，包含各种元素，具体取决于配置 (ConvNextConfig) 和输入。

last_hidden_state (形状为 (batch_size, num_channels, height, width) 的 torch.FloatTensor) — 模型最后一层的输出隐藏状态序列。
pooler_output (形状为 (batch_size, hidden_size) 的 torch.FloatTensor) — 在空间维度上进行池化操作后的最后一层隐藏状态。
hidden_states (tuple(torch.FloatTensor), optional, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组 (如果模型有嵌入层，则为嵌入层的输出 + 每层输出一个)，形状为 (batch_size, num_channels, height, width)。

模型在每一层输出的隐藏状态，加上可选的初始嵌入输出。

ConvNextModel 的 forward 方法，覆盖了 __call__ 特殊方法。

尽管 forward 传递的配方需要在该函数中定义，但应该在之后调用 Module 实例而不是此函数，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。

示例

>>> from transformers import AutoImageProcessor, ConvNextModel
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image", trust_remote_code=True)
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/convnext-tiny-224")
>>> model = ConvNextModel.from_pretrained("facebook/convnext-tiny-224")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 768, 7, 7]

ConvNextForImageClassification

class transformers.ConvNextForImageClassification

< source >

( config )

参数

config (ConvNextConfig) — 带有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，仅加载配置。查看 from_pretrained() 方法来加载模型权重。

带有图像分类头的 ConvNext 模型（池化特征顶部的线性层），例如用于 ImageNet。

此模型是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档了解所有与通用用法和行为相关的事项。

forward

< source >

( pixel_values: FloatTensor = None labels: typing.Optional[torch.LongTensor] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.ImageClassifierOutputWithNoAttention 或 tuple(torch.FloatTensor)

参数

pixel_values (形状为 (batch_size, num_channels, height, width) 的 torch.FloatTensor) — 像素值。像素值可以使用 AutoImageProcessor 获得。有关详细信息，请参阅 ConvNextImageProcessor.call()。
output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
return_dict (bool, optional) — 是否返回 ModelOutput 而不是纯粹的元组。
labels (形状为 (batch_size,) 的 torch.LongTensor, optional) — 用于计算图像分类/回归损失的标签。索引应在 [0, ..., config.num_labels - 1] 中。如果 config.num_labels == 1，则计算回归损失（均方误差损失），如果 config.num_labels > 1，则计算分类损失（交叉熵损失）。

返回值

transformers.modeling_outputs.ImageClassifierOutputWithNoAttention 或 tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.ImageClassifierOutputWithNoAttention 或一个 torch.FloatTensor 元组 (如果传递了 return_dict=False 或者当 config.return_dict=False 时)，包含各种元素，具体取决于配置 (ConvNextConfig) 和输入。

loss (形状为 (1,) 的 torch.FloatTensor, optional, 当提供 labels 时返回) — 分类（或回归，如果 config.num_labels==1）损失。
logits (形状为 (batch_size, config.num_labels) 的 torch.FloatTensor) — 分类（或回归，如果 config.num_labels==1）得分（在 SoftMax 之前）。
hidden_states (tuple(torch.FloatTensor), optional, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组 (如果模型有嵌入层，则为嵌入层的输出 + 每个阶段输出一个)，形状为 (batch_size, num_channels, height, width)。模型在每个阶段输出的隐藏状态（也称为特征图）。

ConvNextForImageClassification 的 forward 方法，覆盖了 __call__ 特殊方法。

示例

>>> from transformers import AutoImageProcessor, ConvNextForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image", trust_remote_code=True)
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/convnext-tiny-224")
>>> model = ConvNextForImageClassification.from_pretrained("facebook/convnext-tiny-224")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
tabby, tabby cat

TensorFlow

隐藏 TensorFlow 内容

TFConvNextModel

class transformers.TFConvNextModel

< source >

( config *inputs add_pooling_layer = True **kwargs )

参数

config (ConvNextConfig) — 带有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，仅加载配置。查看 from_pretrained() 方法来加载模型权重。

裸 ConvNext 模型，输出原始特征，顶部没有任何特定的头部。此模型继承自 TFPreTrainedModel。查看超类文档，了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头等）。

此模型也是 keras.Model 子类。将其用作常规 TF 2.0 Keras 模型，并参考 TF 2.0 文档了解所有与通用用法和行为相关的事项。

transformers 中的 TensorFlow 模型和层接受两种输入格式

将所有输入作为关键字参数（如 PyTorch 模型），或者
将所有输入作为列表、元组或字典放在第一个位置参数中。

支持第二种格式的原因是，Keras 方法在将输入传递给模型和层时更喜欢这种格式。由于这种支持，当使用诸如 model.fit() 之类的方法时，对于您来说，事情应该“正常工作” - 只需以 model.fit() 支持的任何格式传递您的输入和标签即可！但是，如果您想在 Keras 方法（如 fit() 和 predict()）之外使用第二种格式，例如在使用 Keras Functional API 创建自己的层或模型时，您可以使用以下三种可能性来收集第一个位置参数中的所有输入张量

仅包含 pixel_values 的单个张量，没有其他内容：model(pixel_values)
长度可变的列表，其中包含一个或多个输入张量，顺序与文档字符串中给出的顺序相同：model([pixel_values, attention_mask]) 或 model([pixel_values, attention_mask, token_type_ids])
字典，其中包含一个或多个输入张量，并与文档字符串中给出的输入名称相关联：model({"pixel_values": pixel_values, "token_type_ids": token_type_ids})

请注意，当使用子类化创建模型和层时，您无需担心这些，因为您可以像对待任何其他 Python 函数一样传递输入！

call

< source >

( pixel_values: TFModelInputType | None = None output_hidden_states: Optional[bool] = None return_dict: Optional[bool] = None training: bool = False ) → transformers.modeling_tf_outputs.TFBaseModelOutputWithPooling 或 tuple(tf.Tensor)

参数

pixel_values (np.ndarray, tf.Tensor, List[tf.Tensor] `Dict[str, tf.Tensor] 或 Dict[str, np.ndarray] 并且每个示例必须具有形状 (batch_size, num_channels, height, width)) — 像素值。像素值可以使用 AutoImageProcessor 获得。有关详细信息，请参阅 ConvNextImageProcessor.call()。
output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。此参数只能在 eager 模式下使用，在 graph 模式下将使用配置中的值。
return_dict (bool, optional) — 是否返回 ModelOutput 而不是纯粹的元组。此参数可以在 eager 模式下使用，在 graph 模式下该值将始终设置为 True。

返回值

transformers.modeling_tf_outputs.TFBaseModelOutputWithPooling 或 tuple(tf.Tensor)

一个 transformers.modeling_tf_outputs.TFBaseModelOutputWithPooling 或一个 tf.Tensor 元组 (如果传递了 return_dict=False 或者当 config.return_dict=False 时)，包含各种元素，具体取决于配置 (ConvNextConfig) 和输入。

last_hidden_state (形状为 (batch_size, sequence_length, hidden_size) 的 tf.Tensor) — 模型最后一层的输出隐藏状态序列。
pooler_output (形状为 (batch_size, hidden_size) 的 tf.Tensor) — 序列第一个 token（分类 token）的最后一层隐藏状态，通过线性层和 Tanh 激活函数进一步处理。线性层权重在预训练期间从下一个句子预测（分类）目标中训练而来。

此输出通常不是输入的语义内容的良好摘要，通常最好对整个输入序列的隐藏状态序列进行平均或池化。
hidden_states (tuple(tf.Tensor), optional, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — tf.Tensor 元组 (一个用于嵌入的输出 + 一个用于每一层的输出)，形状为 (batch_size, sequence_length, hidden_size)。

模型在每一层输出的隐藏状态，加上初始嵌入输出。
attentions (tuple(tf.Tensor), optional, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — tf.Tensor 元组 (每一层一个)，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

注意力 softmax 之后的注意力权重，用于计算自注意力头部的加权平均值。

TFConvNextModel 的 forward 方法，覆盖了 __call__ 特殊方法。

示例

>>> from transformers import AutoImageProcessor, TFConvNextModel
>>> from PIL import Image
>>> import requests

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/convnext-tiny-224")
>>> model = TFConvNextModel.from_pretrained("facebook/convnext-tiny-224")

>>> inputs = image_processor(images=image, return_tensors="tf")
>>> outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state

TFConvNextForImageClassification

class transformers.TFConvNextForImageClassification

< source >

( config: ConvNextConfig *inputs **kwargs )

参数

config (ConvNextConfig) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。

带有图像分类头的 ConvNext 模型（池化特征顶部的线性层），例如用于 ImageNet。

此模型继承自 TFPreTrainedModel。查看超类文档以了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头部等）。

此模型也是 keras.Model 子类。将其用作常规 TF 2.0 Keras 模型，并参考 TF 2.0 文档了解所有与通用用法和行为相关的事项。

transformers 中的 TensorFlow 模型和层接受两种输入格式

将所有输入作为关键字参数（如 PyTorch 模型），或者
将所有输入作为列表、元组或字典放在第一个位置参数中。

仅包含 pixel_values 的单个张量，没有其他内容：model(pixel_values)
长度可变的列表，其中包含一个或多个输入张量，顺序与文档字符串中给出的顺序相同：model([pixel_values, attention_mask]) 或 model([pixel_values, attention_mask, token_type_ids])
字典，其中包含一个或多个输入张量，并与文档字符串中给出的输入名称相关联：model({"pixel_values": pixel_values, "token_type_ids": token_type_ids})

请注意，当使用子类化创建模型和层时，您无需担心这些，因为您可以像对待任何其他 Python 函数一样传递输入！

call

< source >

( pixel_values: TFModelInputType | None = None output_hidden_states: Optional[bool] = None return_dict: Optional[bool] = None labels: np.ndarray | tf.Tensor | None = None training: Optional[bool] = False ) → transformers.modeling_tf_outputs.TFSequenceClassifierOutput 或 tuple(tf.Tensor)

参数

pixel_values (np.ndarray, tf.Tensor, List[tf.Tensor] `Dict[str, tf.Tensor] 或 Dict[str, np.ndarray] 且每个示例必须具有形状 (batch_size, num_channels, height, width)) — 像素值。像素值可以使用 AutoImageProcessor 获得。有关详细信息，请参阅 ConvNextImageProcessor.call()。
output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。此参数只能在 eager 模式下使用，在 graph 模式下将使用配置中的值。
return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。此参数可以在 eager 模式下使用，在 graph 模式下该值将始终设置为 True。
labels (tf.Tensor 或 np.ndarray，形状为 (batch_size,), 可选) — 用于计算图像分类/回归损失的标签。索引应在 [0, ..., config.num_labels - 1] 中。如果 config.num_labels == 1，则计算回归损失（均方误差损失）；如果 config.num_labels > 1，则计算分类损失（交叉熵损失）。

返回值

transformers.modeling_tf_outputs.TFSequenceClassifierOutput 或 tuple(tf.Tensor)

一个 transformers.modeling_tf_outputs.TFSequenceClassifierOutput 或一个 tf.Tensor 元组（如果传递 return_dict=False 或当 config.return_dict=False 时），其中包含各种元素，具体取决于配置 (ConvNextConfig) 和输入。

loss (tf.Tensor，形状为 (batch_size, ), 可选, 当提供 labels 时返回) — 分类（或回归，如果 config.num_labels==1）损失。
logits (tf.Tensor，形状为 (batch_size, config.num_labels)) — 分类（或回归，如果 config.num_labels==1）得分（SoftMax 之前）。
hidden_states (tuple(tf.Tensor), optional, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — tf.Tensor 元组 (一个用于嵌入的输出 + 一个用于每一层的输出)，形状为 (batch_size, sequence_length, hidden_size)。

模型在每一层输出的隐藏状态，加上初始嵌入输出。
attentions (tuple(tf.Tensor), optional, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — tf.Tensor 元组 (每一层一个)，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

注意力 softmax 之后的注意力权重，用于计算自注意力头部的加权平均值。

TFConvNextForImageClassification 的 forward 方法覆盖了 __call__ 特殊方法。

示例

>>> from transformers import AutoImageProcessor, TFConvNextForImageClassification
>>> import tensorflow as tf
>>> from PIL import Image
>>> import requests

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/convnext-tiny-224")
>>> model = TFConvNextForImageClassification.from_pretrained("facebook/convnext-tiny-224")

>>> inputs = image_processor(images=image, return_tensors="tf")
>>> outputs = model(**inputs)
>>> logits = outputs.logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_class_idx = tf.math.argmax(logits, axis=-1)[0]
>>> print("Predicted class:", model.config.id2label[int(predicted_class_idx)])

< > 在 GitHub 上更新