Transformers 文档

UPerNet

Hugging Face's logo
加入 Hugging Face 社区

并获取增强文档体验

开始使用

UPerNet

概述

UPerNet 模型由 Tete Xiao、Yingcheng Liu、Bolei Zhou、Yuning Jiang 和 Jian Sun 在论文 Unified Perceptual Parsing for Scene Understanding 中提出。UPerNet 是一个通用框架,可以有效地从图像中分割各种概念,并利用任何视觉骨干网络,例如 ConvNeXtSwin

论文摘要如下:

人类以多种层次感知视觉世界:我们毫不费力地对场景进行分类并检测其中的物体,同时还能识别物体的纹理和表面以及它们的不同组成部分。在本文中,我们研究了一个名为统一感知解析的新任务,该任务要求机器视觉系统从给定图像中识别尽可能多的视觉概念。我们开发了一个名为 UPerNet 的多任务框架和一种训练策略,以从异构图像注释中学习。我们在统一感知解析上对我们的框架进行了基准测试,并表明它能够有效地从图像中分割各种概念。训练后的网络进一步应用于发现自然场景中的视觉知识。

drawing UPerNet 框架。摘自 原始论文

该模型由 nielsr 贡献。原始代码基于 OpenMMLab 的 mmsegmentation,此处可见。

使用示例

UPerNet 是一个用于语义分割的通用框架。它可以与任何视觉骨干网络一起使用,例如:

from transformers import SwinConfig, UperNetConfig, UperNetForSemanticSegmentation

backbone_config = SwinConfig(out_features=["stage1", "stage2", "stage3", "stage4"])

config = UperNetConfig(backbone_config=backbone_config)
model = UperNetForSemanticSegmentation(config)

要使用其他视觉骨干网络,例如 ConvNeXt,只需使用相应的骨干网络实例化模型即可:

from transformers import ConvNextConfig, UperNetConfig, UperNetForSemanticSegmentation

backbone_config = ConvNextConfig(out_features=["stage1", "stage2", "stage3", "stage4"])

config = UperNetConfig(backbone_config=backbone_config)
model = UperNetForSemanticSegmentation(config)

请注意,这将随机初始化模型的所有权重。

资源

以下是官方 Hugging Face 和社区 (🌎 表示) 提供的资源列表,可帮助您开始使用 UPerNet。

如果您有兴趣提交要在此处包含的资源,请随时打开一个 Pull Request,我们将进行审核!理想情况下,该资源应展示一些新内容,而不是重复现有资源。

UperNetConfig

transformers.UperNetConfig

< >

( backbone_config = None backbone = None use_pretrained_backbone = False use_timm_backbone = False backbone_kwargs = None hidden_size = 512 initializer_range = 0.02 pool_scales = [1, 2, 3, 6] use_auxiliary_head = True auxiliary_loss_weight = 0.4 auxiliary_in_channels = 384 auxiliary_channels = 256 auxiliary_num_convs = 1 auxiliary_concat_input = False loss_ignore_index = 255 **kwargs )

参数

  • backbone_config (PretrainedConfigdict, 可选, 默认值为 ResNetConfig()) — 骨干模型的配置。
  • backbone (str, 可选) — 当 backbone_configNone 时使用的骨干网络名称。如果 use_pretrained_backboneTrue,则将从 timm 或 transformers 库加载相应的预训练权重。如果 use_pretrained_backboneFalse,则加载骨干网络的配置,并使用该配置以随机权重初始化骨干网络。
  • use_pretrained_backbone (bool可选False) — 是否使用预训练的骨干网络权重。
  • use_timm_backbone (bool可选False) — 是否从 timm 库加载 backbone。如果 False,则从 transformers 库加载骨干网络。
  • backbone_kwargs (dict可选) — 加载检查点时传递给 AutoBackbone 的关键字参数,例如 {'out_indices': (0, 1, 2, 3)}。如果设置了 backbone_config,则不能指定此参数。
  • hidden_size (int可选,默认为 512) — 卷积层中隐藏单元的数量。
  • initializer_range (float可选,默认为 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。
  • pool_scales (Tuple[int]可选,默认为 [1, 2, 3, 6]) — 应用于最后一个特征图上的池化金字塔模块中使用的池化尺度。
  • use_auxiliary_head (bool可选,默认为 True) — 是否在训练期间使用辅助头。
  • auxiliary_loss_weight (float可选,默认为 0.4) — 辅助头的交叉熵损失的权重。
  • auxiliary_channels (int可选,默认为 256) — 辅助头中使用的通道数。
  • auxiliary_num_convs (int可选,默认为 1) — 辅助头中使用的卷积层的数量。
  • loss_ignore_index (int可选,默认为 255) — 损失函数忽略的索引。

这是一个用于存储 UperNetForSemanticSegmentation 配置的类。它用于根据指定的参数实例化 UperNet 模型,定义模型架构。使用默认值实例化配置将产生与 UperNet openmmlab/upernet-convnext-tiny 架构类似的配置。

配置对象继承自 PretrainedConfig,可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。

示例

>>> from transformers import UperNetConfig, UperNetForSemanticSegmentation

>>> # Initializing a configuration
>>> configuration = UperNetConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = UperNetForSemanticSegmentation(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

UperNetForSemanticSegmentation

transformers.UperNetForSemanticSegmentation

< >

( config )

参数

  • 模型是 PyTorch [torch.nn.Module](https —//pytorch.ac.cn/docs/stable/nn.html#torch.nn.Module) 的子类。将其用作常规 PyTorch 模块,并参考 PyTorch 文档以了解与一般用法和行为相关的所有事项。 — config (UperNetConfig): 模型配置类,包含模型的所有参数。使用配置文件进行初始化不会加载与模型关联的权重,仅加载配置。查看 from_pretrained() 方法以加载模型权重。
  • 作为常规 PyTorch 模块,并参考 PyTorch 文档以了解与一般用法和行为相关的所有事项。 — config (UperNetConfig): 模型配置类,包含模型的所有参数。使用配置文件进行初始化不会加载与模型关联的权重,仅加载配置。查看 from_pretrained() 方法以加载模型权重。

利用任何视觉骨干网络(例如,用于 ADE20k、CityScapes)的 UperNet 框架。

正向传播

< >

( pixel_values: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None labels: Optional = None return_dict: Optional = None ) transformers.modeling_outputs.SemanticSegmenterOutputtuple(torch.FloatTensor)

参数

  • pixel_values (torch.FloatTensor 形状为 (batch_size, num_channels, height, width)) — 像素值。如果您提供填充,则默认情况下会忽略填充。可以使用 AutoImageProcessor 获取像素值。有关详细信息,请参阅 SegformerImageProcessor.call()
  • output_attentions (bool可选) — 如果骨干网络具有注意力张量,则是否返回所有注意力层的注意力张量。有关更多详细信息,请参阅返回张量下的 attentions
  • output_hidden_states (bool可选) — 是否返回骨干网络所有层的隐藏状态。有关更多详细信息,请参阅返回张量下的 hidden_states

  • return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个简单的元组。
  • labels (torch.LongTensor 形状为 (batch_size, height, width), 可选) — 用于计算损失的真实语义分割图。索引应在 [0, ..., config.num_labels - 1] 范围内。如果 config.num_labels > 1,则计算分类损失(交叉熵)。

返回

transformers.modeling_outputs.SemanticSegmenterOutputtuple(torch.FloatTensor)

一个 transformers.modeling_outputs.SemanticSegmenterOutput 或一个 torch.FloatTensor 的元组(如果传递了 return_dict=False 或当 config.return_dict=False 时),包含根据配置 (UperNetConfig) 和输入而异的各种元素。

  • loss (torch.FloatTensor 形状为 (1,), 可选, 当提供 labels 时返回) — 分类(或如果 config.num_labels==1 则为回归)损失。

  • logits (torch.FloatTensor 形状为 (batch_size, config.num_labels, logits_height, logits_width)) — 每个像素的分类分数。

    返回的 logits 不一定与作为输入传递的 pixel_values 大小相同。这是为了避免进行两次插值并降低质量,当用户需要将 logits 调整为原始图像大小作为后处理时。您应始终检查 logits 形状并根据需要调整大小。

  • hidden_states (tuple(torch.FloatTensor), 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组(一个用于嵌入的输出,如果模型具有嵌入层,以及每个层的输出)形状为 (batch_size, patch_size, hidden_size)

    模型在每一层输出处的隐藏状态,加上可选的初始嵌入输出。

  • attentions (tuple(torch.FloatTensor), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组(每一层一个)形状为 (batch_size, num_heads, patch_size, sequence_length)

    注意力 softmax 之后的注意力权重,用于计算自注意力头中的加权平均值。

UperNetForSemanticSegmentation 的 forward 方法覆盖了 __call__ 特殊方法。

虽然前向传递的配方需要在此函数内定义,但之后应该调用 Module 实例而不是此函数,因为前者负责运行预处理和后处理步骤,而后者则默默地忽略它们。

示例

>>> from transformers import AutoImageProcessor, UperNetForSemanticSegmentation
>>> from PIL import Image
>>> from huggingface_hub import hf_hub_download

>>> image_processor = AutoImageProcessor.from_pretrained("openmmlab/upernet-convnext-tiny")
>>> model = UperNetForSemanticSegmentation.from_pretrained("openmmlab/upernet-convnext-tiny")

>>> filepath = hf_hub_download(
...     repo_id="hf-internal-testing/fixtures_ade20k", filename="ADE_val_00000001.jpg", repo_type="dataset"
... )
>>> image = Image.open(filepath).convert("RGB")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)

>>> logits = outputs.logits  # shape (batch_size, num_labels, height, width)
>>> list(logits.shape)
[1, 150, 512, 512]
< > 在 GitHub 上更新