此模型于2018年07月26日在HF论文中发表，并于2023年01月16日贡献给Hugging Face Transformers。

UPerNet

概述

UPerNet 模型由 Tete Xiao、Yingcheng Liu、Bolei Zhou、Yuning Jiang、Jian Sun 在 Unified Perceptual Parsing for Scene Understanding 中提出。UPerNet 是一个通用框架，能够有效地从图像中分割出各种概念，利用任何视觉骨干网络，如 ConvNeXt 或 Swin。

论文摘要如下：

人类在多个层面识别视觉世界：我们毫不费力地对场景进行分类，检测其中的物体，同时识别物体的纹理、表面及其不同的组成部分。在本文中，我们研究了一项名为“统一感知解析”（Unified Perceptual Parsing）的新任务，该任务要求机器视觉系统从给定图像中识别尽可能多的视觉概念。我们开发了一个名为 UPerNet 的多任务框架和一种训练策略，以从异构图像标注中学习。我们在统一感知解析上对我们的框架进行了基准测试，并表明它能够有效地从图像中分割出各种概念。训练后的网络进一步应用于发现自然场景中的视觉知识。

UPerNet 框架。摘自原论文。

此模型由 nielsr 贡献。原始代码基于 OpenMMLab 的 mmsegmentation，此处可查。

使用示例

UPerNet 是一个用于语义分割的通用框架。它可以使用任何视觉骨干网络，如下所示：

from transformers import SwinConfig, UperNetConfig, UperNetForSemanticSegmentation


backbone_config = SwinConfig(out_features=["stage1", "stage2", "stage3", "stage4"])

config = UperNetConfig(backbone_config=backbone_config)
model = UperNetForSemanticSegmentation(config)

要使用其他视觉骨干网络，例如 ConvNeXt，只需使用相应的骨干网络实例化模型即可。

from transformers import ConvNextConfig, UperNetConfig, UperNetForSemanticSegmentation


backbone_config = ConvNextConfig(out_features=["stage1", "stage2", "stage3", "stage4"])

config = UperNetConfig(backbone_config=backbone_config)
model = UperNetForSemanticSegmentation(config)

请注意，这将随机初始化模型的所有权重。

资源

一份官方 Hugging Face 和社区（用 🌎 表示）资源列表，助您开始使用 UPerNet。

UPerNet 的演示 Notebooks 可在此处找到。
UperNetForSemanticSegmentation 受此示例脚本和Notebook支持。
另请参阅：语义分割任务指南

如果您有兴趣在此处提交资源，请随时开启 Pull Request，我们将对其进行审查！该资源最好能展示一些新内容，而不是重复现有资源。

UperNetConfig

class transformers.UperNetConfig

< source >

( transformers_version: str | None = None architectures: list[str] | None = None output_hidden_states: bool | None = False return_dict: bool | None = True dtype: typing.Union[str, ForwardRef('torch.dtype'), NoneType] = None chunk_size_feed_forward: int = 0 is_encoder_decoder: bool = False id2label: dict[int, str] | dict[str, str] | None = None label2id: dict[str, int] | dict[str, str] | None = None problem_type: typing.Optional[typing.Literal['regression', 'single_label_classification', 'multi_label_classification']] = None backbone_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None hidden_size: int = 512 initializer_range: float = 0.02 pool_scales: list[int] | tuple[int, ...] = (1, 2, 3, 6) use_auxiliary_head: bool = True auxiliary_loss_weight: float = 0.4 auxiliary_in_channels: int | None = None auxiliary_channels: int = 256 auxiliary_num_convs: int = 1 auxiliary_concat_input: bool = False loss_ignore_index: int = 255 )

参数

backbone_config (Union[dict, ~configuration_utils.PreTrainedConfig], 可选) — 骨干模型的配置。
hidden_size (int, 可选, 默认为 512) — 隐藏表示的维度。
initializer_range (float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。
pool_scales (tuple[int], 可选, 默认为 [1, 2, 3, 6]) — 应用于最后一个特征图的金字塔池化模块中使用的池化尺度。
use_auxiliary_head (bool, 可选, 默认为 True) — 训练期间是否使用辅助头。
auxiliary_loss_weight (float, 可选, 默认为 0.4) — 辅助头的交叉熵损失权重。
auxiliary_in_channels (int, 可选, 默认为 256) — 辅助头中的输入通道数。
auxiliary_channels (int, 可选, 默认为 256) — 辅助头中使用的通道数。
auxiliary_num_convs (int, 可选, 默认为 1) — 辅助头中使用的卷积层数。
auxiliary_concat_input (bool, 可选, 默认为 False) — 是否在分类层之前将辅助头的输出与输入连接起来。
loss_ignore_index (int, 可选, 默认为 255) — 损失函数忽略的索引。

这是用于存储 UpernetModel 配置的配置类。它用于根据指定的参数实例化 Upernet 模型，定义模型架构。使用默认值实例化配置将产生与 openmmlab/upernet-convnext-tiny 类似的配置。

配置对象继承自 PreTrainedConfig，可用于控制模型输出。阅读 PreTrainedConfig 的文档以获取更多信息。

示例

>>> from transformers import UperNetConfig, UperNetForSemanticSegmentation

>>> # Initializing a configuration
>>> configuration = UperNetConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = UperNetForSemanticSegmentation(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

UperNetForSemanticSegmentation

class transformers.UperNetForSemanticSegmentation

< source >

( config model_args: ~utils.generic.ModelArgs | None = None adapter_args: ~utils.generic.AdapterArgs | None = None lora_args: ~utils.generic.LoRAArgs | None = None tokenizer_args: ~utils.generic.TokenizerArgs | None = None dataset_args: ~utils.generic.DatasetArgs | None = None data_args: ~utils.generic.DataArgs | None = None training_args: ~utils.generic.TrainingArgs | None = None generation_args: ~utils.generic.GenerationArgs | None = None vision_tower_args: ~utils.generic.VisionTowerArgs | None = None qlora_args: ~utils.generic.QLoRAArgs | None = None vision_tower_template_args: ~utils.generic.VisionTowerTemplateArgs | None = None video_tower_args: ~utils.generic.VideoTowerArgs | None = None vision_config: ~utils.generic.VisionConfig | None = None video_config: ~utils.generic.VideoConfig | None = None load_dataset: bool | None = None load_data_collator: bool | None = None load_processor: bool | None = None load_lora_adapter: bool | None = None load_adapter: bool | None = None load_qlora_adapter: bool | None = None **kwargs: typing_extensions.Unpack[transformers.modeling_utils.PreTrainedModelKwargs] )

参数

config (UperNetForSemanticSegmentation) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只加载配置。请查阅 from_pretrained() 方法来加载模型权重。

UperNet 框架利用任何视觉骨干网络，例如用于 ADE20k、CityScapes。

该模型继承自 PreTrainedModel。请查看超类文档以了解该库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头部等）。

此模型也是一个 PyTorch torch.nn.Module 子类。像普通的 PyTorch Module 一样使用它，并参考 PyTorch 文档了解一般用法和行为的所有相关信息。

forward

< source >

参数

pixel_values (torch.Tensor, 形状为 (batch_size, num_channels, image_size, image_size), 可选) — 对应输入图像的张量。像素值可以使用 SegformerImageProcessor 获取。有关详细信息，请参阅 SegformerImageProcessor.__call__()（processor_class 使用 SegformerImageProcessor 处理图像）。
output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
labels (torch.LongTensor, 形状为 (batch_size, height, width), 可选) — 用于计算损失的真实语义分割图。索引应在 [0, ..., config.num_labels - 1] 范围内。如果 config.num_labels > 1，则计算分类损失（交叉熵）。
return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通的元组。

SemanticSegmenterOutput 或 tuple(torch.FloatTensor)

一个 SemanticSegmenterOutput 或一个 torch.FloatTensor 元组（如果传入 return_dict=False 或 config.return_dict=False 时），包含根据配置（UperNetConfig）和输入而定的各种元素。

UperNetForSemanticSegmentation 的 forward 方法，覆盖了 __call__ 特殊方法。

虽然 forward pass 的实现需要在此函数中定义，但你应该在之后调用 Module 实例而不是这个，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。

loss (形状为 (1,) 的 torch.FloatTensor，可选，当提供 labels 时返回) — 分类损失（如果 config.num_labels==1，则为回归损失）。
logits (形状为 (batch_size, config.num_labels, logits_height, logits_width) 的 torch.FloatTensor) — 每个像素的分类分数。

返回的 logits 大小不一定与传入的 pixel_values 相同。这是为了避免在用户需要将 logits 大小调整回原始图像大小时进行两次插值并损失质量。您应该始终检查 logits 形状并根据需要进行调整。
hidden_states (tuple(torch.FloatTensor), optional, 当传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型有嵌入层，则包含一个嵌入层输出，加上每层的一个输出），形状为 (batch_size, patch_size, hidden_size)。

模型在每个层输出的隐藏状态以及可选的初始嵌入输出。
attentions (tuple(torch.FloatTensor), optional, 当传入 output_attentions=True 或当 config.output_attentions=True 时返回) — 形状为 (batch_size, num_heads, patch_size, sequence_length) 的 torch.FloatTensor 元组（每个层一个）。

注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

示例

>>> from transformers import AutoImageProcessor, UperNetForSemanticSegmentation
>>> from PIL import Image
>>> from huggingface_hub import hf_hub_download

>>> image_processor = AutoImageProcessor.from_pretrained("openmmlab/upernet-convnext-tiny")
>>> model = UperNetForSemanticSegmentation.from_pretrained("openmmlab/upernet-convnext-tiny")

>>> filepath = hf_hub_download(
...     repo_id="hf-internal-testing/fixtures_ade20k", filename="ADE_val_00000001.jpg", repo_type="dataset"
... )
>>> image = Image.open(filepath).convert("RGB")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)

>>> logits = outputs.logits  # shape (batch_size, num_labels, height, width)
>>> list(logits.shape)
[1, 150, 512, 512]

在 GitHub 上更新