Transformers 文档
UPerNet
并获得增强的文档体验
开始使用
UPerNet
概述
UPerNet 模型由 Tete Xiao, Yingcheng Liu, Bolei Zhou, Yuning Jiang, Jian Sun 在 Unified Perceptual Parsing for Scene Understanding 中提出。UPerNet 是一个通用框架，可以有效地分割图像中的各种概念，利用任何视觉主干网络，如 ConvNeXt 或 Swin。
论文摘要如下：
人类在多个层面识别视觉世界：我们毫不费力地对场景进行分类，检测其中的物体，同时识别物体的纹理和表面以及它们的不同组成部分。在本文中，我们研究了一个名为“统一感知解析”的新任务，它要求机器视觉系统从给定图像中识别尽可能多的视觉概念。我们开发了一个名为 UPerNet 的多任务框架和一种训练策略，以从异构图像标注中学习。我们在统一感知解析上对我们的框架进行了基准测试，结果表明它能够有效地分割图像中的各种概念。训练好的网络进一步应用于发现自然场景中的视觉知识。
UPerNet 框架。摘自原始论文。该模型由 nielsr 贡献。原始代码基于 OpenMMLab 的 mmsegmentation 此处。
使用示例
UPerNet 是一个通用的语义分割框架。它可以与任何视觉主干网络一起使用，例如：
from transformers import SwinConfig, UperNetConfig, UperNetForSemanticSegmentation
backbone_config = SwinConfig(out_features=["stage1", "stage2", "stage3", "stage4"])
config = UperNetConfig(backbone_config=backbone_config)
model = UperNetForSemanticSegmentation(config)要使用另一个视觉主干网络，例如 ConvNeXt，只需使用适当的主干网络实例化模型
from transformers import ConvNextConfig, UperNetConfig, UperNetForSemanticSegmentation
backbone_config = ConvNextConfig(out_features=["stage1", "stage2", "stage3", "stage4"])
config = UperNetConfig(backbone_config=backbone_config)
model = UperNetForSemanticSegmentation(config)请注意，这将随机初始化模型的所有权重。
资源
官方 Hugging Face 和社区（🌎 表示）资源列表，可帮助您开始使用 UPerNet。
- UPerNet 的演示笔记本可以在此处找到。
- UperNetForSemanticSegmentation 受此示例脚本和笔记本支持。
- 另请参见：语义分割任务指南
如果您有兴趣在此处提交资源，请随时开启 Pull Request，我们将对其进行审查！该资源最好能展示一些新内容，而不是重复现有资源。
UperNetConfig
class transformers.UperNetConfig
< 源 >( backbone_config = None backbone = None use_pretrained_backbone = False use_timm_backbone = False backbone_kwargs = None hidden_size = 512 initializer_range = 0.02 pool_scales = [1, 2, 3, 6] use_auxiliary_head = True auxiliary_loss_weight = 0.4 auxiliary_in_channels = None auxiliary_channels = 256 auxiliary_num_convs = 1 auxiliary_concat_input = False loss_ignore_index = 255 **kwargs )
参数
- backbone_config (
PretrainedConfig或dict, 可选, 默认为ResNetConfig()) — 主干模型的配置。 - backbone (
str, 可选) — 当backbone_config为None时使用的主干网络的名称。如果use_pretrained_backbone为True，这将从 timm 或 transformers 库加载相应的预训练权重。如果use_pretrained_backbone为False，这将加载主干网络的配置并使用它来随机初始化主干网络。 - use_pretrained_backbone (
bool, 可选,False) — 是否使用主干网络的预训练权重。 - use_timm_backbone (
bool, 可选,False) — 是否从 timm 库加载backbone。如果为False，则从 transformers 库加载主干网络。 - backbone_kwargs (
dict, 可选) — 加载检查点时传递给 AutoBackbone 的关键字参数，例如{'out_indices': (0, 1, 2, 3)}。如果设置了backbone_config则无法指定。 - hidden_size (
int, 可选, 默认为 512) — 卷积层中的隐藏单元数。 - initializer_range (
float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。 - pool_scales (
tuple[int], 可选, 默认为[1, 2, 3, 6]) — 应用于最后一个特征图的池化金字塔模块中使用的池化比例。 - use_auxiliary_head (
bool, 可选, 默认为True) — 训练期间是否使用辅助头。 - auxiliary_loss_weight (
float, 可选, 默认为 0.4) — 辅助头的交叉熵损失权重。 - auxiliary_channels (
int, 可选, 默认为 256) — 辅助头中使用的通道数。 - auxiliary_num_convs (
int, 可选, 默认为 1) — 辅助头中使用的卷积层数。 - auxiliary_concat_input (
bool, 可选, 默认为False) — 是否在分类层之前将辅助头的输出与输入连接起来。 - loss_ignore_index (
int, 可选, 默认为 255) — 损失函数忽略的索引。
这是用于存储 UperNetForSemanticSegmentation 配置的配置类。它用于根据指定参数实例化 UPerNet 模型，定义模型架构。使用默认值实例化配置将产生类似于 UPerNet openmmlab/upernet-convnext-tiny 架构的配置。
配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请参阅 PretrainedConfig 的文档。
示例
>>> from transformers import UperNetConfig, UperNetForSemanticSegmentation
>>> # Initializing a configuration
>>> configuration = UperNetConfig()
>>> # Initializing a model (with random weights) from the configuration
>>> model = UperNetForSemanticSegmentation(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configUperNetForSemanticSegmentation
class transformers.UperNetForSemanticSegmentation
< 源 >( config )
参数
- config (UperNetForSemanticSegmentation) — 包含模型所有参数的模型配置类。使用配置文件初始化不加载与模型关联的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。
UperNet 框架利用任何视觉主干网络，例如用于 ADE20k、CityScapes。
此模型继承自 PreTrainedModel。有关库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、修剪头部等），请查看超类文档。
此模型也是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取所有与一般用法和行为相关的事项。
前向
< 源 >( pixel_values: typing.Optional[torch.Tensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None labels: typing.Optional[torch.Tensor] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.SemanticSegmenterOutput 或 tuple(torch.FloatTensor)
参数
- pixel_values (形状为
(batch_size, num_channels, image_size, image_size)的torch.Tensor，可选) — 对应于输入图像的张量。像素值可以使用{image_processor_class}获得。有关详细信息，请参见{image_processor_class}.__call__（{processor_class}使用{image_processor_class}处理图像）。 - output_attentions (
bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参见返回张量下的attentions。 - output_hidden_states (
bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参见返回张量下的hidden_states。 - labels (形状为
(batch_size, height, width)的torch.LongTensor，可选) — 用于计算损失的真实语义分割图。索引应在[0, ..., config.num_labels - 1]范围内。如果config.num_labels > 1，则计算分类损失（交叉熵）。 - return_dict (
bool, 可选) — 是否返回 ModelOutput 而不是纯元组。
返回
transformers.modeling_outputs.SemanticSegmenterOutput 或 tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.SemanticSegmenterOutput 或一个 torch.FloatTensor 元组（如果传递 return_dict=False 或当 config.return_dict=False 时），包含根据配置 (UperNetConfig) 和输入的不同元素。
-
loss (形状为
(1,)的torch.FloatTensor，可选，当提供labels时返回) — 分类损失（如果 config.num_labels==1，则为回归损失）。 -
logits (形状为
(batch_size, config.num_labels, logits_height, logits_width)的torch.FloatTensor) — 每个像素的分类分数。返回的 logits 大小不一定与作为输入传递的
pixel_values相同。这是为了避免两次插值并在用户需要将 logits 调整到原始图像大小时作为后处理而损失一些质量。您应始终检查 logits 形状并根据需要调整大小。 -
hidden_states (
tuple(torch.FloatTensor), 可选, 当传入output_hidden_states=True或config.output_hidden_states=True时返回) — 形状为(batch_size, patch_size, hidden_size)的torch.FloatTensor元组（一个用于嵌入层输出（如果模型有嵌入层），+ 每个层的输出一个）。模型在每个层输出的隐藏状态以及可选的初始嵌入输出。
-
attentions (
tuple(torch.FloatTensor), 可选, 当传入output_attentions=True或config.output_attentions=True时返回) — 形状为(batch_size, num_heads, patch_size, sequence_length)的torch.FloatTensor元组（每个层一个）。注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。
UperNetForSemanticSegmentation 的前向方法，覆盖了 __call__ 特殊方法。
尽管前向传播的实现需要在该函数中定义，但应在此之后调用 Module 实例，因为前者负责运行预处理和后处理步骤，而后者则默默忽略它们。
示例
>>> from transformers import AutoImageProcessor, UperNetForSemanticSegmentation
>>> from PIL import Image
>>> from huggingface_hub import hf_hub_download
>>> image_processor = AutoImageProcessor.from_pretrained("openmmlab/upernet-convnext-tiny")
>>> model = UperNetForSemanticSegmentation.from_pretrained("openmmlab/upernet-convnext-tiny")
>>> filepath = hf_hub_download(
... repo_id="hf-internal-testing/fixtures_ade20k", filename="ADE_val_00000001.jpg", repo_type="dataset"
... )
>>> image = Image.open(filepath).convert("RGB")
>>> inputs = image_processor(images=image, return_tensors="pt")
>>> outputs = model(**inputs)
>>> logits = outputs.logits # shape (batch_size, num_labels, height, width)
>>> list(logits.shape)
[1, 150, 512, 512]