SegFormer
概述
SegFormer模型由Enze Xie、Wenhai Wang、Zhiding Yu、Anima Anandkumar、Jose M. Alvarez和Ping Luo在题为《SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers》的论文中提出[1]。该模型包含一个层次化的Transformer编码器和一个轻量级的全MLP解码头,实现了在ADE20K和Cityscapes等图像分割基准测试上的出色表现。
该论文的摘要如下:
我们提出了一种简单、高效且强大的语义分割框架SegFormer,它整合了Transformer与轻量级多层感知器(MLP)解码器。SegFormer具有两个显著特点:1)SegFormer包含一个新颖的层次化结构Transformer编码器,能够输出多尺度特征。它不需要位置编码,因此避免了测试分辨率与训练分辨率不同时导致的性能降低。2)SegFormer避免了复杂的解码器。提出的MLP解码器从不同层信息聚合,从而结合了局部注意力机制和全局注意力机制,生成强大的特征表示。我们证明了这种简单且轻量级的设计是高效分割的关键。我们将方法扩展到从SegFormer-B0到SegFormer-B5的多个模型,它们的性能和效率都显著优于之前的模型。例如,SegFormer-B4在ADE20K上实现了50.3%的mIoU,参数数量是先前的最佳方法的1/5,并且提高了2.2%。我们的最佳模型SegFormer-B5在Cityscapes验证集上实现了84.0%的mIoU,在Cityscapes-C上的零样本鲁棒性表现优秀。
下方插图展示了SegFormer的架构。图片来源于原文[1]。
本模型由nielsr贡献。模型的TensorFlow版本由sayakpaul贡献。原始代码可以在这里找到。
使用技巧
- SegFormer由一个层次化Transformer编码器和轻量级全MLP解码头组成。 SegformerModel是层次化Transformer编码器(在论文中也称为Mix Transformer或MiT)。SegformerForSemanticSegmentation在顶层添加了全MLP解码头,以执行图像的语义分割。此外,还有SegformerForImageClassification,可以用于图像分类。SegFormer的作者首先在ImageNet-1k上对Transformer编码器进行预训练以分类图像。接下来,他们删除了分类头,并用全MLP解码头替换它。然后,他们在ADE20K、Cityscapes和COCO-stuff上进行微调,这些是重要的语义分割基准。所有检查点都可以在hub上找到。
- 开始使用SegFormer最快的办法是查看示例笔记本(展示了在自定义数据上的推理和微调)。还可以阅读博客文章,介绍SegFormer并说明如何在自定义数据上进行微调。
- TensorFlow用户应参考此存储库,其中展示了现成的推理和微调。
- 您还可以检查Hugging Face Spaces上的这个交互式演示,在自定义图像上尝试使用SegFormer模型。
- SegFormer在任何输入大小上都有效,因为它通过对输入进行填充使得可以整除
config.patch_sizes
。 - 可以使用SegformerImageProcessor准备模型所需的图像和相应的分割图。请注意,这个图像处理器相当基础,不包括原始论文中使用的所有数据增强。原始的预处理流程(例如用于ADE20k数据集的)可以在这里找到。最重要的预处理步骤是在图像和分割图随机裁剪并填充到同一大小后(例如512x512或640x640),然后进行归一化。
- 还需要注意的是,可以将SegformerImageProcessor用
do_reduce_labels
设置为True
或False
来初始化。在一些数据集(如ADE20k)中,0索引用于注释过的分割图中的背景。然而,ADE20k没有在其150个标签中包含“背景”类别。因此,使用do_reduce_labels
减少所有标签1个,确保不会为背景类别计算损失(即用ignore_index替换注释图中的0,这是SegformerForSemanticSegmentation中使用的损失函数)。但是,其他数据集使用0索引作为背景类别并将其包含在所有标签中。在这种情况下,do_reduce_labels
应设置为False
,因为也应计算背景类别的损失。 - 与大多数模型一样,SegFormer也提供不同的大小,具体细节可以在下表(取自原始论文的第7表)中找到。
模型变种 | 深度 | 隐藏层大小 | 解码器隐藏层大小 | 参数(M) | ImageNet-1k Top 1 |
---|---|---|---|---|---|
MiT-b0 | [2, 2, 2, 2] | [32, 64, 160, 256] | 256 | 3.7 | 70.5 |
MiT-b1 | [2, 2, 2, 2] | [64, 128, 320, 512] | 256 | 14.0 | 78.7 |
MiT-b2 | [3, 4, 6, 3] | [64, 128, 320, 512] | 768 | 25.4 | 81.6 |
MiT-b3 | [3, 4, 18, 3] | [64, 128, 320, 512] | 768 | 45.2 | 83.1 |
MiT-b4 | [3, 8, 27, 3] | [64, 128, 320, 512] | 768 | 62.6 | 83.6 |
MiT-b5 | [3, 6, 40, 3] | [64, 128, 320, 512] | 768 | 82.0 | 83.8 |
注意上表中MiT代表SegFormer中引入的混合Transformer编码器骨干。对于SegFormer在ADE20k等分割数据集上的结果,请参阅论文。
资源
官方Hugging Face和社区(🌎指示)资源列表,帮助您开始使用SegFormer。
语义分割
如果您有兴趣提交资源以在此处包含,请随时提出Pull Request,我们将进行审查!资源应理想地展示一些新的东西,而不是重复现有资源。
( num_channels = 3 num_encoder_blocks = 4 depths = [2, 2, 2, 2] sr_ratios = [8, 4, 2, 1] hidden_sizes = [32, 64, 160, 256] patch_sizes = [7, 3, 3, 3] strides = [4, 2, 2, 2] num_attention_heads = [1, 2, 5, 8] mlp_ratios = [4, 4, 4, 4] hidden_act = 'gelu' hidden_dropout_prob = 0.0 attention_probs_dropout_prob = 0.0 classifier_dropout_prob = 0.1 initializer_range = 0.02 drop_path_rate = 0.1 layer_norm_eps = 1e-06 decoder_hidden_size = 256 semantic_loss_ignore_index = 255 **kwargs )
参数
- num_channels (
int
, 可选,默认为 3) — 输入通道数。 - num_encoder_blocks (
int
, 可选, 默认值为 4) — 编码器块的数量(即 Mix Transformer 编码器中的阶段)。 - depths (
List[int]
, 可选, 默认值为[2, 2, 2, 2]
) — 每个编码器块中的层数。 - sr_ratios (
List[int]
, 可选, 默认值为[8, 4, 2, 1]
) — 每个编码器块中的序列缩减比率。 - hidden_sizes (
List[int]
, 可选, 默认值为[32, 64, 160, 256]
) — 编码器块各维度的尺寸。 - patch_sizes (
List[int]
, 可选, 默认为[7, 3, 3, 3]
) — 每个编码器块前的补丁大小。 - strides (
List[int]
, 可选, 默认为[4, 2, 2, 2]
) — 每个编码器块前的步长。 - num_attention_heads (
List[int]
, 可选, 默认为[1, 2, 5, 8]
) — 每个Transformer编码器块中的每个注意力层中注意力头的数量。 - mlp_ratios (
List[int]
, 可选, 默认为[4, 4, 4, 4]
) — 编码器块中混合FFN的输入层大小与隐藏层大小的比率。 - hidden_act (
str
或function
,可选,默认为"gelu"
) — 编码器和解码器中的非线性激活函数(函数或字符串)。如果为字符串,支持"gelu"
,"relu"
,"selu"
和"gelu_new"
。 - hidden_dropout_prob (
float
,可选,默认为 0.0) — 嵌入层、编码器和解码器所有全连接层中的dropout概率。 - attention_probs_dropout_prob (
float
,可选,默认为 0.0) — 注意力概率的dropout比例。 - classifier_dropout_prob (
float
, 可选, 默认为0.1) — 在分类头之前使用的dropout概率。 - initializer_range (
float
, 可选, 默认为0.02) — 用于初始化所有权重矩阵的截断正态分布的误差范围。 - drop_path_rate (
float
, 可选, 默认为0.1) — 在Transformer编码器块中使用的随机深度dropout概率。 - layer_norm_eps (
float
, 可选, 默认为1e-06) — 层归一化层使用的epsilon值。 - decoder_hidden_size (
int
,可选,默认为256) — 所有MLP解码头的维度。 - semantic_loss_ignore_index (
int
,可选,默认为255) — 被语义分割模型的损失函数忽略的索引。
这是存储SegformerModel配置的配置类。它用于根据指定的参数实例化SegFormer模型,定义模型架构。使用默认值实例化配置将得到与SegFormer nvidia/segformer-b0-finetuned-ade-512-512架构类似的配置。
配置对象继承自PretrainedConfig,并可用于控制模型输出。有关更多信息,请参阅PretrainedConfig的文档。
示例
>>> from transformers import SegformerModel, SegformerConfig
>>> # Initializing a SegFormer nvidia/segformer-b0-finetuned-ade-512-512 style configuration
>>> configuration = SegformerConfig()
>>> # Initializing a model from the nvidia/segformer-b0-finetuned-ade-512-512 style configuration
>>> model = SegformerModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config
SegformerFeatureExtractor
预处理一批图像和可选分割图。
重写了Preprocessor
类的__call__
方法,可以同时将图像和分割图作为位置参数传入。
post_process_semantic_segmentation
< 源代码 >( outputs target_sizes: List = None ) → semantic_segmentation
参数
- outputs (SegformerForSemanticSegmentation) — 模型的原始输出。
- target_sizes (
List[Tuple]
of lengthbatch_size
, optional) — 与每个预测请求的最终大小(高度、宽度)相对应的元组列表(长度为batch_size
)。如果未设置,则不会调整预测大小。
返回值
语义分割
List[torch.Tensor]
的长度为batch_size
,其中每个项都是与target_sizes条目相对应的(如果指定了target_sizes)。每个torch.Tensor
的条目对应于一个语义类别ID的高度和宽度语义分割图。
将SegformerForSemanticSegmentation的输出转换为语义分割图。仅支持PyTorch。
SegformerImageProcessor
类 transformers.SegformerImageProcessor
< 来源 >( do_resize: bool = True size: Dict = None resample: Resampling = <Resampling.BILINEAR: 2> do_rescale: bool = True rescale_factor: Union = 0.00392156862745098 do_normalize: bool = True image_mean: Union = None image_std: Union = None do_reduce_labels: bool = False **kwargs )
参数
- do_resize (布尔值,可选,默认为 True)— 是否调整图像的高度和宽度尺寸到指定的
(size["height"], size["width"])
。可以通过preprocess
方法中的do_resize
参数进行覆盖。 - size (字典[str, int],可选,默认为
{"height": 512, "width": 512}
):调整后输出图像的大小。可以通过preprocess
方法中的size
参数进行覆盖。 - resample (PILImageResampling,可选,默认为
Resampling.BILINEAR
)— 如果调整图像大小,则使用的重采样滤波器。可以通过preprocess
方法中的resample
参数进行覆盖。 - do_rescale (
bool
, 可选,默认为True
) — 是否通过指定的缩放因子rescale_factor
来重新缩放图像。可以通过preprocess
方法中的do_rescale
参数进行覆盖。 - rescale_factor (
int
或float
,可选,默认为1/255
) — 是否对图像进行归一化。可以通过preprocess
方法中的do_normalize
参数进行覆盖。 - do_normalize (
bool
,可选,默认为True
) — 是否将图像归一化。可以通过preprocess
方法中的do_normalize
参数进行覆盖。 - image_mean (
float
或List[float]
, 可选, 默认为IMAGENET_STANDARD_MEAN
) — 在对图像进行归一化时使用的均值。这是一个浮点数或浮点数列表,长度与图像通道数相同。可以在preprocess
方法的image_mean
参数中覆盖。 - image_std (
float
或List[float]
, 可选, 默认为IMAGENET_STANDARD_STD
) — 在对图像进行归一化时使用的标准差。这是一个浮点数或浮点数列表,长度与图像通道数相同。可以在preprocess
方法的image_std
参数中覆盖。 - do_reduce_labels (
bool
, 可选, 默认为False
) — 是否将分割图的全部标签值减少1。通常用于将0用作背景的示例数据集,其中背景本身不是数据集的所有类的一部分(例如ADE20k)。背景标签将被替换为255。可以在preprocess
方法的do_reduce_labels
参数中覆盖。
构建 Segformer 图像处理器。
preprocess
< source >( images: Union segmentation_maps: Union = None do_resize: Optional = None size: Optional = None resample: Resampling = None do_rescale: Optional = None rescale_factor: Optional = None do_normalize: Optional = None image_mean: Union = None image_std: Union = None do_reduce_labels: Optional = None return_tensors: Union = None data_format: ChannelDimension = <ChannelDimension.FIRST: 'channels_first'> input_data_format: Union = None )
参数
- images (
ImageInput
) — 预处理的图像。期望是单个或多个图像,像素值范围从0到255。如果传递像素值在0到1之间的图像,设置do_rescale=False
。 - segmentation_maps (
ImageInput
, 可选) — 预处理的分割图。 - do_resize (
bool
, 可选, 默认self.do_resize
) — 是否调整图像大小。 - size (
Dict[str, int]
, 可选, 默认self.size
) — 应用resize
后图像的大小。 - resample (
int
, 可选, 默认self.resample
) — 如果调整大小,使用的重采样过滤器。可以是枚举PILImageResampling
中的一个。只有当do_resize
设置为True
时才有效。 - do_rescale (
bool
, 可选,默认为self.do_rescale
) — 是否将图像值重新缩放到 [0 - 1] 范围内。 - rescale_factor (
float
, 可选,默认为self.rescale_factor
) — 若设定do_rescale
为True
,则以此因子重新缩放图像。 - do_normalize (
bool
, 可选,默认为self.do_normalize
) — 是否对图像进行归一化处理。 - image_mean (
float
或List[float]
,可选,默认为self.image_mean
) — 图像均值。 - image_std (
float
或List[float]
,可选,默认为self.image_std
) — 图像标准差。 - // HTML_TAG_START -->do_reduce_labels (
bool
,可选,默认为self.do_reduce_labels
) — 是否减去分割图的全部标签值 1。通常用于背景值为 0 的数据集,且背景本身不包括在数据集的所有类别中(例如 ADE20k)。背景标签将替换为 255。 - return_tensors (
str
或TensorType
,可选) — 返回张量的类型。可以是以下之一:- 未设置:返回一个
np.ndarray
列表。 TensorType.TENSORFLOW
或'tf'
:返回一个类型为tf.Tensor
的批次。TensorType.PYTORCH
或'pt'
:返回一个类型为torch.Tensor
的批次。TensorType.NUMPY
或'np'
:返回一个类型为np.ndarray
的批次。TensorType.JAX
或'jax'
:返回一个类型为jax.numpy.ndarray
的批次。
- 未设置:返回一个
- data_format (
ChannelDimension
或str
,可选,默认为ChannelDimension.FIRST
) — 输出图像的通道维度格式。可以是以下之一:ChannelDimension.FIRST
:图像格式为 (num_channels, height, width)。ChannelDimension.LAST
:图像格式为 (height, width, num_channels)。
- input_data_format (
ChannelDimension
或str
,可选) — 输入图像的通道维度格式。如果未设置,则从输入图像中推断通道维度格式。可以是以下之一:"channels_first"
或ChannelDimension.FIRST
:图像格式为 (num_channels, height, width)。"channels_last"
或ChannelDimension.LAST
:图像格式为 (height, width, num_channels)。"none"
或ChannelDimension.NONE
:图像格式为 (height, width)。
预处理图像或图像批次。
post_process_semantic_segmentation
< 源码 >( outputs target_sizes: List = None ) → semantic_segmentation
参数
- outputs (SegformerForSemanticSegmentation) — 模型的原始输出。
- target_sizes (
长度为
,可选)— 与请求的每个预测最终大小(高度,宽度)对应的元组的列表。未设置时,预测不被调整大小。batch_size
的List[Tuple]
返回值
语义分割
List[torch.Tensor]
的长度为batch_size
,其中每个项都是与target_sizes条目相对应的(如果指定了target_sizes)。每个torch.Tensor
的条目对应于一个语义类别ID的高度和宽度语义分割图。
将SegformerForSemanticSegmentation的输出转换为语义分割图。仅支持PyTorch。
SegformerModel
类 transformers.SegformerModel
< 来源 >( config )
参数
- config (SegformerConfig) — 模型参数配置类。使用配置文件初始化不会加载与模型相关的权重,只加载配置。请查阅 from_pretrained() 方法以加载模型权重。
不带任何头部的不带SegFormer编码器(Mix-Transformer)的输出原始隐藏状态的模型。此模型是PyTorch torch.nn.Module 子类。将其用作PyTorch常规模块,并查阅PyTorch文档以获取有关常规使用和行为的所有相关信息。
forward
< 来源 >( pixel_values: FloatTensor output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → transformers.modeling_outputs.BaseModelOutput 或 tuple(torch.FloatTensor)
参数
- pixel_values (形状为
(batch_size, num_channels, height, width)
的torch.FloatTensor) — 像素值。如果提供,默认会忽略填充。可以使用AutoImageProcessor获取像素值。有关详细信息,请参阅SegformerImageProcessor.call()。 - output_attentions (
bool
, 可选) — 是否返回所有注意力层的注意力张量。更多详情请参考返回张量下的attentions
。 - output_hidden_states (
bool
, 可选) — 是否返回所有层的隐藏状态。更多详情请参考返回张量下的hidden_states
。 - return_dict (
bool
, 可选) — 是否返回ModelOutput而不是普通的元组。
返回值
transformers.modeling_outputs.BaseModelOutput 或 tuple(torch.FloatTensor)
A transformers.modeling_outputs.BaseModelOutput 或一个包含多个元素的torch.FloatTensor
元组(如果传递了参数return_dict=False
或者config.return_dict=False
),具体取决于配置和输入(SegformerConfig)。
-
last_hidden_state (
torch.FloatTensor
,形状为(batch_size, sequence_length, hidden_size)
) — 模型最后一层输出的隐藏状态序列。 -
hidden_states (
torch.FloatTensor
元组,可选,当传递output_hidden_states=True
或config.output_hidden_states=True
时返回)—一个形状为(batch_size, sequence_length, hidden_size)
的torch.FloatTensor
元组(如果模型有嵌入层,则为嵌入层的输出 + 每个层的输出)。模型在每个输出(加可选的初始嵌入输出)处的隐藏状态。
-
attentions (
torch.FloatTensor
元组,可选,当传递output_attentions=True
或config.output_attentions=True
时返回)—一个形状为(batch_size, num_heads, sequence_length, sequence_length)
的torch.FloatTensor
元组(每个层一个)。注意软化和居民后的注意力权重,用于在自注意力层中计算加权平均。
SegformerModel的前向方法重写了__call__
特殊方法。
尽管需要在这个函数内定义前向通道的配方,但应该调用Module
实例而不是这个,因为前者负责运行前处理和后处理步骤,而后者静默地忽略它们。
示例
>>> from transformers import AutoImageProcessor, SegformerModel
>>> import torch
>>> from datasets import load_dataset
>>> dataset = load_dataset("huggingface/cats-image", trust_remote_code=True)
>>> image = dataset["test"]["image"][0]
>>> image_processor = AutoImageProcessor.from_pretrained("nvidia/mit-b0")
>>> model = SegformerModel.from_pretrained("nvidia/mit-b0")
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.no_grad():
... outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 256, 16, 16]
SegformerDecodeHead
SegformerForImageClassification
类 transformers.SegformerForImageClassification
< 源代码 >( config )
参数
- config (SegformerConfig) — 模型配置类,包含所有模型参数。使用配置文件初始化不会加载与模型关联的权重,只会加载配置。有关加载模型权重的信息,请查看from_pretrained() 方法。
在顶部添加图像分类头(最终隐藏状态的线性层)的SegFormer模型,例如用于ImageNet。
此模型是PyTorch的torch.nn.Module子类。将其用作常规PyTorch模块,并参考PyTorch文档了解有关一般使用和行为的所有相关信息。
forward
< source >( pixel_values: Optional = None labels: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → transformers.models.segformer.modeling_segformer.SegFormerImageClassifierOutput
或 tuple(torch.FloatTensor)
参数
- pixel_values (
torch.FloatTensor
的形状为(batch_size, num_channels, height, width)
) — 像素值。如果提供则默认忽略填充。可以通过使用 AutoImageProcessor 获取像素值。有关详细信息,请参阅 SegformerImageProcessor.call()。 - output_attentions (
bool
,可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息,请参阅返回张量下的attentions
。 - output_hidden_states (
bool
,可选) — 是否返回所有层的隐藏状态。有关更多详细信息,请参阅返回张量下的hidden_states
。 - return_dict (
bool
, 可选) — 是否返回ModelOutput而不是普通元组。 - labels (
torch.LongTensor
,形状为(batch_size,)
,可选) — 用于计算图像分类/回归损失的标签。索引应为[0, ..., config.num_labels - 1]
。如果config.num_labels == 1
,则计算回归损失(均方损失),如果config.num_labels > 1
,则计算分类损失(交叉熵)。
返回值
transformers.models.segformer.modeling_segformer.SegFormerImageClassifierOutput
或tuple(torch.FloatTensor)
A transformers.models.segformer.modeling_segformer.SegFormerImageClassifierOutput
或一个torch.FloatTensor
的元组(如果传递了return_dict=False
,或者当config.return_dict=False
时),包含各种元素,具体取决于配置(SegformerConfig)和输入。
-
loss (
torch.FloatTensor
,形状为(1,),可选,如果提供了labels
则返回) — 分类(或回归如果config.num_labels==1)损失。 -
logits (
torch.FloatTensor
,形状为(batch_size, config.num_labels)) — 分类(或回归如果config.num_labels==1)分数(SoftMax之前)。 -
hidden_states (
tuple(torch.FloatTensor)
,可选,如果传递了output_hidden_states=True
或者当config.output_hidden_states=True
时返回) — 一个torch.FloatTensor
的元组(如果有嵌入层则一个用于嵌入输出,还一个用于每个阶段的输出),形状为(batch_size, num_channels, height, width)。模型在每个阶段的隐藏状态(也称为特征图)。 -
attentions (
tuple(torch.FloatTensor)
,可选,如果传递了output_attentions=True
或者当config.output_attentions=True
时返回) — 一个torch.FloatTensor
的元组(每个层一个)形状为(batch_size, num_heads, patch_size, sequence_length)。注意软化和居民后的注意力权重,用于在自注意力层中计算加权平均。
SegformerForImageClassification的前向方法覆盖了__call__
特殊方法。
尽管需要在这个函数内定义前向通道的配方,但应该调用Module
实例而不是这个,因为前者负责运行前处理和后处理步骤,而后者静默地忽略它们。
示例
>>> from transformers import AutoImageProcessor, SegformerForImageClassification
>>> import torch
>>> from datasets import load_dataset
>>> dataset = load_dataset("huggingface/cats-image", trust_remote_code=True)
>>> image = dataset["test"]["image"][0]
>>> image_processor = AutoImageProcessor.from_pretrained("nvidia/mit-b0")
>>> model = SegformerForImageClassification.from_pretrained("nvidia/mit-b0")
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
tabby, tabby cat
SegformerForSemanticSegmentation
类 transformers.SegformerForSemanticSegmentation
< source >( config )
参数
- config (SegformerConfig) — 包含所有模型参数的模型配置类。使用配置文件初始化不会加载模型相关的权重,只会加载配置。查看 from_pretrained() 方法来加载模型权重。
在顶部具有全 MLP 解码头的 SegFormer 模型,例如用于 ADE20k、CityScapes。这是一个 PyTorch torch.nn.Module 子类。将其视为常规 PyTorch 模块,并参考 PyTorch 文档了解有关一般用途和行为的所有内容。
forward
< 来源 >( pixel_values: 浮点张量 labels: 可选 = None output_attentions: 可选 = None output_hidden_states: 可选 = None return_dict: 可选 = None ) → transformers.modeling_outputs.SemanticSegmenterOutput 或 tuple(torch.FloatTensor)
参数
- pixel_values (
torch.FloatTensor
of shape(batch_size, num_channels, height, width)
) — 像素值。默认情况下,提供填充将忽略。可以使用 AutoImageProcessor 获取像素值。有关详细信息,请参阅 SegformerImageProcessor.call()。 - 输出注意力 (
布尔值
, 可选) — 是否返回所有注意力层的注意力张量。详细信息请参阅返回张量部分的attentions
。 - 输出隐藏状态 (
布尔值
, 可选) — 是否返回所有层的隐藏状态。详细信息请参阅返回张量部分的hidden_states
。 - 返回字典 (
布尔值
, 可选) — 是否返回模型输出而不是普通元组。 - labels (
torch.LongTensor
形状为(batch_size, height, width)
,可选) — 用于计算损失的地面真实语义分割图。索引应在[0, ..., config.num_labels - 1]
范围内。如果config.num_labels > 1
,则计算分类损失(交叉熵)。
返回值
transformers.modeling_outputs.SemanticSegmenterOutput 或 tuple(torch.FloatTensor)
A transformers.modeling_outputs.SemanticSegmenterOutput 或一个 torch.FloatTensor
的元组(如果传递了 return_dict=False
或 config.return_dict=False
),包含根据配置(SegformerConfig)和输入的不同元素。
-
loss (
torch.FloatTensor
,形状为(1,),可选,如果提供了labels
则返回) — 分类(或回归如果config.num_labels==1)损失。 -
logits (
torch.FloatTensor
形状为(batch_size, config.num_labels, logits_height, logits_width)
) — 每个像素点的分类分数。返回的 logits 的大小不一定与作为输入传递的
pixel_values
相同。这是为了防止进行两次插值并失去一些质量,因为在用户需要将 logits 缩放到原始图像大小作为后期处理时。您应始终检查 logits 的形状并根据需要调整大小。 -
hidden_states (
tuple(torch.FloatTensor)
,可选,当传递output_hidden_states=True
或config.output_hidden_states=True
时返回) — 包含 various elements depending on the configuration (SegformerConfig) and inputs.模型在每个输出(加可选的初始嵌入输出)处的隐藏状态。
-
attentions (
tuple(torch.FloatTensor)
,可选,如果传递了output_attentions=True
或者当config.output_attentions=True
时返回) — 一个torch.FloatTensor
的元组(每个层一个)形状为(batch_size, num_heads, patch_size, sequence_length)。注意软化和居民后的注意力权重,用于在自注意力层中计算加权平均。
SegformerForSemanticSegmentation 前向方法重写了 __call__
特殊方法。
尽管需要在这个函数内定义前向通道的配方,但应该调用Module
实例而不是这个,因为前者负责运行前处理和后处理步骤,而后者静默地忽略它们。
示例
>>> from transformers import AutoImageProcessor, SegformerForSemanticSegmentation
>>> from PIL import Image
>>> import requests
>>> image_processor = AutoImageProcessor.from_pretrained("nvidia/segformer-b0-finetuned-ade-512-512")
>>> model = SegformerForSemanticSegmentation.from_pretrained("nvidia/segformer-b0-finetuned-ade-512-512")
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)
>>> inputs = image_processor(images=image, return_tensors="pt")
>>> outputs = model(**inputs)
>>> logits = outputs.logits # shape (batch_size, num_labels, height/4, width/4)
>>> list(logits.shape)
[1, 150, 128, 128]
TFSegformerDecodeHead
TFSegformerModel
类 transformers.TFSegformerModel
< 来源 >( config: SegformerConfig *inputs **kwargs )
参数
- config (SegformerConfig) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重,只加载配置。检查 from_pretrained() 方法来加载模型权重。
一个裸的 SegFormer 编码器(Mix-Transformer),输出原始的隐藏状态,顶部没有任何特定的头。此模型继承自 TFPreTrainedModel。查看超类文档了解库为其所有模型实现的通用方法(如下载或保存,调整输入嵌入,剪枝头部等)。
此模型也是 keras.Model 的子类。将其用作常规 TF 2.0 Keras 模型,并参考 TF 2.0 文档以了解所有与通用使用和行为相关的信息。
调用
< source >( pixel_values: tf.Tensor output_attentions: Optional[bool] = None output_hidden_states: Optional[bool] = None return_dict: Optional[bool] = None training: bool = False ) → transformers.modeling_tf_outputs.TFBaseModelOutput or tuple(tf.Tensor)
>
参数
- pixel_values (
np.ndarray
,tf.Tensor
,List[tf.Tensor]
`Dict[str, tf.Tensor]
orDict[str, np.ndarray]
and each example must have the shape(batch_size, num_channels, height, width)
) — Pixel values. Pixel values can be obtained using AutoImageProcessor. See SegformerImageProcessor.call() for details. - output_attentions (
bool
, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细,请参阅返回张量下的attentions
。此参数只能在即时模式下使用,在图模式下将使用配置中的值。 - output_hidden_states (
bool
, 可选) — 是否返回所有层的隐藏状态。有关更多详细,请参阅返回张量下的hidden_states
。此参数只能在即时模式下使用,在图模式下将使用配置中的值。 - return_dict (
bool
, 可选) — 是否返回 ModelOutput 而不是普通元组。此参数可以在即时模式下使用,在图模式下此值始终设为 True。 - 训练 (
bool
, 可选, 默认为 `False`)— 是否使用模型进行训练模式(一些模块如dropout模块在训练和评估中表现不同)。
返回值
transformers.modeling_tf_outputs.TFBaseModelOutput 或 tuple(tf.Tensor)
A transformers.modeling_tf_outputs.TFBaseModelOutput 或一个包含 tf.Tensor
的元组(如果传递了 return_dict=False
或当 config.return_dict=False
),它包含各种元素,具体取决于配置(SegformerConfig)和输入。
-
last_hidden_state (形状为
(batch_size, sequence_length, hidden_size)
的tf.Tensor
)— 模型最后一个隐藏层的序列。 -
hidden_states (形状为
(batch_size, sequence_length, hidden_size)
的tuple(tf.Tensor)
,可选,当传递output_hidden_states=True
或当config.output_hidden_states=True
时返回)— 一个包含tf.Tensor
的元组(一个用于嵌入输出,另一个用于每层的输出)的元组。各层输出以及初始嵌入输出的隐藏状态。
-
attentions (形状为
(batch_size, num_heads, sequence_length, sequence_length)
的tuple(tf.Tensor)
,可选,当传递output_attentions=True
或当config.output_attentions=True
时返回)— 一个包含tf.Tensor
的元组(每个层一个)。注意软化和居民后的注意力权重,用于在自注意力层中计算加权平均。
TFSegformerModel 前向方法,覆盖了特殊的 __call__
方法。
尽管需要在这个函数内定义前向通道的配方,但应该调用Module
实例而不是这个,因为前者负责运行前处理和后处理步骤,而后者静默地忽略它们。
示例
>>> from transformers import AutoImageProcessor, TFSegformerModel
>>> from datasets import load_dataset
>>> dataset = load_dataset("huggingface/cats-image", trust_remote_code=True)
>>> image = dataset["test"]["image"][0]
>>> image_processor = AutoImageProcessor.from_pretrained("nvidia/mit-b0")
>>> model = TFSegformerModel.from_pretrained("nvidia/mit-b0")
>>> inputs = image_processor(image, return_tensors="tf")
>>> outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 256, 16, 16]
TFSegformerForImageClassification
类 transformers.TFSegformerForImageClassification
< source >( config: SegformerConfig *inputs **kwargs )
参数
- config (SegformerConfig) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重,只会加载配置。查看 from_pretrained() 方法以加载模型权重。
在顶部添加图像分类头(最终隐藏状态的线性层)的SegFormer模型,例如用于ImageNet。
此模型继承自 TFPreTrainedModel。查看超类文档以获取库为其所有模型实现的通用方法(例如下载或保存、调整输入嵌入的大小、剪枝头部等。)
此模型也是 keras.Model 的子类。将其用作常规 TF 2.0 Keras 模型,并参考 TF 2.0 文档以了解所有与通用使用和行为相关的信息。
调用
< source >( pixel_values: tf.Tensor | None = None labels: tf.Tensor | None = None output_attentions: Optional[bool] = None output_hidden_states: Optional[bool] = None return_dict: Optional[bool] = None ) → transformers.modeling_tf_outputs.TFSequenceClassifierOutput or tuple(tf.Tensor)
参数
- pixel_values (
np.ndarray
,tf.Tensor
,List[tf.Tensor]
`Dict[str, tf.Tensor]
orDict[str, np.ndarray]
and each example must have the shape(batch_size, num_channels, height, width)
) — 像素值。像素值可以使用 AutoImageProcessor 获取。详细信息请参阅 SegformerImageProcessor.call()。 - output_attentions (
bool
, optional) — 是否返回所有注意力层的注意力张量。详细信息请参阅返回张量下的attentions
。此参数仅在 eager 模式下使用,在 graph 模式下使用的是配置中的值。 - output_hidden_states (
bool
, 可选) — 是否返回所有层的隐藏状态。有关返回张量下的hidden_states
的更多详细信息,请参阅。此参数只能在 eager 模式下使用,在 graph 模式下,将使用配置中的值。 - return_dict (
bool
, 可选) — 是否返回 ModelOutput 而不是普通的元组。此参数可以在 eager 模式下使用,在 graph 模式下,该值始终设置为 True。 - training (
bool
, 可选,默认为 `False`) — 是否将模型用于训练模式(某些模块(如 dropout 模块)在训练和评估之间的行为不同)。
返回值
transformers.modeling_tf_outputs.TFSequenceClassifierOutput 或 tuple(tf.Tensor)
一个 transformers.modeling_tf_outputs.TFSequenceClassifierOutput 或一个由 tf.Tensor
组成的元组(如果传递或 config.return_dict=False
),根据配置(SegformerConfig)和输入。
-
损失 (
tf.Tensor
形状(batch_size, )
,可选,当提供labels
时返回) — 分类(或当 config.num_labels==1 时为回归)损失。 -
logits (
tf.Tensor
形状(batch_size, config.num_labels)
) — 分类(或当 config.num_labels==1 时为回归)分数(SoftMax 之前)。 -
hidden_states (
tuple(tf.Tensor)
,可选,当传递output_hidden_states=True
或当config.output_hidden_states=True
时返回) — 包含一个tf.Tensor
(嵌入层的输出)和每个层级输出的元组,形状为(batch_size, sequence_length, hidden_size)
。各层输出以及初始嵌入输出的隐藏状态。
-
attentions (形状为
(batch_size, num_heads, sequence_length, sequence_length)
的tuple(tf.Tensor)
,可选,当传递output_attentions=True
或当config.output_attentions=True
时返回)— 一个包含tf.Tensor
的元组(每个层一个)。注意软化和居民后的注意力权重,用于在自注意力层中计算加权平均。
TFSegformerForImageClassification 的 forward 方法,重写了 __call__
特殊方法。
尽管需要在这个函数内定义前向通道的配方,但应该调用Module
实例而不是这个,因为前者负责运行前处理和后处理步骤,而后者静默地忽略它们。
示例
>>> from transformers import AutoImageProcessor, TFSegformerForImageClassification
>>> import tensorflow as tf
>>> from datasets import load_dataset
>>> dataset = load_dataset("huggingface/cats-image", trust_remote_code=True)
>>> image = dataset["test"]["image"][0]
>>> image_processor = AutoImageProcessor.from_pretrained("nvidia/mit-b0")
>>> model = TFSegformerForImageClassification.from_pretrained("nvidia/mit-b0")
>>> inputs = image_processor(image, return_tensors="tf")
>>> logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = int(tf.math.argmax(logits, axis=-1))
>>> print(model.config.id2label[predicted_label])
tabby, tabby cat
TFSegformerForSemanticSegmentation
class transformers.TFSegformerForSemanticSegmentation
< source >( config: SegformerConfig **kwargs )
参数
- config (SegformerConfig) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重,只有配置。请查看 from_pretrained() 方法以加载模型权重。
SegFormer 模型与最顶部的全 MLP 解码头结合,例如用于 ADE20k、CityScapes。此模型继承自 TFPreTrainedModel。请参阅超类文档,了解库为所有其模型提供的通用方法(如下载或保存、调整输入嵌入、剪枝头部等)
此模型也是 keras.Model 的子类。将其用作常规 TF 2.0 Keras 模型,并参考 TF 2.0 文档以了解所有与通用使用和行为相关的信息。
调用
< source >( pixel_values: tf.Tensor labels: tf.Tensor | None = None output_attentions: Optional[bool] = None output_hidden_states: Optional[bool] = None return_dict: Optional[bool] = None ) → transformers.modeling_tf_outputs.TFSemanticSegmenterOutput
或 tuple(tf.Tensor)
参数
- pixel_values (
np.ndarray
,tf.Tensor
,List[tf.Tensor]
`Dict[str, tf.Tensor]
或 `Dict[str, np.ndarray]
` 并且每个示例都必须具有形状(batch_size, num_channels, height, width)
) —— 像素值。可以使用 AutoImageProcessor 获取像素值。有关详细信息,请参阅 SegformerImageProcessor.call()。 - output_attentions (
bool
, 可选) —— 是否返回所有注意力层的注意力张量。有关更多细节,请参阅返回张量下的attentions
。此参数仅在 eager 模式下使用,在 graph 模式下将使用配置中的值。 - output_hidden_states (
bool
, 可选) —— 是否返回所有层的隐藏状态。有关更多细节,请参阅返回张量下的hidden_states
。此参数仅在 eager 模式下使用,在 graph 模式下将使用配置中的值。 - return_dict (
bool
, 可选) — 是否返回一个ModelOutput而不是一个普通的元组。这个参数可以在急切模式中使用,在图模式中该值始终被设置为True。 - training (
bool
, 可选, 默认为`False`) — 是否使用模型进行训练模式(一些模块,如dropout模块,在训练和评估期间具有不同的行为)。 - labels (
tf.Tensor
形状为(batch_size, height, width)
, 可选) — 计算损失的地面真实语义分割图。索引应在[0, ..., config.num_labels - 1]
之间。如果config.num_labels > 1
,将计算(跨熵)每个像素的分类损失。
返回值
transformers.modeling_tf_outputs.TFSemanticSegmenterOutput
或tuple(tf.Tensor)
一个transformers.modeling_tf_outputs.TFSemanticSegmenterOutput
或一个(在return_dict=False
传递或当config.return_dict=False
时)包含各种元素的tf.Tensor元组(取决于配置(a href="/docs/transformers/v4.44.0/en/model_doc/segformer#transformers.SegformerConfig">SegformerConfig)和输入。
-
loss (
tf.Tensor
形状为(1,)
,可选,当提供labels
时返回)——分类(或当 config.num_labels==1 时的回归)损失。 -
logits (
tf.Tensor
形状为(batch_size, config.num_labels, logits_height, logits_width)
)——每个像素的分类分数。返回的 logits 的大小不一定与作为输入传递的
pixel_values
相同。这是为了防止进行两次插值并失去一些质量,因为在用户需要将 logits 缩放到原始图像大小作为后期处理时。您应始终检查 logits 的形状并根据需要调整大小。 -
hidden_states (
tuple(tf.Tensor)
,可选,当传递output_hidden_states=True
或当config.output_hidden_states=True
时返回)——包含tf.Tensor
的元组(如果模型有嵌入层则为嵌入层的输出 + 每层的输出),形状为(batch_size, patch_size, hidden_size)
。模型在每个输出(加可选的初始嵌入输出)处的隐藏状态。
-
attentions (
tuple(tf.Tensor)
,可选,当传递output_attentions=True
或当config.output_attentions=True
时返回)——包含tf.Tensor
的元组(每层一个),形状为(batch_size, num_heads, patch_size, sequence_length)
。注意软化和居民后的注意力权重,用于在自注意力层中计算加权平均。
TFSegformerForSemanticSegmentation 的前向方法,覆盖了 __call__
特殊方法。
尽管需要在这个函数内定义前向通道的配方,但应该调用Module
实例而不是这个,因为前者负责运行前处理和后处理步骤,而后者静默地忽略它们。
示例
>>> from transformers import AutoImageProcessor, TFSegformerForSemanticSegmentation
>>> from PIL import Image
>>> import requests
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)
>>> image_processor = AutoImageProcessor.from_pretrained("nvidia/segformer-b0-finetuned-ade-512-512")
>>> model = TFSegformerForSemanticSegmentation.from_pretrained("nvidia/segformer-b0-finetuned-ade-512-512")
>>> inputs = image_processor(images=image, return_tensors="tf")
>>> outputs = model(**inputs, training=False)
>>> # logits are of shape (batch_size, num_labels, height/4, width/4)
>>> logits = outputs.logits
>>> list(logits.shape)
[1, 150, 128, 128]