Transformers 文档

DPT

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

DPT

PyTorch FlashAttention SDPA

概述

DPT 模型由 René Ranftl、Alexey Bochkovskiy、Vladlen Koltun 在 Vision Transformers for Dense Prediction 中提出。DPT 是一种模型,它利用 Vision Transformer (ViT) 作为密集预测任务(如语义分割和深度估计)的骨干网络。

该论文的摘要如下

我们介绍了密集视觉 Transformer,这是一种架构,它利用视觉 Transformer 代替卷积网络作为密集预测任务的骨干网络。我们从视觉 Transformer 的各个阶段组装 tokens 成各种分辨率的类图像表示,并使用卷积解码器逐步将它们组合成全分辨率预测。Transformer 骨干网络以恒定且相对较高的分辨率处理表示,并在每个阶段都具有全局感受野。与全卷积网络相比,这些特性使密集视觉 Transformer 能够提供更精细和更全局连贯的预测。我们的实验表明,这种架构在密集预测任务上产生了显著的改进,尤其是在有大量训练数据可用时。对于单目深度估计,与最先进的全卷积网络相比,我们观察到相对性能提高了高达 28%。当应用于语义分割时,密集视觉 Transformer 在 ADE20K 上以 49.02% mIoU 创造了新的最先进水平。我们进一步表明,该架构可以在较小的数据集(如 NYUv2、KITTI 和 Pascal Context)上进行微调,并在这些数据集上也创造了新的最先进水平。

drawing DPT 架构。取自原始论文

此模型由 nielsr 贡献。原始代码可以在这里找到。

使用技巧

DPT 与 AutoBackbone 类兼容。这允许将 DPT 框架与库中可用的各种计算机视觉骨干网络一起使用,例如 VitDetBackboneDinov2Backbone。可以按如下方式创建它

from transformers import Dinov2Config, DPTConfig, DPTForDepthEstimation

# initialize with a Transformer-based backbone such as DINOv2
# in that case, we also specify `reshape_hidden_states=False` to get feature maps of shape (batch_size, num_channels, height, width)
backbone_config = Dinov2Config.from_pretrained("facebook/dinov2-base", out_features=["stage1", "stage2", "stage3", "stage4"], reshape_hidden_states=False)

config = DPTConfig(backbone_config=backbone_config)
model = DPTForDepthEstimation(config=config)

资源

官方 Hugging Face 和社区 (🌎 指示) 资源列表,可帮助您开始使用 DPT。

如果您有兴趣提交资源并将其包含在此处,请随时打开 Pull Request,我们将对其进行审核!该资源理想情况下应展示一些新的内容,而不是重复现有资源。

DPTConfig

class transformers.DPTConfig

< >

( hidden_size = 768 num_hidden_layers = 12 num_attention_heads = 12 intermediate_size = 3072 hidden_act = 'gelu' hidden_dropout_prob = 0.0 attention_probs_dropout_prob = 0.0 initializer_range = 0.02 layer_norm_eps = 1e-12 image_size = 384 patch_size = 16 num_channels = 3 is_hybrid = False qkv_bias = True backbone_out_indices = [2, 5, 8, 11] readout_type = 'project' reassemble_factors = [4, 2, 1, 0.5] neck_hidden_sizes = [96, 192, 384, 768] fusion_hidden_size = 256 head_in_index = -1 use_batch_norm_in_fusion_residual = False use_bias_in_fusion_residual = None add_projection = False use_auxiliary_head = True auxiliary_loss_weight = 0.4 semantic_loss_ignore_index = 255 semantic_classifier_dropout = 0.1 backbone_featmap_shape = [1, 1024, 24, 24] neck_ignore_stages = [0, 1] backbone_config = None backbone = None use_pretrained_backbone = False use_timm_backbone = False backbone_kwargs = None pooler_output_size = None pooler_act = 'tanh' **kwargs )

参数

  • hidden_size (int, 可选, 默认为 768) — 编码器层和池化器层的维度。
  • num_hidden_layers (int, 可选, 默认为 12) — Transformer 编码器中隐藏层的数量。
  • num_attention_heads (int, 可选, 默认为 12) — Transformer 编码器中每个注意力层的注意力头数。
  • intermediate_size (int, 可选, 默认为 3072) — Transformer 编码器中“中间”(即,前馈)层的维度。
  • hidden_act (strfunction, 可选, 默认为 "gelu") — 编码器和池化器中的非线性激活函数(函数或字符串)。如果为字符串,则支持 "gelu", "relu", "selu""gelu_new"
  • hidden_dropout_prob (float, 可选, 默认为 0.0) — 嵌入、编码器和池化器中所有全连接层的 dropout 概率。
  • attention_probs_dropout_prob (float, 可选, 默认为 0.0) — 注意力概率的 dropout 比率。
  • initializer_range (float, optional, defaults to 0.02) — 用于初始化所有权重矩阵的truncated_normal_initializer的标准差。
  • layer_norm_eps (float, optional, defaults to 1e-12) — 层归一化层使用的epsilon值。
  • image_size (int, optional, defaults to 384) — 每张图片的大小(分辨率)。
  • patch_size (int, optional, defaults to 16) — 每个patch的大小(分辨率)。
  • num_channels (int, optional, defaults to 3) — 输入通道数。
  • is_hybrid (bool, optional, defaults to False) — 是否使用混合backbone。在加载DPT-Hybrid模型时很有用。
  • qkv_bias (bool, optional, defaults to True) — 是否向queries,keys和values添加偏置。
  • backbone_out_indices (List[int], optional, defaults to [2, 5, 8, 11]) — 从backbone中使用的中间隐藏状态的索引。
  • readout_type (str, optional, defaults to "project") — 用于处理ViT backbone的中间隐藏状态的readout token(CLS token)的readout类型。可以是 ["ignore", "add", "project"] 之一。

    • “ignore” 简单地忽略 CLS token。
    • “add” 通过添加表示,将来自 CLS token 的信息传递给所有其他token。
    • “project” 通过在将表示投影到原始特征维度 D 之前,将 readout 连接到所有其他 token,从而将信息传递给其他 token,并使用线性层,然后是 GELU 非线性激活函数。
  • reassemble_factors (List[int], optional, defaults to [4, 2, 1, 0.5]) — reassemble层的上/下采样因子。
  • neck_hidden_sizes (List[str], optional, defaults to [96, 192, 384, 768]) — backbone的特征图要投影到的隐藏层大小。
  • fusion_hidden_size (int, optional, defaults to 256) — 融合前的通道数。
  • head_in_index (int, optional, defaults to -1) — 在heads中使用的特征的索引。
  • use_batch_norm_in_fusion_residual (bool, optional, defaults to False) — 是否在融合块的预激活残差单元中使用批归一化。
  • use_bias_in_fusion_residual (bool, optional, defaults to True) — 是否在融合块的预激活残差单元中使用偏置。
  • add_projection (bool, optional, defaults to False) — 是否在深度估计head之前添加一个投影层。
  • use_auxiliary_head (bool, optional, defaults to True) — 是否在训练期间使用辅助head。
  • auxiliary_loss_weight (float, optional, defaults to 0.4) — 辅助head的交叉熵损失的权重。
  • semantic_loss_ignore_index (int, optional, defaults to 255) — 语义分割模型的损失函数忽略的索引。
  • semantic_classifier_dropout (float, optional, defaults to 0.1) — 语义分类head的dropout比率。
  • backbone_featmap_shape (List[int], optional, defaults to [1, 1024, 24, 24]) — 仅用于 hybrid embedding 类型。backbone的特征图的形状。
  • neck_ignore_stages (List[int], optional, defaults to [0, 1]) — 仅用于 hybrid embedding 类型。要忽略的readout层的阶段。
  • backbone_config (Union[Dict[str, Any], PretrainedConfig], optional) — backbone模型的配置。仅在 is_hybridTrue 或您想利用 AutoBackbone API 的情况下使用。
  • backbone (str, optional) — 当 backbone_configNone 时,要使用的backbone的名称。如果 use_pretrained_backboneTrue,这将从 timm 或 transformers 库加载相应的预训练权重。如果 use_pretrained_backboneFalse,这将加载backbone的配置,并使用它来初始化具有随机权重的backbone。
  • use_pretrained_backbone (bool, optional, defaults to False) — 是否对backbone使用预训练权重。
  • use_timm_backbone (bool, optional, defaults to False) — 是否从 timm 库加载 backbone。如果为 False,则从 transformers 库加载 backbone。
  • backbone_kwargs (dict, optional) — 从检查点加载时要传递给 AutoBackbone 的关键字参数,例如 {'out_indices': (0, 1, 2, 3)}。如果设置了 backbone_config,则不能指定。
  • pooler_output_size (int, optional) — 池化层 (pooler layer) 的维度。如果为 None,则默认为 hidden_size
  • pooler_act (str, optional, defaults to "tanh") — 池化层 (pooler layer) 使用的激活函数。Flax 和 PyTorch 支持 ACT2FN 的键,Tensorflow 支持 https://tensorflowcn.cn/api_docs/python/tf/keras/activations 的元素。

这是用于存储 DPTModel 配置的配置类。它用于根据指定的参数实例化 DPT 模型,定义模型架构。使用默认值实例化配置将生成与 DPT Intel/dpt-large 架构类似的配置。

配置对象继承自 PretrainedConfig,可用于控制模型输出。有关更多信息,请阅读 PretrainedConfig 中的文档。

示例

>>> from transformers import DPTModel, DPTConfig

>>> # Initializing a DPT dpt-large style configuration
>>> configuration = DPTConfig()

>>> # Initializing a model from the dpt-large style configuration
>>> model = DPTModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

to_dict

< >

( )

将此实例序列化为 Python 字典。覆盖默认的 to_dict()。 返回: Dict[str, any]: 构成此配置实例的所有属性的字典,

DPTFeatureExtractor

class transformers.DPTFeatureExtractor

< >

( *args **kwargs )

__call__

< >

( images segmentation_maps = None **kwargs )

post_process_semantic_segmentation

< >

( outputs target_sizes: typing.List[typing.Tuple] = None ) semantic_segmentation

参数

  • outputs (DPTForSemanticSegmentation) — 模型的原始输出。
  • target_sizes (长度为 batch_sizeList[Tuple], optional) — 与每个预测请求的最终尺寸(高度,宽度)相对应的元组列表。如果未设置,则不会调整预测大小。

返回

semantic_segmentation

长度为 batch_sizeList[torch.Tensor], 其中每个项目是形状为 (height, width) 的语义分割图,对应于 target_sizes 条目(如果指定了 target_sizes)。每个 torch.Tensor 的每个条目对应于一个语义类别 ID。

DPTForSemanticSegmentation 的输出转换为语义分割图。仅支持 PyTorch。

DPTImageProcessor

class transformers.DPTImageProcessor

< >

( do_resize: bool = True size: typing.Dict[str, int] = None resample: Resampling = <Resampling.BICUBIC: 3> keep_aspect_ratio: bool = False ensure_multiple_of: int = 1 do_rescale: bool = True rescale_factor: typing.Union[int, float] = 0.00392156862745098 do_normalize: bool = True image_mean: typing.Union[float, typing.List[float], NoneType] = None image_std: typing.Union[float, typing.List[float], NoneType] = None do_pad: bool = False size_divisor: int = None do_reduce_labels: bool = False **kwargs )

参数

  • do_resize (bool, optional, defaults to True) — 是否调整图像的 (高度,宽度) 尺寸。可以被 preprocess 中的 do_resize 覆盖。
  • size (Dict[str, int] optional, defaults to {"height" -- 384, "width": 384}): 调整大小后图像的尺寸。可以被 preprocess 中的 size 覆盖。
  • resample (PILImageResampling, optional, defaults to Resampling.BICUBIC) — 定义调整图像大小时要使用的重采样过滤器。可以被 preprocess 中的 resample 覆盖。
  • keep_aspect_ratio (bool, optional, defaults to False) — 如果为 True,则将图像调整为尽可能大的尺寸,同时保持宽高比。可以被 preprocess 中的 keep_aspect_ratio 覆盖。
  • ensure_multiple_of (int, optional, defaults to 1) — 如果 do_resizeTrue,则将图像调整为该值的倍数的大小。可以被 preprocess 中的 ensure_multiple_of 覆盖。
  • do_rescale (bool, optional, defaults to True) — 是否通过指定的比例 rescale_factor 重新缩放图像。可以被 preprocess 中的 do_rescale 覆盖。
  • rescale_factor (int or float, optional, defaults to 1/255) — 如果重新缩放图像,则使用的比例因子。可以被 preprocess 中的 rescale_factor 覆盖。
  • do_normalize (bool, optional, defaults to True) — 是否标准化图像。可以被 preprocess 方法中的 do_normalize 参数覆盖。
  • image_mean (float or List[float], optional, defaults to IMAGENET_STANDARD_MEAN) — 如果标准化图像,则使用的均值。这是一个浮点数或浮点数列表,其长度为图像中通道的数量。可以被 preprocess 方法中的 image_mean 参数覆盖。
  • image_std (float or List[float], optional, defaults to IMAGENET_STANDARD_STD) — 如果标准化图像,则使用的标准差。这是一个浮点数或浮点数列表,其长度为图像中通道的数量。可以被 preprocess 方法中的 image_std 参数覆盖。
  • do_pad (bool, optional, defaults to False) — 是否应用中心填充。这是在 DINOv2 论文中引入的,该论文将模型与 DPT 结合使用。
  • size_divisor (int, optional) — 如果 do_padTrue,则填充图像尺寸,使其可被该值整除。这是在 DINOv2 论文中引入的,该论文将模型与 DPT 结合使用。
  • do_reduce_labels (bool, optional, defaults to False) — 是否将分割图的所有标签值减 1。通常用于数据集,其中 0 用于背景,并且背景本身不包含在数据集的所有类别中(例如 ADE20k)。背景标签将被替换为 255。可以被 preprocess 方法中的 do_reduce_labels 参数覆盖。

构建 DPT 图像处理器。

preprocess

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']] segmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None do_resize: bool = None size: int = None keep_aspect_ratio: bool = None ensure_multiple_of: int = None resample: Resampling = None do_rescale: bool = None rescale_factor: float = None do_normalize: bool = None image_mean: typing.Union[float, typing.List[float], NoneType] = None image_std: typing.Union[float, typing.List[float], NoneType] = None do_pad: bool = None size_divisor: int = None do_reduce_labels: typing.Optional[bool] = None return_tensors: typing.Union[str, transformers.utils.generic.TensorType, NoneType] = None data_format: ChannelDimension = <ChannelDimension.FIRST: 'channels_first'> input_data_format: typing.Union[str, transformers.image_utils.ChannelDimension, NoneType] = None )

参数

  • images (ImageInput) — 要预处理的图像。 期望是像素值范围为 0 到 255 的单张或批量图像。 如果传入像素值在 0 到 1 之间的图像,请设置 do_rescale=False
  • segmentation_maps (ImageInput, optional) — 要预处理的分割图。
  • do_resize (bool, optional, defaults to self.do_resize) — 是否调整图像大小。 默认为 self.do_resize
  • size (Dict[str, int], optional, defaults to self.size) — 调整大小后图像的尺寸。 默认为 self.size。 如果 keep_aspect_ratioTrue,则图像将被调整为尽可能大的尺寸,以保持宽高比。 如果设置了 ensure_multiple_of,则图像将被调整为该值的倍数的尺寸。
  • keep_aspect_ratio (bool, optional, defaults to self.keep_aspect_ratio) — 是否保持图像的宽高比。 默认为 self.keep_aspect_ratio。 如果为 False,图像将被调整为 (size, size)。 如果为 True,图像将被调整大小以保持宽高比,并且尺寸将是最大可能尺寸。
  • ensure_multiple_of (int, optional, defaults to self.ensure_multiple_of) — 确保图像尺寸是此值的倍数。 默认为 self.ensure_multiple_of
  • resample (int, optional, defaults to self.resample) — 如果调整图像大小,则使用的重采样滤波器。 默认为 self.resample。 这可以是枚举 PILImageResampling 之一,仅当 do_resize 设置为 True 时才有效。
  • do_rescale (bool, optional, defaults to self.do_rescale) — 是否将图像值重新缩放到 [0 - 1] 之间。 默认为 self.do_rescale
  • rescale_factor (float, optional, defaults to self.rescale_factor) — 如果 do_rescale 设置为 True,则用于重新缩放图像的缩放因子。 默认为 self.rescale_factor
  • do_normalize (bool, optional, defaults to self.do_normalize) — 是否对图像进行归一化。 默认为 self.do_normalize
  • image_mean (float or List[float], optional, defaults to self.image_mean) — 图像均值。 默认为 self.image_mean
  • image_std (float or List[float], optional, defaults to self.image_std) — 图像标准差。 默认为 self.image_std
  • do_reduce_labels (bool, optional, defaults to self.do_reduce_labels) — 是否将分割图的所有标签值减 1。 默认为 self.do_reduce_labels。 通常用于数据集,其中 0 用于背景,而背景本身不包含在数据集的所有类别中(例如 ADE20k)。 背景标签将被替换为 255。
  • return_tensors (str or TensorType, optional) — 返回张量的类型。 可以是以下之一:
    • Unset: 返回 np.ndarray 列表。
    • TensorType.TENSORFLOW'tf': 返回 tf.Tensor 类型的批次。
    • TensorType.PYTORCH'pt': 返回 torch.Tensor 类型的批次。
    • TensorType.NUMPY'np': 返回 np.ndarray 类型的批次。
    • TensorType.JAX'jax': 返回 jax.numpy.ndarray 类型的批次。
  • data_format (ChannelDimension or str, optional, defaults to ChannelDimension.FIRST) — 输出图像的通道维度格式。 默认为 ChannelDimension.FIRST。 可以是以下之一:
    • ChannelDimension.FIRST: 格式为 (num_channels, height, width) 的图像。
    • ChannelDimension.LAST: 格式为 (height, width, num_channels) 的图像。
  • input_data_format (ChannelDimension or str, optional) — 输入图像的通道维度格式。 如果未设置,则通道维度格式将从输入图像中推断。 可以是以下之一:
    • "channels_first"ChannelDimension.FIRST: 格式为 (num_channels, height, width) 的图像。
    • "channels_last"ChannelDimension.LAST: 格式为 (height, width, num_channels) 的图像。
    • "none"ChannelDimension.NONE: 格式为 (height, width) 的图像。

预处理单张图像或批量图像。

post_process_semantic_segmentation

< >

( outputs target_sizes: typing.List[typing.Tuple] = None ) semantic_segmentation

参数

  • outputs (DPTForSemanticSegmentation) — 模型的原始输出。
  • target_sizes (List[Tuple] of length batch_size, optional) — 长度为 batch_size 的元组列表,对应于每个预测请求的最终尺寸(高度,宽度)。 默认为 `None`,预测将不会被调整大小。

返回

semantic_segmentation

长度为 batch_sizeList[torch.Tensor], 其中每个项目是形状为 (height, width) 的语义分割图,对应于 target_sizes 条目(如果指定了 target_sizes)。每个 torch.Tensor 的每个条目对应于一个语义类别 ID。

DPTForSemanticSegmentation 的输出转换为语义分割图。仅支持 PyTorch。

DPTModel

class transformers.DPTModel

< >

( config add_pooling_layer = True )

参数

  • config (ViTConfig) — 包含模型所有参数的模型配置类。 使用配置文件初始化不会加载与模型关联的权重,仅加载配置。 查看 from_pretrained() 方法以加载模型权重。

裸 DPT 模型 Transformer 输出原始隐藏状态,而顶部没有任何特定的 head。 此模型是 PyTorch torch.nn.Module 子类。 将其用作常规 PyTorch 模块,并参考 PyTorch 文档以了解与常规用法和行为相关的所有事项。

forward

< >

( pixel_values: FloatTensor head_mask: typing.Optional[torch.FloatTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) transformers.models.dpt.modeling_dpt.BaseModelOutputWithPoolingAndIntermediateActivations or tuple(torch.FloatTensor)

参数

  • pixel_values (torch.FloatTensor,形状为 (batch_size, num_channels, height, width)) — 像素值。 像素值可以使用 AutoImageProcessor 获得。 有关详细信息,请参阅 DPTImageProcessor.call()
  • head_mask (torch.FloatTensor,形状为 (num_heads,)(num_layers, num_heads), optional) — 用于置空自注意力模块中选定 head 的掩码。 掩码值在 [0, 1] 中选择:

    • 1 表示 head 未被掩蔽
    • 0 表示 head 被掩蔽
  • output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。 有关更多详细信息,请参见返回张量下的 attentions
  • output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。 有关更多详细信息,请参见返回张量下的 hidden_states
  • return_dict (bool, optional) — 是否返回 ModelOutput 而不是普通元组。 默认为 `None`。

返回

transformers.models.dpt.modeling_dpt.BaseModelOutputWithPoolingAndIntermediateActivationstuple(torch.FloatTensor)

一个 transformers.models.dpt.modeling_dpt.BaseModelOutputWithPoolingAndIntermediateActivations 或一个 torch.FloatTensor 的元组 (如果传递了 return_dict=False 或当 config.return_dict=False 时),包含各种元素,具体取决于配置 (DPTConfig) 和输入。

  • last_hidden_state (形状为 (batch_size, sequence_length, hidden_size)torch.FloatTensor) — 模型最后一层的输出端的隐藏状态序列。

  • pooler_output (形状为 (batch_size, hidden_size)torch.FloatTensor) — 序列的第一个 token (分类 token) 的最后一层隐藏状态,在通过用于辅助预训练任务的层进行进一步处理之后。例如,对于 BERT 系列模型,这返回通过线性层和 tanh 激活函数处理后的分类 token。线性层权重通过预训练期间的下一句预测(分类)目标进行训练。

  • hidden_states (tuple(torch.FloatTensor), 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组(如果模型有嵌入层,则为嵌入的输出 + 每层的输出各一个),形状为 (batch_size, sequence_length, hidden_size)

    模型在每一层输出端的隐藏状态,加上可选的初始嵌入输出。

  • attentions (tuple(torch.FloatTensor), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组(每层一个),形状为 (batch_size, num_heads, sequence_length, sequence_length)

    注意力 softmax 之后的注意力权重,用于计算自注意力头中的加权平均值。

  • intermediate_activations (tuple(torch.FloatTensor), 可选) — 可用于计算模型在各个层的隐藏状态的中间激活值。

DPTModel 的 forward 方法,覆盖了 __call__ 特殊方法。

尽管 forward 传递的配方需要在该函数内定义,但应该之后调用 Module 实例而不是此函数,因为前者负责运行预处理和后处理步骤,而后者会默默地忽略它们。

示例

>>> from transformers import AutoImageProcessor, DPTModel
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image", trust_remote_code=True)
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("Intel/dpt-large")
>>> model = DPTModel.from_pretrained("Intel/dpt-large")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 577, 1024]

DPTForDepthEstimation

class transformers.DPTForDepthEstimation

< >

( config )

参数

  • config (ViTConfig) — 带有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重,仅加载配置。查看 from_pretrained() 方法以加载模型权重。

DPT 模型,顶部带有一个深度估计头(由 3 个卷积层组成),例如用于 KITTI, NYUv2。

此模型是 PyTorch 的 torch.nn.Module 子类。将其用作常规 PyTorch 模块,并参阅 PyTorch 文档以了解与常规用法和行为相关的所有事项。

forward

< >

( pixel_values: FloatTensor head_mask: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) transformers.modeling_outputs.DepthEstimatorOutputtuple(torch.FloatTensor)

参数

  • pixel_values (形状为 (batch_size, num_channels, height, width)torch.FloatTensor) — 像素值。像素值可以使用 AutoImageProcessor 获得。请参阅 DPTImageProcessor.call() 了解详细信息。
  • head_mask (形状为 (num_heads,)(num_layers, num_heads)torch.FloatTensor, 可选) — 用于置空自注意力模块的选定头的掩码。在 [0, 1] 中选择的掩码值:

    • 1 表示头未被掩蔽
    • 0 表示头已被掩蔽
  • output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息,请参见返回张量下的 attentions
  • output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。 有关更多详细信息,请参见返回张量下的 hidden_states
  • return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通元组。
  • labels (形状为 (batch_size, height, width)torch.LongTensor, 可选) — 用于计算损失的真值深度估计图。

返回

transformers.modeling_outputs.DepthEstimatorOutputtuple(torch.FloatTensor)

一个 transformers.modeling_outputs.DepthEstimatorOutput 或一个 torch.FloatTensor 的元组 (如果传递了 return_dict=False 或当 config.return_dict=False 时),包含各种元素,具体取决于配置 (DPTConfig) 和输入。

  • loss (形状为 (1,)torch.FloatTensor, 可选, 当提供 labels 时返回) — 分类(或回归,如果 config.num_labels==1)损失。

  • predicted_depth (形状为 (batch_size, height, width)torch.FloatTensor) — 每个像素的预测深度。

  • hidden_states (tuple(torch.FloatTensor), 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组(如果模型有嵌入层,则为嵌入的输出 + 每层的输出各一个),形状为 (batch_size, num_channels, height, width)

    模型在每一层输出端的隐藏状态,加上可选的初始嵌入输出。

  • attentions (tuple(torch.FloatTensor), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组(每层一个),形状为 (batch_size, num_heads, patch_size, sequence_length)

    注意力 softmax 之后的注意力权重,用于计算自注意力头中的加权平均值。

DPTForDepthEstimation 的 forward 方法,覆盖了 __call__ 特殊方法。

尽管 forward 传递的配方需要在该函数内定义,但应该之后调用 Module 实例而不是此函数,因为前者负责运行预处理和后处理步骤,而后者会默默地忽略它们。

示例

>>> from transformers import AutoImageProcessor, DPTForDepthEstimation
>>> import torch
>>> import numpy as np
>>> from PIL import Image
>>> import requests

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> image_processor = AutoImageProcessor.from_pretrained("Intel/dpt-large")
>>> model = DPTForDepthEstimation.from_pretrained("Intel/dpt-large")

>>> # prepare image for the model
>>> inputs = image_processor(images=image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> # interpolate to original size
>>> post_processed_output = image_processor.post_process_depth_estimation(
...     outputs,
...     target_sizes=[(image.height, image.width)],
... )

>>> # visualize the prediction
>>> predicted_depth = post_processed_output[0]["predicted_depth"]
>>> depth = predicted_depth * 255 / predicted_depth.max()
>>> depth = depth.detach().cpu().numpy()
>>> depth = Image.fromarray(depth.astype("uint8"))

DPTForSemanticSegmentation

class transformers.DPTForSemanticSegmentation

< >

( config )

参数

  • config (ViTConfig) — 带有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重,仅加载配置。查看 from_pretrained() 方法以加载模型权重。

DPT 模型,顶部带有一个语义分割头,例如用于 ADE20k, CityScapes。

此模型是 PyTorch 的 torch.nn.Module 子类。将其用作常规 PyTorch 模块,并参阅 PyTorch 文档以了解与常规用法和行为相关的所有事项。

forward

< >

( pixel_values: typing.Optional[torch.FloatTensor] = None head_mask: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) transformers.modeling_outputs.SemanticSegmenterOutputtuple(torch.FloatTensor)

参数

  • pixel_values (形状为 (batch_size, num_channels, height, width)torch.FloatTensor) — 像素值。像素值可以使用 AutoImageProcessor 获得。请参阅 DPTImageProcessor.call() 了解详细信息。
  • head_mask (形状为 (num_heads,)(num_layers, num_heads)torch.FloatTensor, 可选) — 用于置空自注意力模块的选定头的掩码。在 [0, 1] 中选择的掩码值:

    • 1 表示头未被掩蔽
    • 0 表示头已被掩蔽
  • output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息,请参见返回张量下的 attentions
  • output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。 有关更多详细信息,请参见返回张量下的 hidden_states
  • return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通元组。
  • labels (形状为 (batch_size, height, width)torch.LongTensor, 可选) — 用于计算损失的真值语义分割图。索引应在 [0, ..., config.num_labels - 1] 中。如果 config.num_labels > 1,则计算分类损失(交叉熵)。

返回

transformers.modeling_outputs.SemanticSegmenterOutputtuple(torch.FloatTensor)

一个 transformers.modeling_outputs.SemanticSegmenterOutput 或一个 torch.FloatTensor 元组(如果传递了 return_dict=False 或者当 config.return_dict=False 时),包含各种元素,具体取决于配置 (DPTConfig) 和输入。

  • loss (形状为 (1,)torch.FloatTensor, 可选, 当提供 labels 时返回) — 分类(或回归,如果 config.num_labels==1)损失。

  • logits (形状为 (batch_size, config.num_labels, logits_height, logits_width)torch.FloatTensor) — 每个像素的分类得分。

    返回的 logits 不一定与作为输入传递的 pixel_values 具有相同的大小。这是为了避免进行两次插值,并在用户需要将 logits 调整为原始图像大小作为后处理时损失一些质量。您应该始终检查您的 logits 形状并根据需要调整大小。

  • hidden_states (tuple(torch.FloatTensor)可选,当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组(如果模型具有嵌入层,则为嵌入输出,每个层的输出各一个),形状为 (batch_size, patch_size, hidden_size)

    模型在每一层输出端的隐藏状态,加上可选的初始嵌入输出。

  • attentions (tuple(torch.FloatTensor), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组(每层一个),形状为 (batch_size, num_heads, patch_size, sequence_length)

    注意力 softmax 之后的注意力权重,用于计算自注意力头中的加权平均值。

DPTForSemanticSegmentation 的 forward 方法,覆盖了 __call__ 特殊方法。

尽管 forward 传递的配方需要在该函数内定义,但应该之后调用 Module 实例而不是此函数,因为前者负责运行预处理和后处理步骤,而后者会默默地忽略它们。

示例

>>> from transformers import AutoImageProcessor, DPTForSemanticSegmentation
>>> from PIL import Image
>>> import requests

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> image_processor = AutoImageProcessor.from_pretrained("Intel/dpt-large-ade")
>>> model = DPTForSemanticSegmentation.from_pretrained("Intel/dpt-large-ade")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)
>>> logits = outputs.logits
< > 更新 on GitHub