Transformers 文档
ViTMatte
并获得增强的文档体验
开始使用
ViTMatte
概述
ViTMatte 模型由 Jingfeng Yao、Xinggang Wang、Shusheng Yang 和 Baoyuan Wang 在论文 《Boosting Image Matting with Pretrained Plain Vision Transformers》 中提出。ViTMatte 利用普通的 Vision Transformer 来完成图像抠图任务,即精确估计图像和视频中的前景对象的过程。
论文摘要如下:
摘要:最近,普通视觉 Transformer (ViT) 由于其强大的建模能力和大规模预训练,在各种计算机视觉任务上表现出了令人印象深刻的性能。然而,它们尚未攻克图像抠图问题。我们假设图像抠图也可以通过 ViT 得到提升,并提出了一种新的高效且鲁棒的基于 ViT 的抠图系统,名为 ViTMatte。我们的方法利用 (i) 混合注意力机制与卷积颈部相结合,帮助 ViT 在抠图任务中实现出色的性能-计算权衡。(ii) 此外,我们引入了细节捕捉模块,该模块仅由简单的轻量级卷积组成,以补充抠图所需的详细信息。据我们所知,ViTMatte 是首个通过简洁的适配来释放 ViT 在图像抠图方面潜力的工作。它将 ViT 的许多优越特性继承到了抠图中,包括各种预训练策略、简洁的架构设计和灵活的推理策略。我们在 Composition-1k 和 Distinctions-646 这两个最常用的图像抠图基准上评估了 ViTMatte,我们的方法达到了最先进的性能,并大幅超越了先前的抠图工作。

资源
一份官方 Hugging Face 和社区(由 🌎 标识)资源列表,帮助你开始使用 ViTMatte。
- 关于使用 VitMatteForImageMatting 进行推理(包括背景替换)的演示 notebook 可以在这里找到。
该模型期望同时输入图像和三元图(trimap)(拼接后)。请使用 ViTMatteImageProcessor
进行此操作。
VitMatteConfig
class transformers.VitMatteConfig
< 源文件 >( backbone_config: PretrainedConfig = None backbone = None use_pretrained_backbone = False use_timm_backbone = False backbone_kwargs = None hidden_size: int = 384 batch_norm_eps: float = 1e-05 initializer_range: float = 0.02 convstream_hidden_sizes: list = [48, 96, 192] fusion_hidden_sizes: list = [256, 128, 64, 32] **kwargs )
参数
- backbone_config (
PretrainedConfig
或dict
, 可选, 默认为VitDetConfig()
) — 主干模型的配置。 - backbone (
str
, 可选) — 当backbone_config
为None
时使用的主干名称。如果use_pretrained_backbone
为True
,将从 timm 或 transformers 库中加载相应的预训练权重。如果use_pretrained_backbone
为False
,将加载主干的配置并用其初始化具有随机权重的主干。 - use_pretrained_backbone (
bool
, 可选, 默认为False
) — 是否为主干使用预训练权重。 - use_timm_backbone (
bool
, 可选, 默认为False
) — 是否从 timm 库加载 `backbone`。如果为 `False`,则从 transformers 库加载主干。 - backbone_kwargs (
dict
, 可选) — 从检查点加载时传递给 AutoBackbone 的关键字参数,例如 `{'out_indices': (0, 1, 2, 3)}`。如果设置了 `backbone_config`,则不能指定此参数。 - hidden_size (
int
, 可选, 默认为 384) — 解码器的输入通道数。 - batch_norm_eps (
float
, 可选, 默认为 1e-05) — 批归一化层使用的 epsilon 值。 - initializer_range (
float
, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。 - convstream_hidden_sizes (
list[int]
, 可选, 默认为[48, 96, 192]
) — ConvStream 模块的输出通道数。 - fusion_hidden_sizes (
list[int]
, 可选, 默认为[256, 128, 64, 32]
) — Fusion 模块的输出通道数。
这是用于存储 VitMatteForImageMatting 配置的配置类。它用于根据指定的参数实例化一个 ViTMatte 模型,定义模型架构。使用默认值实例化一个配置将产生与 ViTMatte hustvl/vitmatte-small-composition-1k 架构类似的配置。
配置对象继承自 PretrainedConfig,可用于控制模型输出。更多信息请阅读 PretrainedConfig 的文档。
示例
>>> from transformers import VitMatteConfig, VitMatteForImageMatting
>>> # Initializing a ViTMatte hustvl/vitmatte-small-composition-1k style configuration
>>> configuration = VitMatteConfig()
>>> # Initializing a model (with random weights) from the hustvl/vitmatte-small-composition-1k style configuration
>>> model = VitMatteForImageMatting(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config
VitMatteImageProcessor
class transformers.VitMatteImageProcessor
< 源文件 >( do_rescale: bool = True rescale_factor: typing.Union[int, float] = 0.00392156862745098 do_normalize: bool = True image_mean: typing.Union[float, list[float], NoneType] = None image_std: typing.Union[float, list[float], NoneType] = None do_pad: bool = True size_divisibility: int = 32 **kwargs )
参数
- do_rescale (
bool
, 可选, 默认为True
) — 是否按指定的比例rescale_factor
重新缩放图像。可在 `preprocess` 方法中通过 `do_rescale` 参数覆盖。 - rescale_factor (
int
或float
, 可选, 默认为1/255
) — 如果对图像进行重新缩放,则使用的缩放因子。可在 `preprocess` 方法中通过 `rescale_factor` 参数覆盖。 - do_normalize (
bool
, 可选, 默认为True
) — 是否对图像进行归一化。可在 `preprocess` 方法中通过 `do_normalize` 参数覆盖。 - image_mean (
float
或list[float]
, 可选, 默认为IMAGENET_STANDARD_MEAN
) — 如果对图像进行归一化,则使用的均值。这是一个浮点数或浮点数列表,长度与图像中的通道数相同。可在 `preprocess` 方法中通过 `image_mean` 参数覆盖。 - image_std (
float
或list[float]
, 可选, 默认为IMAGENET_STANDARD_STD
) — 如果对图像进行归一化,则使用的标准差。这是一个浮点数或浮点数列表,长度与图像中的通道数相同。可在 `preprocess` 方法中通过 `image_std` 参数覆盖。 - do_pad (
bool
, 可选, 默认为True
) — 是否对图像进行填充,以使宽度和高度可被 `size_divisibility` 整除。可在 `preprocess` 方法中通过 `do_pad` 参数覆盖。 - size_divisibility (
int
, 可选, 默认为 32) — 图像的宽度和高度将被填充,以能被此数字整除。
构建一个 ViTMatte 图像处理器。
preprocess
< 源文件 >( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']] trimaps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']] do_rescale: typing.Optional[bool] = None rescale_factor: typing.Optional[float] = None do_normalize: typing.Optional[bool] = None image_mean: typing.Union[float, list[float], NoneType] = None image_std: typing.Union[float, list[float], NoneType] = None do_pad: typing.Optional[bool] = None size_divisibility: typing.Optional[int] = None return_tensors: typing.Union[str, transformers.utils.generic.TensorType, NoneType] = None data_format: typing.Union[str, transformers.image_utils.ChannelDimension] = <ChannelDimension.FIRST: 'channels_first'> input_data_format: typing.Union[str, transformers.image_utils.ChannelDimension, NoneType] = None )
参数
- images (
ImageInput
) — 要预处理的图像。接受单个或一批像素值范围为 0 到 255 的图像。如果传入像素值在 0 到 1 之间的图像,请设置 `do_rescale=False`。 - trimaps (
ImageInput
) — 要预处理的三元图(Trimap)。 - do_rescale (
bool
, 可选, 默认为self.do_rescale
) — 是否将图像值重新缩放到 [0 - 1] 之间。 - rescale_factor (
float
, 可选, 默认为self.rescale_factor
) — 如果 `do_rescale` 设置为 `True`,则用于重新缩放图像的缩放因子。 - do_normalize (
bool
, 可选, 默认为self.do_normalize
) — 是否对图像进行归一化。 - image_mean (
float
或list[float]
, 可选, 默认为self.image_mean
) — 如果 `do_normalize` 设置为 `True`,则使用的图像均值。 - image_std (
float
或list[float]
, 可选, 默认为self.image_std
) — 如果 `do_normalize` 设置为 `True`,则使用的图像标准差。 - do_pad (
bool
, 可选, 默认为self.do_pad
) — 是否对图像进行填充。 - size_divisibility (
int
, 可选, 默认为self.size_divisibility
) — 如果 `do_pad` 设置为 `True`,则将图像填充到的尺寸可除性。 - return_tensors (
str
或TensorType
, 可选) — 要返回的张量类型。可以是以下之一:- 未设置:返回一个 `np.ndarray` 列表。
TensorType.TENSORFLOW
或'tf'
:返回一个 `tf.Tensor` 类型的批处理。TensorType.PYTORCH
或'pt'
:返回一个 `torch.Tensor` 类型的批处理。TensorType.NUMPY
或'np'
:返回一个 `np.ndarray` 类型的批处理。TensorType.JAX
或'jax'
:返回一个 `jax.numpy.ndarray` 类型的批处理。
- data_format (
ChannelDimension
或str
, 可选, 默认为ChannelDimension.FIRST
) — 输出图像的通道维度格式。可以是以下之一:"channels_first"
或ChannelDimension.FIRST
:图像格式为 (num_channels, height, width)。"channels_last"
或ChannelDimension.LAST
:图像格式为 (height, width, num_channels)。- 未设置:使用输入图像的通道维度格式。
- input_data_format (
ChannelDimension
或str
, 可选) — 输入图像的通道维度格式。如果未设置,则从输入图像中推断通道维度格式。可以是以下之一:"channels_first"
或ChannelDimension.FIRST
:图像格式为 (num_channels, height, width)。"channels_last"
或ChannelDimension.LAST
:图像格式为 (height, width, num_channels)。"none"
或ChannelDimension.NONE
:图像格式为 (height, width)。
预处理一张或一批图像。
VitMatteImageProcessorFast
class transformers.VitMatteImageProcessorFast
< source >( **kwargs: typing_extensions.Unpack[transformers.models.vitmatte.image_processing_vitmatte_fast.VitMatteFastImageProcessorKwargs] )
构建一个快速 VitMatte 图像处理器。
preprocess
< source >( images: list trimaps: list **kwargs: typing_extensions.Unpack[transformers.models.vitmatte.image_processing_vitmatte_fast.VitMatteFastImageProcessorKwargs] ) → <class 'transformers.image_processing_base.BatchFeature'>
参数
- images (
list
) — 要预处理的图像。需要单个或一批像素值范围为 0 到 255 的图像。如果传入的图像像素值在 0 和 1 之间,请设置do_rescale=False
。 - trimaps (
list
) — 要预处理的三分图(trimap)。 - do_resize (
bool
, optional) — 是否调整图像大小。 - size (
dict[str, int]
, optional) — 描述模型的最大输入尺寸。 - default_to_square (
bool
, optional) — 当 size 是一个整数时,是否在调整大小时默认使用正方形图像。 - resample (
Union[PILImageResampling, F.InterpolationMode, NoneType]
) — 如果调整图像大小,使用的重采样滤波器。可以是枚举PILImageResampling
中的一个。仅当do_resize
设置为True
时有效。 - do_center_crop (
bool
, optional) — 是否对图像进行中心裁剪。 - crop_size (
dict[str, int]
, optional) — 应用center_crop
后输出图像的大小。 - do_rescale (
bool
, optional) — 是否对图像进行缩放。 - rescale_factor (
Union[int, float, NoneType]
) — 如果do_rescale
设置为True
,用于缩放图像的比例因子。 - do_normalize (
bool
, optional) — 是否对图像进行归一化。 - image_mean (
Union[float, list[float], NoneType]
) — 用于归一化的图像均值。仅当do_normalize
设置为True
时有效。 - image_std (
Union[float, list[float], NoneType]
) — 用于归一化的图像标准差。仅当do_normalize
设置为True
时有效。 - do_convert_rgb (
bool
, optional) — 是否将图像转换为 RGB 格式。 - return_tensors (
Union[str, ~utils.generic.TensorType, NoneType]
) — 如果设置为 `pt`,则返回堆叠的张量,否则返回一个张量列表。 - data_format (
~image_utils.ChannelDimension
, optional) — 仅支持ChannelDimension.FIRST
。为与慢速处理器兼容而添加。 - input_data_format (
Union[str, ~image_utils.ChannelDimension, NoneType]
) — 输入图像的通道维度格式。如果未设置,则从输入图像中推断通道维度格式。可以是以下之一:"channels_first"
或ChannelDimension.FIRST
:图像格式为(通道数, 高度, 宽度)。"channels_last"
或ChannelDimension.LAST
:图像格式为(高度, 宽度, 通道数)。"none"
或ChannelDimension.NONE
:图像格式为(高度, 宽度)。
- device (
torch.device
, optional) — 用于处理图像的设备。如果未设置,则从输入图像中推断设备。 - disable_grouping (
bool
, optional) — 是否禁用按尺寸分组图像,以单独处理而非批量处理。如果为 None,如果图像在 CPU 上,则设置为 True,否则设置为 False。此选择基于经验观察,详情见:https://github.com/huggingface/transformers/pull/38157 - do_pad (
bool
, optional, 默认为True
) — 是否填充图像,使宽度和高度可被size_divisibility
整除。可被preprocess
方法中的do_pad
参数覆盖。 - size_divisibility (
int
, optional, 默认为 32) — 图像的宽度和高度将被填充,以能被该数字整除。
返回
<class 'transformers.image_processing_base.BatchFeature'>
- data (
dict
) — 由 call 方法返回的列表/数组/张量字典(“pixel_values”等)。 - tensor_type (
Union[None, str, TensorType]
, 可选) — 您可以在此处提供一个`tensor_type`,以便在初始化时将整数列表转换为PyTorch/TensorFlow/Numpy张量。
VitMatteForImageMatting
class transformers.VitMatteForImageMatting
< source >( config )
参数
- config (VitMatteForImageMatting) — 包含模型所有参数的模型配置类。使用配置文件进行初始化不会加载与模型相关的权重,只会加载配置。请查阅 from_pretrained() 方法来加载模型权重。
ViTMatte 框架利用任何视觉骨干网络,例如用于 ADE20k、CityScapes。
该模型继承自 PreTrainedModel。请查阅超类文档,了解库为所有模型实现的通用方法(例如下载或保存、调整输入嵌入大小、修剪头部等)。
该模型也是一个 PyTorch torch.nn.Module 的子类。可以像常规 PyTorch 模块一样使用它,并参考 PyTorch 文档了解所有与常规用法和行为相关的事项。
forward
< source >( pixel_values: typing.Optional[torch.Tensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None labels: typing.Optional[torch.Tensor] = None return_dict: typing.Optional[bool] = None )
参数
- pixel_values (
torch.Tensor
,形状为(batch_size, num_channels, image_size, image_size)
,optional) — 与输入图像对应的张量。像素值可以使用{image_processor_class}
获得。详情请参见{image_processor_class}.__call__
({processor_class}
使用{image_processor_class}
处理图像)。 - output_attentions (
bool
, optional) — 是否返回所有注意力层的注意力张量。更多细节请参见返回张量下的attentions
。 - output_hidden_states (
bool
, optional) — 是否返回所有层的隐藏状态。更多细节请参见返回张量下的hidden_states
。 - labels (
torch.LongTensor
,形状为(batch_size, height, width)
,optional) — 用于计算损失的真实图像抠图(ground truth image matting)。 - return_dict (
bool
, optional) — 是否返回一个 ModelOutput 而不是一个普通的元组。
VitMatteForImageMatting 的前向方法,覆盖了 `__call__` 特殊方法。
尽管前向传递的流程需要在此函数内定义,但之后应调用 `Module` 实例而不是此函数,因为前者会处理预处理和后处理步骤,而后者会静默忽略它们。
示例
>>> from transformers import VitMatteImageProcessor, VitMatteForImageMatting
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub import hf_hub_download
>>> processor = VitMatteImageProcessor.from_pretrained("hustvl/vitmatte-small-composition-1k")
>>> model = VitMatteForImageMatting.from_pretrained("hustvl/vitmatte-small-composition-1k")
>>> filepath = hf_hub_download(
... repo_id="hf-internal-testing/image-matting-fixtures", filename="image.png", repo_type="dataset"
... )
>>> image = Image.open(filepath).convert("RGB")
>>> filepath = hf_hub_download(
... repo_id="hf-internal-testing/image-matting-fixtures", filename="trimap.png", repo_type="dataset"
... )
>>> trimap = Image.open(filepath).convert("L")
>>> # prepare image + trimap for the model
>>> inputs = processor(images=image, trimaps=trimap, return_tensors="pt")
>>> with torch.no_grad():
... alphas = model(**inputs).alphas
>>> print(alphas.shape)
torch.Size([1, 1, 640, 960])