Hugging Face 的 LOGO

Transformers 文档

SegGPT

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

SegGPT

PyTorch

概述

SegGPT 模型由 Xinlong Wang、Xiaosong Zhang、Yue Cao、Wen Wang、Chunhua Shen、Tiejun Huang 在SegGPT: Segmenting Everything In Context 中提出。SegGPT 采用仅解码器 Transformer，可以在给定输入图像、提示图像及其对应提示掩码的情况下生成分割掩码。该模型在 COCO-20 上取得了 56.1 mIoU、在 FSS-1000 上取得了 85.6 mIoU 的卓越一次性结果。

论文摘要如下：

我们提出 SegGPT，一个用于上下文语境中分割一切的通用模型。我们将各种分割任务统一到一个通用上下文学习框架中，该框架通过将不同类型的分割数据转换为相同的图像格式来适应它们。SegGPT 的训练被定义为一种上下文着色问题，每个数据样本都有随机颜色映射。目标是根据上下文完成各种任务，而不是依赖于特定颜色。训练后，SegGPT 可以通过上下文推理在图像或视频中执行任意分割任务，例如对象实例、内容、部分、轮廓和文本。SegGPT 在广泛的任务上进行了评估，包括少量语义分割、视频对象分割、语义分割和全景分割。我们的结果显示了在域内和域外分割的强大能力。

技巧

  • 可以使用 SegGptImageProcessor 为模型准备图像输入、提示和掩码。
  • 可以使用分割图或 RGB 图像作为提示掩码。如果使用后者，请确保在 preprocess 方法中将 do_convert_rgb 设置为 False。
  • 强烈建议在使用 SegGptImageProcessor 进行预处理和后处理时，为您的用例传递 num_labels（不考虑背景）。
  • 在使用 SegGptForImageSegmentation 进行推理时，如果您的 batch_size 大于 1，您可以通过在 forward 方法中传递 feature_ensemble=True 来在图像之间使用特征集成。

以下是如何使用该模型进行一次性语义分割：

import torch
from datasets import load_dataset
from transformers import SegGptImageProcessor, SegGptForImageSegmentation

checkpoint = "BAAI/seggpt-vit-large"
image_processor = SegGptImageProcessor.from_pretrained(checkpoint)
model = SegGptForImageSegmentation.from_pretrained(checkpoint)

dataset_id = "EduardoPacheco/FoodSeg103"
ds = load_dataset(dataset_id, split="train")
# Number of labels in FoodSeg103 (not including background)
num_labels = 103

image_input = ds[4]["image"]
ground_truth = ds[4]["label"]
image_prompt = ds[29]["image"]
mask_prompt = ds[29]["label"]

inputs = image_processor(
    images=image_input, 
    prompt_images=image_prompt,
    segmentation_maps=mask_prompt, 
    num_labels=num_labels,
    return_tensors="pt"
)

with torch.no_grad():
    outputs = model(**inputs)

target_sizes = [image_input.size[::-1]]
mask = image_processor.post_process_semantic_segmentation(outputs, target_sizes, num_labels=num_labels)[0]

此模型由 EduardoPacheco 贡献。原始代码可在此处找到。

SegGptConfig

class transformers.SegGptConfig

< >

( hidden_size = 1024 num_hidden_layers = 24 num_attention_heads = 16 hidden_act = 'gelu' hidden_dropout_prob = 0.0 initializer_range = 0.02 layer_norm_eps = 1e-06 image_size = [896, 448] patch_size = 16 num_channels = 3 qkv_bias = True mlp_dim = None drop_path_rate = 0.1 pretrain_image_size = 224 decoder_hidden_size = 64 use_relative_position_embeddings = True merge_index = 2 intermediate_hidden_state_indices = [5, 11, 17, 23] beta = 0.01 **kwargs )

参数

  • hidden_size (int, optional, 默认为 1024) — 编码器层和池化层的维度。
  • num_hidden_layers (int, optional, 默认为 24) — Transformer 编码器中的隐藏层数量。
  • num_attention_heads (int, optional, 默认为 16) — Transformer 编码器中每个注意力层的注意力头数量。
  • hidden_act (str 或 function, optional, 默认为 "gelu") — 编码器和池化器中的非线性激活函数（函数或字符串）。如果是字符串，支持 "gelu", "relu", "selu" 和 "gelu_new"。
  • hidden_dropout_prob (float, optional, 默认为 0.0) — 嵌入层、编码器和池化器中所有全连接层的 dropout 概率。
  • initializer_range (float, optional, 默认为 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。
  • layer_norm_eps (float, optional, 默认为 1e-06) — 层归一化层使用的 epsilon 值。
  • image_size (list[int], optional, 默认为 [896, 448]) — 每张图像的大小（分辨率）。
  • patch_size (int, optional, 默认为 16) — 每个补丁的大小（分辨率）。
  • num_channels (int, optional, 默认为 3) — 输入通道数。
  • qkv_bias (bool, optional, 默认为 True) — 是否在查询、键和值中添加偏置。
  • mlp_dim (int, optional) — Transformer 编码器中 MLP 层的维度。如果未设置，默认为 hidden_size * 4。
  • drop_path_rate (float, optional, 默认为 0.1) — dropout 层的 drop path 比率。
  • pretrain_image_size (int, optional, 默认为 224) — 绝对位置嵌入的预训练大小。
  • decoder_hidden_size (int, optional, 默认为 64) — 解码器的隐藏层大小。
  • use_relative_position_embeddings (bool, optional, 默认为 True) — 是否在注意力层中使用相对位置嵌入。
  • merge_index (int, optional, 默认为 2) — 合并嵌入的编码器层索引。
  • intermediate_hidden_state_indices (list[int], optional, 默认为 [5, 11, 17, 23]) — 我们作为解码器特征存储的编码器层索引。
  • beta (float, optional, 默认为 0.01) — SegGptLoss (smooth-l1 loss) 的正则化因子。

这是用于存储 SegGptModel 配置的配置类。它用于根据指定的参数实例化 SegGPT 模型，定义模型架构。使用默认值实例化配置将生成与 SegGPT BAAI/seggpt-vit-large 架构类似的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请参阅 PretrainedConfig 的文档。

示例

>>> from transformers import SegGptConfig, SegGptModel

>>> # Initializing a SegGPT seggpt-vit-large style configuration
>>> configuration = SegGptConfig()

>>> # Initializing a model (with random weights) from the seggpt-vit-large style configuration
>>> model = SegGptModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

SegGptImageProcessor

class transformers.SegGptImageProcessor

< >

( do_resize: bool = True size: typing.Optional[dict[str, int]] = None resample: Resampling = <Resampling.BICUBIC: 3> do_rescale: bool = True rescale_factor: typing.Union[int, float] = 0.00392156862745098 do_normalize: bool = True image_mean: typing.Union[float, list[float], NoneType] = None image_std: typing.Union[float, list[float], NoneType] = None do_convert_rgb: bool = True **kwargs )

参数

  • do_resize (bool, optional, 默认为 True) — 是否将图像的（高度，宽度）尺寸调整为指定的 (size["height"], size["width"])。可以通过 preprocess 方法中的 do_resize 参数覆盖。
  • size (dict, optional, 默认为 {"height" -- 448, "width": 448})：调整大小后输出图像的大小。可以通过 preprocess 方法中的 size 参数覆盖。
  • resample (PILImageResampling, optional, 默认为 Resampling.BICUBIC) — 如果调整图像大小，要使用的重采样过滤器。可以通过 preprocess 方法中的 resample 参数覆盖。
  • do_rescale (bool, optional, 默认为 True) — 是否按指定的比例 rescale_factor 重新缩放图像。可以通过 preprocess 方法中的 do_rescale 参数覆盖。
  • rescale_factor (int 或 float, optional, 默认为 1/255) — 如果重新缩放图像，要使用的缩放因子。可以通过 preprocess 方法中的 rescale_factor 参数覆盖。
  • do_normalize (bool, optional, 默认为 True) — 是否规范化图像。可以通过 preprocess 方法中的 do_normalize 参数覆盖。
  • image_mean (float 或 list[float], optional, 默认为 IMAGENET_DEFAULT_MEAN) — 如果规范化图像，要使用的均值。这是一个浮点数或浮点数列表，长度与图像中的通道数相同。可以通过 preprocess 方法中的 image_mean 参数覆盖。
  • image_std (float 或 list[float], optional, 默认为 IMAGENET_DEFAULT_STD) — 如果规范化图像，要使用的标准差。这是一个浮点数或浮点数列表，长度与图像中的通道数相同。可以通过 preprocess 方法中的 image_std 参数覆盖。
  • do_convert_rgb (bool, optional, 默认为 True) — 是否将提示掩码转换为 RGB 格式。可以通过 preprocess 方法中的 do_convert_rgb 参数覆盖。

构建 SegGpt 图像处理器。

预处理

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None prompt_images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None prompt_masks: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None do_resize: typing.Optional[bool] = None size: typing.Optional[dict[str, int]] = None resample: Resampling = None do_rescale: typing.Optional[bool] = None rescale_factor: typing.Optional[float] = None do_normalize: typing.Optional[bool] = None image_mean: typing.Union[float, list[float], NoneType] = None image_std: typing.Union[float, list[float], NoneType] = None do_convert_rgb: typing.Optional[bool] = None num_labels: typing.Optional[int] = None return_tensors: typing.Union[str, transformers.utils.generic.TensorType, NoneType] = None data_format: typing.Union[str, transformers.image_utils.ChannelDimension] = <ChannelDimension.FIRST: 'channels_first'> input_data_format: typing.Union[str, transformers.image_utils.ChannelDimension, NoneType] = None **kwargs )

参数

  • images (ImageInput) — 要预处理的图像。期望像素值范围为 0 到 255 的单张或批量图像。如果传入像素值范围在 0 到 1 之间的图像，请设置 do_rescale=False。
  • prompt_images (ImageInput) — 要预处理的提示图像。期望像素值范围为 0 到 255 的单张或批量图像。如果传入像素值范围在 0 到 1 之间的图像，请设置 do_rescale=False。
  • prompt_masks (ImageInput) — 要预处理的提示图像的提示掩码，它在预处理输出中指定了 prompt_masks 值。可以是分割图（无通道）或 RGB 图像格式。如果是 RGB 图像格式，应将 do_convert_rgb 设置为 False。如果是分割图格式，建议指定 num_labels 以构建调色板，将提示掩码从单通道映射到 3 通道 RGB。如果未指定 num_labels，提示掩码将在通道维度上重复。
  • do_resize (bool, 可选, 默认为 self.do_resize) — 是否调整图像大小。
  • size (dict[str, int], 可选, 默认为 self.size) — 格式为 {"height": h, "width": w} 的字典，指定调整大小后输出图像的尺寸。
  • resample (PILImageResampling 滤波器, 可选, 默认为 self.resample) — 如果调整图像大小，则使用的 PILImageResampling 滤波器，例如 PILImageResampling.BICUBIC。仅在 do_resize 设置为 True 时有效。不适用于提示掩码，因为它使用最近邻插值进行调整。
  • do_rescale (bool, 可选, 默认为 self.do_rescale) — 是否将图像值缩放到 [0 - 1] 之间。
  • rescale_factor (float, 可选, 默认为 self.rescale_factor) — 如果 do_rescale 设置为 True，则按此缩放因子缩放图像。
  • do_normalize (bool, 可选, 默认为 self.do_normalize) — 是否对图像进行归一化。
  • image_mean (float 或 list[float], 可选, 默认为 self.image_mean) — 如果 do_normalize 设置为 True，则使用的图像均值。
  • image_std (float 或 list[float], 可选, 默认为 self.image_std) — 如果 do_normalize 设置为 True，则使用的图像标准差。
  • do_convert_rgb (bool, 可选, 默认为 self.do_convert_rgb) — 是否将提示掩码转换为 RGB 格式。如果指定了 num_labels，将构建调色板，将提示掩码从单通道映射到 3 通道 RGB。如果未设置，提示掩码将在通道维度上重复。如果提示掩码已为 RGB 格式，则必须设置为 False。
  • num_labels — (int, 可选): 分割任务中的类别数量（不包括背景）。如果指定，将构建一个调色板，假设 class_idx 0 是背景，将提示掩码从无通道的纯分割图映射到 3 通道 RGB。如果未指定，如果提示掩码已为 RGB 格式（如果 do_convert_rgb 为 false），则提示掩码将按原样传递，或者在通道维度上重复。
  • return_tensors (str 或 TensorType, 可选) — 要返回的张量类型。可以是以下之一：
    • 未设置：返回 np.ndarray 列表。
    • TensorType.TENSORFLOW 或 'tf'：返回 tf.Tensor 批次。
    • TensorType.PYTORCH 或 'pt'：返回 torch.Tensor 批次。
    • TensorType.NUMPY 或 'np'：返回 np.ndarray 批次。
    • TensorType.JAX 或 'jax'：返回 jax.numpy.ndarray 批次。
  • data_format (ChannelDimension 或 str, 可选, 默认为 ChannelDimension.FIRST) — 输出图像的通道维度格式。可以是以下之一：
    • "channels_first" 或 ChannelDimension.FIRST：图像为 (num_channels, height, width) 格式。
    • "channels_last" 或 ChannelDimension.LAST：图像为 (height, width, num_channels) 格式。
    • 未设置：使用输入图像的通道维度格式。
  • input_data_format (ChannelDimension 或 str, 可选) — 输入图像的通道维度格式。如果未设置，将从输入图像推断通道维度格式。可以是以下之一：
    • "channels_first" 或 ChannelDimension.FIRST：图像为 (num_channels, height, width) 格式。
    • "channels_last" 或 ChannelDimension.LAST：图像为 (height, width, num_channels) 格式。
    • "none" 或 ChannelDimension.NONE：图像为 (height, width) 格式。

预处理一张或一批图像。

post_process_semantic_segmentation

< >

( outputs target_sizes: typing.Optional[list[tuple[int, int]]] = None num_labels: typing.Optional[int] = None ) → semantic_segmentation

参数

  • outputs (SegGptImageSegmentationOutput) — 模型的原始输出。
  • target_sizes (list[tuple[int, int]], 可选) — 长度为 (batch_size) 的列表，其中每个列表项 (tuple[int, int]) 对应于每个预测所需的最终大小（高度，宽度）。如果留空，则预测不会调整大小。
  • num_labels (int, 可选) — 分割任务中的类别数量（不包括背景）。如果指定，将构建一个调色板，假设 class_idx 0 是背景，将预测掩码从 RGB 值映射到类别索引。此值应与预处理输入时使用的值相同。

返回

语义分割

长度为 batch_size 的 list[torch.Tensor]，其中每个项是形状为 (height, width) 的语义分割图，对应于 target_sizes 条目（如果指定了 target_sizes）。每个 torch.Tensor 的每个条目对应一个语义类别 ID。

将 SegGptImageSegmentationOutput 的输出转换为分割图。仅支持 PyTorch。

SegGptModel

class transformers.SegGptModel

< >

( config: SegGptConfig )

参数

  • config (SegGptConfig) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只加载配置。请查看 from_pretrained() 方法来加载模型权重。

Seggpt 基础模型，输出原始隐藏状态，不带任何特定的头部。

此模型继承自 PreTrainedModel。请查看超类文档，了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、修剪头部等）。

此模型也是 PyTorch torch.nn.Module 子类。将其作为常规 PyTorch 模块使用，并参考 PyTorch 文档了解所有与通用用法和行为相关的事项。

forward

< >

( pixel_values: Tensor prompt_pixel_values: Tensor prompt_masks: Tensor bool_masked_pos: typing.Optional[torch.BoolTensor] = None feature_ensemble: typing.Optional[bool] = None embedding_type: typing.Optional[str] = None labels: typing.Optional[torch.FloatTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.models.seggpt.modeling_seggpt.SegGptEncoderOutput 或 tuple(torch.FloatTensor)

参数

  • pixel_values (形状为 (batch_size, num_channels, image_size, image_size) 的 torch.Tensor) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获取。有关详细信息，请参阅 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
  • prompt_pixel_values (形状为 (batch_size, num_channels, height, width) 的 torch.FloatTensor) — 提示像素值。提示像素值可以使用 AutoImageProcessor 获取。有关详细信息，请参阅 SegGptImageProcessor.__call__()。
  • prompt_masks (形状为 (batch_size, num_channels, height, width) 的 torch.FloatTensor) — 提示掩码。提示掩码可以使用 AutoImageProcessor 获取。有关详细信息，请参阅 SegGptImageProcessor.__call__()。
  • bool_masked_pos (形状为 (batch_size, num_patches) 的 torch.BoolTensor, 可选) — 布尔掩码位置。指示哪些补丁被掩码 (1)，哪些未被掩码 (0)。
  • feature_ensemble (bool, 可选) — 布尔值，指示是否使用特征集合。如果为 True，且至少有两个提示，则模型将使用特征集合。如果为 False，模型将不使用特征集合。在对单个输入图像进行少样本推理时，即同一图像有多个提示时，应考虑此参数。
  • embedding_type (str, 可选) — 嵌入类型。指示提示是语义嵌入还是实例嵌入。可以是 instance 或 semantic。
  • labels (形状为 (batch_size, num_channels, height, width) 的 torch.FloatTensor, 可选) — 输入图像的真实掩码。
  • output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量下的 attentions。
  • output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的 hidden_states。
  • return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

返回

transformers.models.seggpt.modeling_seggpt.SegGptEncoderOutput 或 tuple(torch.FloatTensor)

transformers.models.seggpt.modeling_seggpt.SegGptEncoderOutput 或 torch.FloatTensor 元组（如果传入 return_dict=False 或 config.return_dict=False），包含根据配置 (SegGptConfig) 和输入的不同元素。

  • last_hidden_state (形状为 (batch_size, patch_height, patch_width, hidden_size) 的 torch.FloatTensor) — 模型最后一层输出的隐藏状态序列。
  • hidden_states (tuple[torch.FloatTensor], 可选, 当 config.output_hidden_states=True 时返回) — 形状为 (batch_size, patch_height, patch_width, hidden_size) 的 torch.FloatTensor 元组（一个用于嵌入输出 + 每个层一个）。
  • attentions (tuple[torch.FloatTensor], 可选, 当 config.output_attentions=True 时返回) — 形状为 (batch_size, num_heads, seq_len, seq_len) 的 torch.FloatTensor 元组（每个层一个）。
  • intermediate_hidden_states (tuple[torch.FloatTensor], 可选, 当设置 config.intermediate_hidden_state_indices 时返回) — 形状为 (batch_size, patch_height, patch_width, hidden_size) 的 torch.FloatTensor 元组。元组中的每个元素对应于 config.intermediate_hidden_state_indices 中指定的层的输出。此外，每个特征都通过 LayerNorm。

SegGptModel 的 forward 方法，覆盖了 __call__ 特殊方法。

尽管前向传递的实现需要在该函数中定义，但在此之后应该调用 Module 实例，因为前者负责运行预处理和后处理步骤，而后者则默默地忽略它们。

示例

>>> from transformers import SegGptImageProcessor, SegGptModel
>>> from PIL import Image
>>> import requests

>>> image_input_url = "https://raw.githubusercontent.com/baaivision/Painter/main/SegGPT/SegGPT_inference/examples/hmbb_2.jpg"
>>> image_prompt_url = "https://raw.githubusercontent.com/baaivision/Painter/main/SegGPT/SegGPT_inference/examples/hmbb_1.jpg"
>>> mask_prompt_url = "https://raw.githubusercontent.com/baaivision/Painter/main/SegGPT/SegGPT_inference/examples/hmbb_1_target.png"

>>> image_input = Image.open(requests.get(image_input_url, stream=True).raw)
>>> image_prompt = Image.open(requests.get(image_prompt_url, stream=True).raw)
>>> mask_prompt = Image.open(requests.get(mask_prompt_url, stream=True).raw).convert("L")

>>> checkpoint = "BAAI/seggpt-vit-large"
>>> model = SegGptModel.from_pretrained(checkpoint)
>>> image_processor = SegGptImageProcessor.from_pretrained(checkpoint)

>>> inputs = image_processor(images=image_input, prompt_images=image_prompt, prompt_masks=mask_prompt, return_tensors="pt")

>>> outputs = model(**inputs)
>>> list(outputs.last_hidden_state.shape)
[1, 56, 28, 1024]

SegGptForImageSegmentation

class transformers.SegGptForImageSegmentation

< >

( config: SegGptConfig )

参数

  • config (SegGptConfig) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只加载配置。请查看 from_pretrained() 方法来加载模型权重。

带解码器的 SegGpt 模型，用于单次图像分割。

此模型继承自 PreTrainedModel。请查看超类文档，了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、修剪头部等）。

此模型也是 PyTorch torch.nn.Module 子类。将其作为常规 PyTorch 模块使用，并参考 PyTorch 文档了解所有与通用用法和行为相关的事项。

forward

< >

( pixel_values: Tensor prompt_pixel_values: Tensor prompt_masks: Tensor bool_masked_pos: typing.Optional[torch.BoolTensor] = None feature_ensemble: typing.Optional[bool] = None embedding_type: typing.Optional[str] = None labels: typing.Optional[torch.FloatTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.models.seggpt.modeling_seggpt.SegGptImageSegmentationOutput 或 tuple(torch.FloatTensor)

参数

  • pixel_values (形状为 (batch_size, num_channels, image_size, image_size) 的 torch.Tensor) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获取。有关详细信息，请参阅 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
  • prompt_pixel_values (形状为 (batch_size, num_channels, height, width) 的 torch.FloatTensor) — 提示像素值。提示像素值可以使用 AutoImageProcessor 获取。有关详细信息，请参阅 SegGptImageProcessor.__call__()。
  • prompt_masks (形状为 (batch_size, num_channels, height, width) 的 torch.FloatTensor) — 提示掩码。提示掩码可以使用 AutoImageProcessor 获取。有关详细信息，请参阅 SegGptImageProcessor.__call__()。
  • bool_masked_pos (形状为 (batch_size, num_patches) 的 torch.BoolTensor, 可选) — 布尔掩码位置。指示哪些补丁被掩码 (1)，哪些未被掩码 (0)。
  • feature_ensemble (bool, 可选) — 布尔值，指示是否使用特征集合。如果为 True，且至少有两个提示，则模型将使用特征集合。如果为 False，模型将不使用特征集合。在对单个输入图像进行少样本推理时，即同一图像有多个提示时，应考虑此参数。
  • embedding_type (str, 可选) — 嵌入类型。指示提示是语义嵌入还是实例嵌入。可以是 instance 或 semantic。
  • labels (形状为 (batch_size, num_channels, height, width) 的 torch.FloatTensor, 可选) — 输入图像的真实掩码。
  • output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量下的 attentions。
  • output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的 hidden_states。
  • return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

返回

transformers.models.seggpt.modeling_seggpt.SegGptImageSegmentationOutput 或 tuple(torch.FloatTensor)

transformers.models.seggpt.modeling_seggpt.SegGptImageSegmentationOutput 或 torch.FloatTensor 元组（如果传入 return_dict=False 或 config.return_dict=False），包含根据配置 (SegGptConfig) 和输入的不同元素。

  • loss (torch.FloatTensor, 可选, 当提供 labels 时返回) — 损失值。
  • pred_masks (形状为 (batch_size, num_channels, height, width) 的 torch.FloatTensor) — 预测的掩码。
  • hidden_states (tuple[torch.FloatTensor], 可选, 当 config.output_hidden_states=True 时返回) — 形状为 (batch_size, patch_height, patch_width, hidden_size) 的 torch.FloatTensor 元组（一个用于嵌入输出 + 每个层一个）。
  • attentions (tuple[torch.FloatTensor], 可选, 当 config.output_attentions=True 时返回) — 形状为 (batch_size, num_heads, seq_len, seq_len) 的 torch.FloatTensor 元组（每个层一个）。

SegGptForImageSegmentation 的 forward 方法，覆盖了 __call__ 特殊方法。

尽管前向传递的实现需要在该函数中定义，但在此之后应该调用 Module 实例，因为前者负责运行预处理和后处理步骤，而后者则默默地忽略它们。

示例

>>> from transformers import SegGptImageProcessor, SegGptForImageSegmentation
>>> from PIL import Image
>>> import requests

>>> image_input_url = "https://raw.githubusercontent.com/baaivision/Painter/main/SegGPT/SegGPT_inference/examples/hmbb_2.jpg"
>>> image_prompt_url = "https://raw.githubusercontent.com/baaivision/Painter/main/SegGPT/SegGPT_inference/examples/hmbb_1.jpg"
>>> mask_prompt_url = "https://raw.githubusercontent.com/baaivision/Painter/main/SegGPT/SegGPT_inference/examples/hmbb_1_target.png"

>>> image_input = Image.open(requests.get(image_input_url, stream=True).raw)
>>> image_prompt = Image.open(requests.get(image_prompt_url, stream=True).raw)
>>> mask_prompt = Image.open(requests.get(mask_prompt_url, stream=True).raw).convert("L")

>>> checkpoint = "BAAI/seggpt-vit-large"
>>> model = SegGptForImageSegmentation.from_pretrained(checkpoint)
>>> image_processor = SegGptImageProcessor.from_pretrained(checkpoint)

>>> inputs = image_processor(images=image_input, prompt_images=image_prompt, prompt_masks=mask_prompt, return_tensors="pt")
>>> outputs = model(**inputs)
>>> result = image_processor.post_process_semantic_segmentation(outputs, target_sizes=[(image_input.height, image_input.width)])[0]
>>> print(list(result.shape))
[170, 297]
< > 在 GitHub 上更新

←SegFormer SuperGlue→