参数

• images (ImageInput) — 要 _preprocess 的图像。 期望是像素值范围为 0 到 255 的单张或批量图像。 如果传入像素值在 0 到 1 之间的图像，请设置 do_rescale=False。
• prompt_images (ImageInput) — 要 _preprocess 的 prompt 图像。 期望是像素值范围为 0 到 255 的单张或批量图像。 如果传入像素值在 0 到 1 之间的图像，请设置 do_rescale=False。
• prompt_masks (ImageInput) — 来自 prompt 图像的 Prompt mask，用于指定预处理输出中的 prompt_masks 值。 可以是分割图（无通道）或 RGB 图像格式。 如果是 RGB 图像格式，则应将 do_convert_rgb 设置为 False。 如果是分割图格式，建议使用指定 num_labels 的 num_labels 来构建调色板，以将 prompt mask 从单通道映射到 3 通道 RGB。 如果未指定 num_labels，则 prompt mask 将在通道维度上复制。
• do_resize (bool, 可选, 默认为 self.do_resize) — 是否调整图像大小。
• size (Dict[str, int], 可选, 默认为 self.size) — 字典格式为 {"height": h, "width": w}，指定调整大小后输出图像的大小。
• resample (PILImageResampling 滤波器, 可选, 默认为 self.resample) — PILImageResampling 滤波器，用于在调整图像大小时使用，例如 PILImageResampling.BICUBIC。 仅在 do_resize 设置为 True 时生效。 不适用于 prompt mask，因为它使用最近邻方法调整大小。
• do_rescale (bool, 可选, 默认为 self.do_rescale) — 是否将图像值缩放到 [0 - 1] 之间。
• rescale_factor (float, 可选, 默认为 self.rescale_factor) — 如果 do_rescale 设置为 True，则通过此缩放因子来缩放图像。
• do_normalize (bool, 可选, 默认为 self.do_normalize) — 是否对图像进行归一化。
• image_mean (float 或 List[float], 可选, 默认为 self.image_mean) — 如果 do_normalize 设置为 True，则使用的图像均值。
• image_std (float 或 List[float], 可选, 默认为 self.image_std) — 如果 do_normalize 设置为 True，则使用的图像标准差。
• do_convert_rgb (bool, 可选, 默认为 self.do_convert_rgb) — 是否将提示掩码转换为 RGB 格式。如果指定了 num_labels，将构建一个调色板，以将提示掩码从单通道映射到 3 通道 RGB。如果未设置，提示掩码将在通道维度上复制。如果提示掩码已为 RGB 格式，则必须设置为 False。
• num_labels — (int, 可选): 分割任务中的类别数量（不包括背景）。如果指定，将构建一个调色板，假设 class_idx 0 是背景，以将提示掩码从没有通道的纯分割图映射到 3 通道 RGB。如果不指定此项，则如果提示掩码已经是 RGB 格式（如果 do_convert_rgb 为 false），则会按原样传递，否则将在通道维度上复制。
• return_tensors (str 或 TensorType, 可选) — 要返回的张量类型。可以是以下之一：
  • Unset: 返回 np.ndarray 的列表。
  • TensorType.TENSORFLOW 或 'tf': 返回 tf.Tensor 类型的批次。
  • TensorType.PYTORCH 或 'pt': 返回 torch.Tensor 类型的批次。
  • TensorType.NUMPY 或 'np': 返回 np.ndarray 类型的批次。
  • TensorType.JAX 或 'jax': 返回 jax.numpy.ndarray 类型的批次。
• data_format (ChannelDimension 或 str, 可选, 默认为 ChannelDimension.FIRST) — 输出图像的通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST: 图像格式为 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST: 图像格式为 (height, width, num_channels)。
  • Unset: 使用输入图像的通道维度格式。
• input_data_format (ChannelDimension 或 str, 可选) — 输入图像的通道维度格式。如果未设置，则通道维度格式从输入图像推断。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST: 图像格式为 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST: 图像格式为 (height, width, num_channels)。
  • "none" 或 ChannelDimension.NONE: 图像格式为 (height, width)。

参数

• outputs (SegGptImageSegmentationOutput) — 模型的原始输出。
• target_sizes (List[Tuple[int, int]], 可选) — 长度为 (batch_size) 的列表，其中每个列表项 (Tuple[int, int]) 对应于每个预测的请求的最终大小（高度，宽度）。如果保留为 None，则预测不会被调整大小。
• num_labels (int, 可选) — 分割任务中的类别数量（不包括背景）。如果指定，将构建一个调色板，假设 class_idx 0 是背景，以将预测掩码从 RGB 值映射到类别索引。此值应与预处理输入时使用的值相同。

长度为 batch_size 的 List[torch.Tensor]，其中每个项目是形状为 (height, width) 的语义分割图，对应于 target_sizes 条目（如果指定了 target_sizes）。每个 torch.Tensor 的每个条目对应于一个语义类别 ID。

参数

• pixel_values (形状为 (batch_size, num_channels, height, width) 的 torch.FloatTensor) — 像素值。像素值可以使用 AutoImageProcessor 获取。 有关详细信息，请参阅 SegGptImageProcessor.call()。
• prompt_pixel_values (形状为 (batch_size, num_channels, height, width) 的 torch.FloatTensor) — 提示像素值。提示像素值可以使用 AutoImageProcessor 获取。 有关详细信息，请参阅 SegGptImageProcessor.call()。
• prompt_masks (形状为 (batch_size, num_channels, height, width) 的 torch.FloatTensor) — 提示掩码。提示掩码可以使用 AutoImageProcessor 获取。 有关详细信息，请参阅 SegGptImageProcessor.call()。
• bool_masked_pos (形状为 (batch_size, num_patches) 的 torch.BoolTensor, 可选) — 布尔掩码位置。指示哪些 patch 被掩码 (1)，哪些没有 (0)。
• feature_ensemble (bool, 可选) — 布尔值，指示是否使用特征集成。如果为 True，则当我们至少有两个提示时，模型将使用特征集成。如果为 False，则模型将不使用特征集成。当对输入图像进行少样本推理时（即同一图像有多个提示），应考虑此参数。
• embedding_type (str, optional) — 嵌入类型。指示 prompt 是语义嵌入还是实例嵌入。可以是 instance 或 semantic。
• output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。 详见返回张量下的 attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。 详见返回张量下的 hidden_states。
• return_dict (bool, optional) — 是否返回 ModelOutput 而不是纯粹的元组。
• labels (torch.FloatTensor of shape (batch_size, num_channels, height, width), optional) — 输入图像的真值掩码。

一个 transformers.models.seggpt.modeling_seggpt.SegGptEncoderOutput 或 torch.FloatTensor 的元组（如果传递了 return_dict=False 或者当 config.return_dict=False 时），包含各种元素，具体取决于配置 (SegGptConfig) 和输入。

• last_hidden_state (torch.FloatTensor of shape (batch_size, patch_height, patch_width, hidden_size)) — 模型最后一层的输出处的隐藏状态序列。
• hidden_states (Tuple[torch.FloatTensor], optional, 当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（embeddings 的输出一个，每层的输出一个），形状为 (batch_size, patch_height, patch_width, hidden_size)。
• attentions (Tuple[torch.FloatTensor], optional, 当 config.output_attentions=True 时返回) — *torch.FloatTensor* 的元组（每层一个），形状为 (batch_size, num_heads, seq_len, seq_len)。
• intermediate_hidden_states (Tuple[torch.FloatTensor], optional, 当 config.intermediate_hidden_state_indices 设置时返回) — torch.FloatTensor 的元组，形状为 (batch_size, patch_height, patch_width, hidden_size)。 元组中的每个元素对应于 config.intermediate_hidden_state_indices 中指定的层的输出。 此外，每个特征都通过 LayerNorm。

参数

• pixel_values (torch.FloatTensor of shape (batch_size, num_channels, height, width)) — 像素值。 像素值可以使用 AutoImageProcessor 获得。 参见 SegGptImageProcessor.call() 了解详情。
• prompt_pixel_values (torch.FloatTensor of shape (batch_size, num_channels, height, width)) — Prompt 像素值。 Prompt 像素值可以使用 AutoImageProcessor 获得。 参见 SegGptImageProcessor.call() 了解详情。
• prompt_masks (torch.FloatTensor of shape (batch_size, num_channels, height, width)) — Prompt 掩码。 Prompt 掩码可以使用 AutoImageProcessor 获得。 参见 SegGptImageProcessor.call() 了解详情。
• bool_masked_pos (torch.BoolTensor of shape (batch_size, num_patches), optional) — 布尔掩码位置。 指示哪些 patch 被掩码 (1) 以及哪些没有 (0)。
• feature_ensemble (bool, optional) — 布尔值，指示是否使用特征集成。 如果为 True，则当至少有两个 prompt 时，模型将使用特征集成。 如果为 False，则模型将不使用特征集成。 当对输入图像进行少样本推理时，即同一图像有多个 prompt 时，应考虑此参数。
• embedding_type (str, optional) — 嵌入类型。指示 prompt 是语义嵌入还是实例嵌入。可以是 instance 或 semantic。
• output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。 详见返回张量下的 attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。 详见返回张量下的 hidden_states。
• return_dict (bool, optional) — 是否返回 ModelOutput 而不是纯粹的元组。
• labels (torch.FloatTensor of shape (batch_size, num_channels, height, width), optional) — 输入图像的真值掩码。

一个 transformers.models.seggpt.modeling_seggpt.SegGptImageSegmentationOutput 或 torch.FloatTensor 的元组（如果传递了 return_dict=False 或者当 config.return_dict=False 时），包含各种元素，具体取决于配置 (SegGptConfig) 和输入。

• loss (torch.FloatTensor, optional, 当提供 labels 时返回) — 损失值。
• pred_masks (torch.FloatTensor of shape (batch_size, num_channels, height, width)) — 预测的掩码。
• hidden_states (Tuple[torch.FloatTensor], optional, 当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（embeddings 的输出一个，每层的输出一个），形状为 (batch_size, patch_height, patch_width, hidden_size)。
• attentions (Tuple[torch.FloatTensor], optional, 当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, seq_len, seq_len)。