参数

• images (ImageInput) — 要_preprocess的图像。期望单个或批量的图像，像素值范围从 0 到 255。如果传入像素值在 0 到 1 之间的图像，请设置 do_rescale=False。
• prompt_images (ImageInput) — 要_preprocess的提示图像。期望单个或批量的图像，像素值范围从 0 到 255。如果传入像素值在 0 到 1 之间的图像，请设置 do_rescale=False。
• prompt_masks (ImageInput) — 来自提示图像的提示掩码，用于_preprocess，指定预处理输出中的 prompt_masks 值。可以是分割图（无通道）或 RGB 图像格式。如果是 RGB 图像格式，则应将 do_convert_rgb 设置为 False。如果是分割图格式，建议指定 num_labels 的 num_labels，以构建调色板，将提示掩码从单通道映射到 3 通道 RGB。如果未指定 num_labels，提示掩码将在通道维度上复制。
• do_resize (bool，可选，默认为 self.do_resize) — 是否调整图像大小。
• size (Dict[str, int]，可选，默认为 self.size) — 字典格式为 {"height": h, "width": w}，指定调整大小后输出图像的尺寸。
• resample (PILImageResampling 滤波器，可选，默认为 self.resample) — 如果调整图像大小，则使用的 PILImageResampling 滤波器，例如 PILImageResampling.BICUBIC。仅在 do_resize 设置为 True 时有效。不适用于提示掩码，因为它使用最近邻法调整大小。
• do_rescale (bool，可选，默认为 self.do_rescale) — 是否将图像值重新缩放到 [0 - 1] 之间。
• rescale_factor (float，可选，默认为 self.rescale_factor) — 如果 do_rescale 设置为 True，则用于重新缩放图像的缩放因子。
• do_normalize (bool，可选，默认为 self.do_normalize) — 是否标准化图像。
• image_mean (float 或 List[float]，可选，默认为 self.image_mean) — 如果 do_normalize 设置为 True，则使用的图像均值。
• image_std (float 或 List[float]，可选，默认为 self.image_std) — 如果 do_normalize 设置为 True，则使用的图像标准差。
• do_convert_rgb (bool，可选，默认为 self.do_convert_rgb) — 是否将提示掩码转换为 RGB 格式。如果指定了 num_labels，将构建调色板，将提示掩码从单通道映射到 3 通道 RGB。如果未设置，提示掩码将在通道维度上复制。如果提示掩码已为 RGB 格式，则必须设置为 False。num_labels — (int，可选)：分割任务中的类别数（不包括背景）。如果指定，将构建调色板，假设 class_idx 0 是背景，将提示掩码从没有通道的普通分割图映射到 3 通道 RGB。不指定此项将导致提示掩码按原样传递（如果已经是 RGB 格式，并且 do_convert_rgb 为 false）或在通道维度上复制。
• return_tensors (str 或 TensorType，可选) — 要返回的张量类型。可以是以下之一：
  • Unset：返回 np.ndarray 列表。
  • TensorType.TENSORFLOW 或 'tf'：返回 tf.Tensor 类型的批次。
  • TensorType.PYTORCH 或 'pt'：返回 torch.Tensor 类型的批次。
  • TensorType.NUMPY 或 'np'：返回 np.ndarray 类型的批次。
  • TensorType.JAX 或 'jax'：返回 jax.numpy.ndarray 类型的批次。
• data_format (ChannelDimension 或 str，可选，默认为 ChannelDimension.FIRST) — 输出图像的通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
  • Unset：使用输入图像的通道维度格式。
• input_data_format (ChannelDimension 或 str，可选) — 输入图像的通道维度格式。如果未设置，则从输入图像推断通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
  • "none" 或 ChannelDimension.NONE：图像格式为 (height, width)。

参数

• outputs (SegGptImageSegmentationOutput) — Raw outputs of the model.
• target_sizes (List[Tuple[int, int]], optional) — List of length (batch_size), where each list item (Tuple[int, int]) corresponds to the requested final size (height, width) of each prediction. If left to None, predictions will not be resized.
• num_labels (int, optional) — Number of classes in the segmentation task (excluding the background). If specified, a palette will be built, assuming that class_idx 0 is the background, to map prediction masks from RGB values to class indices. This value should be the same used when preprocessing inputs.

List[torch.Tensor]，长度为 batch_size，其中每个项目是形状为 (height, width) 的语义分割图，对应于 target_sizes 条目（如果指定了 target_sizes）。每个 torch.Tensor 的每个条目对应于一个语义类别 ID。

参数

• pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, height, width)) — 像素值。像素值可以使用 AutoImageProcessor 获得。有关详细信息，请参阅 SegGptImageProcessor.call()。
• prompt_pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, height, width)) — 提示像素值。提示像素值可以使用 AutoImageProcessor 获得。有关详细信息，请参阅 SegGptImageProcessor.call()。
• prompt_masks (torch.FloatTensor，形状为 (batch_size, num_channels, height, width)) — 提示掩码。提示掩码可以使用 AutoImageProcessor 获得。有关详细信息，请参阅 SegGptImageProcessor.call()。
• bool_masked_pos (torch.BoolTensor，形状为 (batch_size, num_patches), optional) — 布尔掩码位置。指示哪些 patch 被掩码 (1)，哪些没有 (0)。
• feature_ensemble (bool, optional) — 布尔值，指示是否使用特征集成。如果为 True，则当至少有两个提示时，模型将使用特征集成。如果为 False，则模型将不使用特征集成。在对输入图像进行少样本推理时，即同一图像有多个提示时，应考虑此参数。
• embedding_type (str, optional) — 嵌入类型。指示提示是语义嵌入还是实例嵌入。可以是 instance 或 semantic。
• output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, optional) — 是否返回 ModelOutput 而不是普通元组。
• labels (torch.FloatTensor，形状为 (batch_size, num_channels, height, width), optional) — 输入图像的真值掩码。

一个 transformers.models.seggpt.modeling_seggpt.SegGptEncoderOutput 或 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），其中包含各种元素，具体取决于配置 (SegGptConfig) 和输入。

• last_hidden_state (torch.FloatTensor，形状为 (batch_size, patch_height, patch_width, hidden_size)) — 模型最后一层输出的隐藏状态序列。
• hidden_states (Tuple[torch.FloatTensor], optional, 当 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组（embeddings 的输出一个，每层的输出一个），形状为 (batch_size, patch_height, patch_width, hidden_size)。
• attentions (Tuple[torch.FloatTensor], optional, 当 config.output_attentions=True 时返回) — torch.FloatTensor 元组（每层一个），形状为 (batch_size, num_heads, seq_len, seq_len)。
• intermediate_hidden_states (Tuple[torch.FloatTensor], optional, 当 config.intermediate_hidden_state_indices 设置时返回) — torch.FloatTensor 元组，形状为 (batch_size, patch_height, patch_width, hidden_size)。元组中的每个元素对应于 config.intermediate_hidden_state_indices 中指定的层的输出。此外，每个特征都通过 LayerNorm。

参数

• pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, height, width)) — 像素值。像素值可以使用 AutoImageProcessor 获得。 有关详细信息，请参阅 SegGptImageProcessor.call()。
• prompt_pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, height, width)) — Prompt 像素值。Prompt 像素值可以使用 AutoImageProcessor 获得。 有关详细信息，请参阅 SegGptImageProcessor.call()。
• prompt_masks (torch.FloatTensor，形状为 (batch_size, num_channels, height, width)) — Prompt 掩码。Prompt 掩码可以使用 AutoImageProcessor 获得。 有关详细信息，请参阅 SegGptImageProcessor.call()。
• bool_masked_pos (torch.BoolTensor，形状为 (batch_size, num_patches)，可选) — 布尔掩码位置。指示哪些 patch 被掩码 (1) 以及哪些没有 (0)。
• feature_ensemble (bool, 可选) — 布尔值，指示是否使用特征集成。 如果为 True，则当至少有两个 prompt 时，模型将使用特征集成。 如果为 False，则模型将不使用特征集成。 当对输入图像进行少样本推理时，即同一图像有多个 prompt 时，应考虑此参数。
• embedding_type (str, 可选) — 嵌入类型。指示 prompt 是语义嵌入还是实例嵌入。 可以是 instance 或 semantic。
• output_attentions (bool, 可选) — 是否返回所有注意力层的 attention tensors。 有关更多详细信息，请参阅返回 tensors 下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的 hidden states。 有关更多详细信息，请参阅返回 tensors 下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。
• labels (torch.FloatTensor，形状为 (batch_size, num_channels, height, width)，optional) — 输入图像的真值掩码。

transformers.models.seggpt.modeling_seggpt.SegGptImageSegmentationOutput 或 torch.FloatTensor 元组（如果传递 return_dict=False 或当 config.return_dict=False 时），包含各种元素，具体取决于配置 (SegGptConfig) 和输入。

• loss (torch.FloatTensor, 可选, 当提供 labels 时返回) — 损失值。
• pred_masks (torch.FloatTensor，形状为 (batch_size, num_channels, height, width)) — 预测的掩码。
• hidden_states (Tuple[torch.FloatTensor], optional, 当 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组（embeddings 的输出一个，每层的输出一个），形状为 (batch_size, patch_height, patch_width, hidden_size)。
• attentions (Tuple[torch.FloatTensor], optional, 当 config.output_attentions=True 时返回) — torch.FloatTensor 元组（每层一个），形状为 (batch_size, num_heads, seq_len, seq_len)。