参数

• images (ImageInput) —— 预处理图像。期望单张或多张图像，像素值介于0到255之间。如果传递像素值介于0到1之间的图像，设置do_rescale=False。
• prompt_images (ImageInput) —— 预处理提示图像。期望单张或多张图像，像素值介于0到255之间。如果传递像素值介于0到1之间的图像，设置do_rescale=False。
• prompt_masks (ImageInput) —— 从提示图像中预处理提示掩码，在预处理输出中指定提示掩码值。可以是以分割图（无通道）或RGB图像的格式。如果是RGB图像格式，应将do_convert_rgb设置为False。如果是分割图格式，建议指定num_labels以构建调色板，将单通道提示掩码映射到3通道RGB。如果未指定num_labels，则提示掩码将在通道维度上重复。
• do_resize (bool, 可选，默认为 self.do_resize) — 是否调整图像大小。
• size (Dict[str, int], 可选，默认为 self.size) — 指定调整大小后输出图像大小的字典，格式为 {"height": h, "width": w}。
• resample (PILImageResampling 过滤器，可选，默认为 self.resample) — 如果调整图像大小则使用的 PILImageResampling 过滤器，例如 PILImageResampling.BICUBIC。仅在 do_resize 设置为 True 时有效。不会应用于提示掩码，因为它使用最近邻方法进行缩放。
• do_rescale (bool, 可选，默认为 self.do_rescale) — 是否对图像值进行缩放，范围在 [0 - 1] 之间。
• rescale_factor (float, 可选，默认为self.rescale_factor) — 如果do_rescale设置为True，则重新缩放图像的缩放因子。
• do_normalize (bool, 可选，默认为self.do_normalize) — 是否规范化图像。
• image_mean (float 或 List[float], 可选，默认为self.image_mean) — 如果do_normalize设置为True，则使用的图像均值。
• image_std (float 或 List[float], 可选，默认为self.image_std) — 如果do_normalize设置为True，则使用的图像标准差。
• do_convert_rgb (bool, 可选, 默认 self.do_convert_rgb) — 是否将提示蒙版转换为RGB格式。如果指定了 num_labels，将构建一个调色板，将提示蒙版从单通道映射到3通道RGB。如果没有设置，提示蒙版将在通道维度上重复。如果提示蒙版已经是RGB格式，则必须设置为 False。num_labels — (int, 可选)：分割任务中的类别数（不包括背景）。如果指定，将构建调色板，假设 class_idx 0 是背景，将提示蒙版从无通道的纯分割映射到3通道RGB。不指定此参数将导致提示蒙版以原样传递（如果 do_convert_rgb 为 false）或在通道维度上重复。
• return_tensors (str 或 TensorType, 可选) — 要返回的 Tensor 类型。可以是以下之一：
  • 未设置：返回一个 np.ndarray 列表。
  • TensorType.TENSORFLOW 或 'tf'：返回类型为 tf.Tensor 的批次。
  • TensorType.PYTORCH 或 'pt'：返回类型为 torch.Tensor 的批次。
  • TensorType.NUMPY 或 'np'：返回类型为 np.ndarray 的批次。
  • TensorType.JAX 或 'jax'：返回类型为 jax.numpy.ndarray 的批次。
• data_format (ChannelDimension 或 str，可选，默认为 ChannelDimension.FIRST) — 输出图像的通道维度格式。可以取以下值之一：
  • "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
  • 未设置：使用输入图像的通道维度格式。
• input_data_format (ChannelDimension 或 str，可选) — 输入图像的通道维度格式。如果未设置，将根据输入图像推断通道维度格式。可以取以下值之一：
  • "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
  • "none" 或 ChannelDimension.NONE：图像格式为 (height, width)。

参数

• outputs (SegGptImageSegmentationOutput) — 模型的原始输出。
• target_sizes (列表[int, int], 可选) — 长度为 (batch_size) 的列表，其中每个列表项 (元组[int, int]) 对应于每个预测的所需最终大小（高度，宽度）。如果设置为 None，则不会进行缩放。
• num_labels (int, 可选) — 目标任务中类别的数量（排除背景）。如果指定，将构建一个调色板，假设类 idx 0 是背景，用于将预测掩模从 RGB 值映射到类索引。此值应与预处理输入时使用的值相同。

List[torch.Tensor] 长度为 batch_size，其中每个元素是与 target_sizes 条目相对应的语义分割图（如果指定了 target_sizes）。每个 torch.Tensor 的条目对应于一个语义类别 ID。

参数

• pixel_values (torch.FloatTensor of shape (batch_size, num_channels, height, width)) — 像素值。可以使用 AutoImageProcessor 获取像素值。有关详细信息，请参阅 SegGptImageProcessor.call()。
• prompt_pixel_values (torch.FloatTensor of shape (batch_size, num_channels, height, width)) — 提示像素值。提示像素值可以使用 AutoImageProcessor 获取。有关详细信息，请参阅 SegGptImageProcessor.call()。
• prompt_masks (torch.FloatTensor of shape (batch_size, num_channels, height, width)) — 提示掩码。提示掩码可以使用 AutoImageProcessor 获取。有关详细信息，请参阅 SegGptImageProcessor.call()。
• bool_masked_pos (torch.BoolTensor of shape (batch_size, num_patches), 可选) — 布尔掩码位置。指示哪些块被掩码（1）以及哪些没有被掩码（0）。
• feature_ensemble（《布尔值》，可选）— 表示是否使用特征集成。如果为 True，当至少有两个提示时，模型将使用特征集成。如果为 False，则模型将不使用特征集成。当对输入图像进行少样本推理（即对同一图像多个提示）时，应考虑此参数。
• embedding_type（《字符串》，可选）— 嵌入类型。指提示是语义嵌入还是实例嵌入。可以是实例或语义。
• output_attentions（《布尔值》，可选）— 是否返回所有注意力层的注意力张量。详细信息请参见返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。详细信息请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是普通的元组。
• labels (torch.FloatTensor 形状为 (batch_size, num_channels, height, width), 可选) — 输入图像的地面实况掩码。

equals transformers.models.seggpt.modeling_seggpt.SegGptEncoderOutput 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含各种元素，这些元素取决于配置（SegGptConfig）和输入。

• last_hidden_state (torch.FloatTensor 形状为 (batch_size, patch_height, patch_width, hidden_size)) — 模型最后一层输出处的隐藏状态序列。
• hidden_states (Tuple[torch.FloatTensor], 可选，当 config.output_hidden_states=True 时返回) — 包含 torch.FloatTensor 的元组（一个是嵌入层的输出，一个是每层输出），形状为 (batch_size, patch_height, patch_width, hidden_size)。
• 注意 (Tuple[torch.FloatTensor], optional, 当 config.output_attentions=True 时返回) — 一个 torch.FloatTensor 的元组（每个层一个），形状为 (batch_size, num_heads, seq_len, seq_len)。
• intermediate_hidden_states (Tuple[torch.FloatTensor], optional，当 config.intermediate_hidden_state_indices 被设置时返回) — 形状为 (batch_size, patch_height, patch_width, hidden_size) 的 torch.FloatTensor 的元组。元组中的每个元素对应于 config.intermediate_hidden_state_indices 中指定的层的输出。另外，每个特征都通过了 LayerNorm。

参数

• pixel_values (torch.FloatTensor of shape (batch_size, num_channels, height, width)) — 像素值。像素值可以使用 AutoImageProcessor 获取。有关详细信息，请参阅 SegGptImageProcessor.call()。
• prompt_pixel_values (torch.FloatTensor of shape (batch_size, num_channels, height, width)) — 提示像素值。提示像素值可以使用 AutoImageProcessor 获取。有关详细信息，请参阅 SegGptImageProcessor.call()。
• prompt_masks (torch.FloatTensor of shape (batch_size, num_channels, height, width)) — 提示掩码。提示掩码可以使用 AutoImageProcessor 获取。有关详细信息，请参阅 SegGptImageProcessor.call()。
• bool_masked_pos (torch.BoolTensor of shape (batch_size, num_patches), optional) — Boolean masked positions. Indicates which patches are masked (1) and which aren’t (0).
• feature_ensemble (bool, optional) — Boolean indicating whether to use feature ensemble or not. If True, the model will use feature ensemble if we have at least two prompts. If False, the model will not use feature ensemble. This argument should be considered when doing few-shot inference on an input image i.e. more than one prompt for the same image.
• embedding_type (str, optional) — Embedding type. Indicates whether the prompt is a semantic or instance embedding. Can be either instance or semantic.
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的hidden_states。
• return_dict (bool, 可选) — 是否返回一个ModelOutput而不是一个普通的元组。
• labels (torch.FloatTensor形状为(batch_size, num_channels, height, width), 可选) — 输入图像的地面实况掩码。

一个 transformers.models.seggpt.modeling_seggpt.SegGptImageSegmentationOutput 或一个包含各种元素的 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False），这些元素取决于配置（SegGptConfig）和输入。

• 损失（《torch.FloatTensor》，可选，当提供 labels 时返回）——损失值。
• 预测掩码（《torch.FloatTensor》尺寸为 (batch_size, num_channels, height, width)）——预测掩码。
• hidden_states (Tuple[torch.FloatTensor], 可选，当 config.output_hidden_states=True 时返回) — 包含 torch.FloatTensor 的元组（一个是嵌入层的输出，一个是每层输出），形状为 (batch_size, patch_height, patch_width, hidden_size)。
• 注意力（《Tuple[torch.FloatTensor]》，可选，当 config.output_attentions=True 时返回）——一个 torch.FloatTensor 元组（每个层一个），尺寸为 (batch_size, num_heads, seq_len, seq_len)。