参数

• **masks** (``Union[torch.Tensor, tf.Tensor]``) — 输入掩码。
• **iou_scores** (``Union[torch.Tensor, tf.Tensor]``) — IoU 分数列表。
• **original_size** (``Tuple[int,int]``) — 原始图像的大小。
• **cropped_box_image** (``np.array``) — 裁剪后的图像。
• pred_iou_thresh (float，可选，默认为 0.88) — iou 分数的阈值。
• stability_score_thresh (float，可选，默认为 0.95) — 稳定性分数的阈值。
• mask_threshold (float，可选，默认为 0) — 预测掩码的阈值。
• stability_score_offset (float，可选，默认为 1) — 在 _compute_stability_score 方法中使用的稳定性分数的偏移量。
• return_tensors (str，可选，默认为 pt) — 如果是 pt，则返回 torch.Tensor。如果是 tf，则返回 tf.Tensor。

参数

• image (np.array) — 输入的原始图像
• target_size (int) — 调整大小后的图像的目标大小
• crop_n_layers (int, 可选, 默认值 0) — 如果 >0，则会在图像裁剪上再次运行掩码预测。设置要运行的层数，其中每一层都有 2**i_layer 个图像裁剪（i_layer 为层数）。
• overlap_ratio (float, 可选, 默认值 512/1500) — 设置裁剪重叠的程度。在第一层裁剪中，裁剪将按图像长度的此比例重叠。具有更多裁剪的后续层会按比例缩小此重叠。
• points_per_crop (int, 可选, 默认值 32) — 从每个裁剪中采样的点数。
• crop_n_points_downscale_factor (List[int], 可选, 默认值 1) — 第 n 层采样的每边点数将按 crop_n_points_downscale_factor**n 比例缩小。
• device (torch.device, 可选, 默认值 None) — 用于计算的设备。如果为 None，则使用 CPU。
• input_data_format (str 或 ChannelDimension, 可选) — 输入图像的通道维度格式。如果未提供，将自动推断。
• return_tensors (str, 可选, 默认为 pt) — 如果为 pt，则返回 torch.Tensor。如果为 tf，则返回 tf.Tensor。

参数

• image (np.ndarray) — 要填充的图像。
• pad_size (Dict[str, int]) — 填充后输出图像的大小。
• data_format (str 或 ChannelDimension, 可选) — 图像的数据格式。可以是 “channels_first” 或 “channels_last”。如果为 None，则使用 image 的 data_format。
• input_data_format (str 或 ChannelDimension, 可选) — 输入图像的通道维度格式。 如果未提供，则将进行推断。

参数

• **all_masks** (``Union[List[torch.Tensor], List[tf.Tensor]]``) — 所有预测的分割掩码列表
• **all_scores** (``Union[List[torch.Tensor], List[tf.Tensor]]``) — 所有预测的 iou 分数列表
• **all_boxes** (``Union[List[torch.Tensor], List[tf.Tensor]]``) — 预测掩码的所有边界框列表
• **crops_nms_thresh** (``float``) — NMS（非极大值抑制）算法的阈值。
• **return_tensors** (``str``, *可选*, 默认值为 ``pt``) — 如果为 ``pt``，则返回 ``torch.Tensor``。如果为 ``tf``，则返回 ``tf.Tensor``。

参数

• masks (Union[List[torch.Tensor], List[np.ndarray], List[tf.Tensor]]) — 来自 mask_decoder 的批处理掩码，格式为 (batch_size, num_channels, height, width)。
• original_sizes (Union[torch.Tensor, tf.Tensor, List[Tuple[int,int]]]) — 调整大小到模型预期输入形状之前每张图片的原始大小，格式为 (height, width)。
• reshaped_input_sizes (Union[torch.Tensor, tf.Tensor, List[Tuple[int,int]]]) — 每张图片输入模型时的大小，格式为 (height, width)。用于移除填充。
• mask_threshold (float, 可选, 默认值 0.0) — 用于对掩码进行二值化的阈值。
• binarize (bool, 可选, 默认值 True) — 是否对掩码进行二值化。
• pad_size (int, 可选, 默认值 self.pad_size) — 在传递给模型之前图片被填充到的目标大小。如果为 None，则目标大小假定为处理器的 pad_size。
• return_tensors (str, 可选, 默认值 "pt") — 如果为 "pt"，则返回 PyTorch 张量。如果为 "tf"，则返回 TensorFlow 张量。

批处理掩码，格式为 batch_size, num_channels, height, width)，其中 (height, width) 由 original_size 指定。

参数

• images (ImageInput) — 要预处理的图像。期望单个或批量的图像，像素值范围为 0 到 255。如果传入的图像像素值介于 0 和 1 之间，请设置 do_rescale=False。
• segmentation_maps (ImageInput, 可选) — 要预处理的分割图。
• do_resize (bool, 可选, 默认值 self.do_resize) — 是否调整图像大小。
• size (Dict[str, int], 可选, 默认值 self.size) — 控制 resize 后图像的大小。图像的最长边将调整为 size["longest_edge"]，同时保持纵横比。
• mask_size (Dict[str, int]，可选，默认为 self.mask_size) — 控制 resize 后分割图的大小。图像的最长边被调整为 size["longest_edge"]，同时保持纵横比。
• resample (PILImageResampling，可选，默认为 self.resample) — 调整图像大小使用的 PILImageResampling 过滤器，例如 PILImageResampling.BILINEAR。
• do_rescale (bool，可选，默认为 self.do_rescale) — 是否通过缩放因子重新缩放图像像素值。
• rescale_factor (int 或 float，可选，默认为 self.rescale_factor) — 应用于图像像素值的缩放因子。
• do_normalize (bool，可选，默认为 self.do_normalize) — 是否对图像进行归一化。
• image_mean (float 或 List[float]，可选，默认为 self.image_mean) — 如果 do_normalize 设置为 True，则使用图像均值对图像进行归一化。
• image_std (float 或 List[float]，可选，默认为 self.image_std) — 如果 do_normalize 设置为 True，则使用图像标准差对图像进行归一化。
• do_pad (bool, 可选, 默认值: self.do_pad) — 是否对图像进行填充。
• pad_size (Dict[str, int], 可选, 默认值: self.pad_size) — 控制应用于图像的填充大小。如果 do_pad 设置为 True，则图像将被填充到 pad_size["height"] 和 pad_size["width"]。
• mask_pad_size (Dict[str, int], 可选, 默认值: self.mask_pad_size) — 控制应用于分割图的填充大小。如果 do_pad 设置为 True，则图像将被填充到 mask_pad_size["height"] 和 mask_pad_size["width"]。
• do_convert_rgb (bool, 可选, 默认值: self.do_convert_rgb) — 是否将图像转换为 RGB 格式。
• return_tensors (str 或 TensorType, 可选) — 要返回的张量类型。可以是以下之一：
  • 未设置：返回 np.ndarray 列表。
  • TensorType.TENSORFLOW 或 'tf'：返回 tf.Tensor 类型的批次。
  • TensorType.PYTORCH 或 'pt'：返回 torch.Tensor 类型的批次。
  • TensorType.NUMPY 或 'np'：返回 np.ndarray 类型的批次。
  • TensorType.JAX 或 'jax'：返回 jax.numpy.ndarray 类型的批次。
• data_format (ChannelDimension 或 str, 可选, 默认值: ChannelDimension.FIRST) — 输出图像的通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
  • 未设置：使用输入图像的通道维度格式。
• input_data_format (ChannelDimension 或 str, 可选) — 输入图像的通道维度格式。如果未设置，则从输入图像推断通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
  • "none" 或 ChannelDimension.NONE：图像格式为 (height, width)。

参数

• image (np.ndarray) — 需要调整大小的图像。
• size (Dict[str, int]) — 格式为 {"longest_edge": int} 的字典，指定输出图像的大小。图像的最长边将调整为指定大小，而另一边将调整大小以保持纵横比。 resample — PILImageResampling 调整图像大小时使用的过滤器，例如 PILImageResampling.BILINEAR。
• data_format (ChannelDimension 或 str, 可选) — 输出图像的通道维度格式。如果未设置，则使用输入图像的通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST: (num_channels, height, width) 格式的图像。
  • "channels_last" 或 ChannelDimension.LAST: (height, width, num_channels) 格式的图像。
• input_data_format (ChannelDimension 或 str, 可选) — 输入图像的通道维度格式。如果未设置，则从输入图像推断通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST: (num_channels, height, width) 格式的图像。
  • "channels_last" 或 ChannelDimension.LAST: (height, width, num_channels) 格式的图像。

调整大小后的图像。

参数

• pixel_values (torch.FloatTensor ，形状为 (batch_size, num_channels, height, width)) — 像素值。像素值可以使用 SamProcessor 获取。有关详细信息，请参阅 SamProcessor.__call__()。
• input_points （形状为 (batch_size, num_points, 2) 的 torch.FloatTensor）— 输入的二维空间点，提示编码器使用它来编码提示。通常会产生更好的结果。可以通过将列表的列表的列表传递给处理器来获得这些点，该处理器将创建维度为 4 的对应 torch 张量。第一个维度是图像批次大小，第二个维度是点批次大小（即我们希望模型为每个输入点预测多少个分割掩码），第三个维度是每个分割掩码的点数（可以为单个掩码传递多个点），最后一个维度是点的 x（垂直）和 y（水平）坐标。如果为每个图像或每个掩码传递了不同数量的点，则处理器将创建对应于坐标 (0, 0) 的“PAD”点，并且将使用标签跳过这些点的嵌入计算。
• input_labels （形状为 (batch_size, point_batch_size, num_points) 的 torch.LongTensor）— 点的输入标签，提示编码器使用它来编码提示。根据官方实现，有 3 种类型的标签
  • 1：该点是包含目标对象的点
  • 0：该点是不包含目标对象的点
  • -1：该点对应于背景

  我们添加了以下标签：

  • -10：该点是填充点，因此提示编码器应忽略该点

  填充标签应由处理器自动完成。

• input_boxes （形状为 (batch_size, num_boxes, 4) 的 torch.FloatTensor）— 点的输入框，提示编码器使用它来编码提示。通常会产生更好的生成掩码。可以通过将列表的列表的列表传递给处理器来获得这些框，该处理器将生成一个 torch 张量，其中每个维度分别对应于图像批次大小、每个图像的框数以及框的左上角和右下角点的坐标。顺序为 (x1, y1, x2, y2)：
  • x1：输入框左上角点的 x 坐标
  • y1：输入框左上角点的 y 坐标
  • x2：输入框右下角点的 x 坐标
  • y2：输入框右下角点的 y 坐标
• input_masks （形状为 (batch_size, image_size, image_size) 的 torch.FloatTensor）— SAM 模型也接受分割掩码作为输入。提示编码器将嵌入掩码以生成相应的嵌入，稍后将其馈送到掩码解码器。这些掩码需要用户手动提供，并且它们的形状需要为 (batch_size, image_size, image_size)。
• image_embeddings （形状为 (batch_size, output_channels, window_size, window_size) 的 torch.FloatTensor）— 图像嵌入，掩码解码器使用它来生成掩码和 iou 分数。为了提高内存效率，用户可以使用 get_image_embeddings 方法首先检索图像嵌入，然后将它们馈送到 forward 方法，而不是馈送 pixel_values。
• **multimask_output** (``bool``, *可选*) — 在原始实现和论文中，模型始终为每个图像输出 3 个掩码（如果相关，则为每个点/每个边界框）。但是，可以通过指定 ``multimask_output=False`` 来仅输出一个对应于“最佳”掩码的掩码。
• **attention_similarity** (``torch.FloatTensor``, *可选*) — 注意力相似度张量，在模型用于 PerSAM 中引入的个性化时，将提供给掩码解码器以进行目标引导的注意力。
• **target_embedding** (``torch.FloatTensor``, *可选*) — 目标概念的嵌入，在模型用于 PerSAM 中引入的个性化时，将提供给掩码解码器以进行目标语义提示。
• **output_attentions** (``bool``, *可选*) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 ``attentions``。
• **output_hidden_states** (``bool``, *可选*) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 ``hidden_states``。
• **return_dict** (``bool``, *可选*) — 是否返回 ModelOutput 而不是普通的元组。

  示例 —

参数

• pixel_values (形状为 (batch_size, num_channels, height, width) 的 tf.Tensor) — 像素值。可以使用 SamProcessor 获取像素值。有关详细信息，请参阅 SamProcessor.__call__()。
• input_points (形状为 (batch_size, num_points, 2) 的 tf.Tensor) — 输入的二维空间点，提示编码器使用它来编码提示。通常会产生更好的结果。这些点可以通过将列表的列表的列表传递给处理器来获得，处理器将创建维度为 4 的对应 tf 张量。第一个维度是图像批次大小，第二个维度是点批次大小（即我们希望模型为每个输入点预测多少个分割掩码），第三个维度是每个分割掩码的点数（可以为一个掩码传递多个点），最后一个维度是点的 x（垂直）和 y（水平）坐标。如果为每张图像或每个掩码传递了不同数量的点，处理器将创建对应于 (0, 0) 坐标的“PAD”点，并且将使用标签跳过这些点的嵌入计算。
• input_labels (形状为 (batch_size, point_batch_size, num_points) 的 tf.Tensor) — 点的输入标签，提示编码器使用它来编码提示。根据官方实现，标签有 3 种类型
  • 1：该点是包含目标对象的点
  • 0：该点是不包含目标对象的点
  • -1：该点对应于背景

  我们添加了以下标签：

  • -10：该点是填充点，因此提示编码器应忽略它

  填充标签应由处理器自动完成。

• input_boxes (形状为 (batch_size, num_boxes, 4) 的 tf.Tensor) — 点的输入框，提示编码器使用它来编码提示。通常会产生更好的生成掩码。这些框可以通过将列表的列表的列表传递给处理器来获得，这将生成一个 tf 张量，每个维度分别对应于图像批次大小、每张图像的框数以及框的左上角和右下角点的坐标。顺序为 (x1, y1, x2, y2)：
  • x1：输入框左上角点的 x 坐标
  • y1：输入框左上角点的 y 坐标
  • x2：输入框右下角点的 x 坐标
  • y2：输入框右下角点的 y 坐标
• input_masks (形状为 (batch_size, image_size, image_size) 的 tf.Tensor) — SAM 模型也接受分割掩码作为输入。提示编码器将嵌入掩码以生成对应的嵌入，稍后将其馈送到掩码解码器。这些掩码需要用户手动提供，并且其形状需要为 (batch_size, image_size, image_size)。
• image_embeddings (形状为 (batch_size, output_channels, window_size, window_size) 的 tf.Tensor) — 图像嵌入，掩码解码器使用它来生成掩码和 iou 分数。为了提高内存效率，用户可以使用 get_image_embeddings 方法首先检索图像嵌入，然后将它们馈送到 call 方法，而不是馈送 pixel_values。
• multimask_output (bool, 可选) — 在原始实现和论文中，模型总是为每个图像输出 3 个掩码（如果相关，则为每个点/每个边界框）。但是，可以通过指定 multimask_output=False 来仅输出一个与“最佳”掩码相对应的掩码。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。