参数

• masks (Union[torch.Tensor, tf.Tensor]) — 输入掩码。
• iou_scores (Union[torch.Tensor, tf.Tensor]) — IoU 分数列表。
• original_size (tuple[int,int]) — 原始图像的尺寸。
• cropped_box_image (np.array) — 裁剪后的图像。
• pred_iou_thresh (float, 可选, 默认为 0.88) — iou 分数的阈值。
• stability_score_thresh (float, 可选, 默认为 0.95) — 稳定性分数的阈值。
• mask_threshold (float, 可选, 默认为 0) — 预测掩码的阈值。
• stability_score_offset (float, 可选, 默认为 1) — 在 _compute_stability_score 方法中使用的稳定性分数偏移量。
• return_tensors (str, 可选, 默认为 pt) — 如果是 pt，则返回 torch.Tensor。如果是 tf，则返回 tf.Tensor。

参数

• image (np.array) — 输入的原始图像
• target_size (int) — 调整大小后图像的目标尺寸
• crop_n_layers (int, 可选, 默认为 0) — 如果 >0，掩码预测将在图像的裁剪块上再次运行。设置要运行的层数，其中每一层有 2**i_layer 个图像裁剪块。
• overlap_ratio (float, 可选, 默认为 512/1500) — 设置裁剪块重叠的程度。在第一个裁剪层中，裁剪块将按此图像长度比例重叠。后续层中裁剪块数量更多，重叠比例会相应缩小。
• points_per_crop (int, 可选, 默认为 32) — 从每个裁剪块中采样的点数。
• crop_n_points_downscale_factor (list[int], 可选, 默认为 1) — 在第 n 层中每边采样的点数将按 crop_n_points_downscale_factor**n 缩小。
• device (torch.device, 可选, 默认为 None) — 用于计算的设备。如果为 None，将使用 cpu。
• input_data_format (str 或 ChannelDimension, 可选) — 输入图像的通道维度格式。如果未提供，将自动推断。
• return_tensors (str, 可选, 默认为 pt) — 如果是 pt，则返回 torch.Tensor。如果是 tf，则返回 tf.Tensor。

参数

• image (np.ndarray) — 需要填充的图像。
• pad_size (dict[str, int]) — 填充后输出图像的尺寸。
• data_format (str 或 ChannelDimension, 可选) — 图像的数据格式。可以是 “channels_first” 或 “channels_last”。如果为 None，则使用 image 的 data_format。
• input_data_format (str 或 ChannelDimension, 可选) — 输入图像的通道维度格式。如果未提供，将自动推断。

参数

• all_masks (Union[list[torch.Tensor], list[tf.Tensor]]) — 所有预测的分割掩码列表
• all_scores (Union[list[torch.Tensor], list[tf.Tensor]]) — 所有预测的iou分数列表
• all_boxes (Union[list[torch.Tensor], list[tf.Tensor]]) — 所有预测掩码的边界框列表
• crops_nms_thresh (float) — NMS（非极大值抑制）算法的阈值。
• return_tensors (str, 可选, 默认为 pt) — 如果是 pt，返回 torch.Tensor。如果是 tf，返回 tf.Tensor。

参数

• masks (Union[list[torch.Tensor], list[np.ndarray], list[tf.Tensor]]) — 来自 mask_decoder 的批处理掩码，格式为 (batch_size, num_channels, height, width)。
• original_sizes (Union[torch.Tensor, tf.Tensor, list[tuple[int,int]]]) — 每张图像在调整为模型期望的输入形状之前的原始尺寸，格式为 (height, width)。
• reshaped_input_sizes (Union[torch.Tensor, tf.Tensor, list[tuple[int,int]]]) — 每张图像输入模型时的尺寸，格式为 (height, width)，用于移除填充。
• mask_threshold (float, 可选, 默认为 0.0) — 用于二值化掩码的阈值。
• binarize (bool, 可选, 默认为 True) — 是否二值化掩码。
• pad_size (int, 可选, 默认为 self.pad_size) — 图像在传递给模型前被填充到的目标尺寸。如果为 None，则假定目标尺寸为处理器的 pad_size。
• return_tensors (str, 可选, 默认为 "pt") — 如果是 "pt"，返回 PyTorch 张量。如果是 "tf"，返回 TensorFlow 张量。

批处理掩码，格式为 (batch_size, num_channels, height, width)，其中 (height, width) 由 original_size 给出。

参数

• images (ImageInput) — 需要预处理的图像。期望单个或一批图像，像素值范围为 0 到 255。如果传入的图像像素值在 0 到 1 之间，请设置 do_rescale=False。
• segmentation_maps (ImageInput, 可选) — 需要预处理的分割图。
• do_resize (bool, 可选, 默认为 self.do_resize) — 是否调整图像大小。
• size (dict[str, int], 可选, 默认为 self.size) — 控制 resize 后图像的尺寸。图像的最长边将被调整为 size["longest_edge"]，同时保持宽高比。
• mask_size (dict[str, int], 可选, 默认为 self.mask_size) — 控制 resize 后分割图的尺寸。图像的最长边将被调整为 size["longest_edge"]，同时保持宽高比。
• resample (PILImageResampling, 可选, 默认为 self.resample) — 调整图像大小时使用的 PILImageResampling 滤波器，例如 PILImageResampling.BILINEAR。
• do_rescale (bool, 可选, 默认为 self.do_rescale) — 是否通过缩放因子重新缩放图像像素值。
• rescale_factor (int 或 float, 可选, 默认为 self.rescale_factor) — 应用于图像像素值的缩放因子。
• do_normalize (bool, 可选, 默认为 self.do_normalize) — 是否对图像进行归一化。
• image_mean (float 或 list[float], 可选, 默认为 self.image_mean) — 当 do_normalize 设置为 True 时，用于归一化图像的均值。
• image_std (float 或 list[float], 可选, 默认为 self.image_std) — 当 do_normalize 设置为 True 时，用于归一化图像的标准差。
• do_pad (bool, 可选, 默认为 self.do_pad) — 是否对图像进行填充。
• pad_size (dict[str, int], 可选, 默认为 self.pad_size) — 控制应用于图像的填充大小。当 do_pad 设置为 True 时，图像将被填充到 pad_size["height"] 和 pad_size["width"]。
• mask_pad_size (dict[str, int], 可选, 默认为 self.mask_pad_size) — 控制应用于分割图的填充大小。当 do_pad 设置为 True 时，图像将被填充到 mask_pad_size["height"] 和 mask_pad_size["width"]。
• do_convert_rgb (bool, 可选, 默认为 self.do_convert_rgb) — 是否将图像转换为 RGB。
• return_tensors (str 或 TensorType, 可选) — 返回张量的类型。可以是以下之一：
  • 未设置：返回 np.ndarray 列表。
  • TensorType.TENSORFLOW 或 'tf'：返回 tf.Tensor 批次。
  • TensorType.PYTORCH 或 'pt'：返回 torch.Tensor 批次。
  • TensorType.NUMPY 或 'np'：返回 np.ndarray 批次。
  • TensorType.JAX 或 'jax'：返回 jax.numpy.ndarray 批次。
• data_format (ChannelDimension 或 str, 可选, 默认为 ChannelDimension.FIRST) — 输出图像的通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
  • 未设置：使用输入图像的通道维度格式。
• input_data_format (ChannelDimension 或 str, 可选) — 输入图像的通道维度格式。如果未设置，则从输入图像中推断通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
  • "none" 或 ChannelDimension.NONE：图像格式为 (height, width)。

参数

• image (np.ndarray) — 需要调整大小的图像。
• size (dict[str, int]) — 格式为 {"longest_edge": int} 的字典，指定输出图像的尺寸。图像的最长边将被调整为指定的大小，而另一边则会相应调整以保持宽高比。
• resample — 调整图像大小时使用的 PILImageResampling 滤波器，例如 PILImageResampling.BILINEAR。
• data_format (ChannelDimension 或 str, 可选) — 输出图像的通道维度格式。如果未设置，则使用输入图像的通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
• input_data_format (ChannelDimension 或 str, 可选) — 输入图像的通道维度格式。如果未设置，则从输入图像中推断通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。

调整大小后的图像。

参数

• pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, image_size, image_size), 可选) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获得。详情请参见 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。更多细节请参见返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多细节请参见返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。

一个 transformers.models.sam.modeling_sam.SamVisionEncoderOutput 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含各种元素，具体取决于配置（SamConfig）和输入。

• image_embeds (torch.FloatTensor，形状为 (batch_size, output_dim)，可选，当模型以 with_projection=True 初始化时返回) — 通过将投影层应用于 pooler_output 获得的图像嵌入。

• last_hidden_state (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可选，默认为 None) — 模型最后一层输出的隐藏状态序列。

• hidden_states (tuple[torch.FloatTensor, ...], 可选, 当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — 形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元组（一个用于嵌入层的输出，如果模型有嵌入层，+ 一个用于每层的输出）。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple[torch.FloatTensor, ...], 可选, 当传递 output_attentions=True 或 config.output_attentions=True 时返回) — 形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元组（每层一个）。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, image_size, image_size)，可选) — 与输入图像对应的张量。像素值可以使用 {image_processor_class} 获取。有关详细信息，请参阅 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
• input_points (torch.FloatTensor，形状为 (batch_size, num_points, 2)) — 输入的二维空间点，用于提示编码器对提示进行编码。通常能产生更好的结果。可以通过向处理器传递一个列表的列表的列表来获得这些点，处理器将创建相应的维度为 4 的 torch 张量。第一个维度是图像批量大小，第二个维度是点批量大小（即我们希望模型为每个输入点预测多少个分割掩码），第三个维度是每个分割掩码的点数（可以为单个掩码传递多个点），最后一个维度是点的 x（垂直）和 y（水平）坐标。如果为每个图像或每个掩码传递了不同数量的点，处理器将创建对应于 (0, 0) 坐标的“PAD”点，并且将使用标签跳过这些点的嵌入计算。
• input_labels (torch.LongTensor，形状为 (batch_size, point_batch_size, num_points)) — 点的输入标签，用于提示编码器对提示进行编码。根据官方实现，有 3 种类型的标签
  • 1：该点是包含感兴趣对象的点
  • 0：该点是不包含感兴趣对象的点
  • -1：该点对应于背景

  我们添加了标签：

  • -10：该点是填充点，因此应被提示编码器忽略

  填充标签应由处理器自动完成。

• input_boxes (torch.FloatTensor，形状为 (batch_size, num_boxes, 4)) — 点的输入框，用于提示编码器对提示进行编码。通常能生成更好的掩码。可以通过向处理器传递一个列表的列表的列表来获得这些框，处理器将生成一个 torch 张量，每个维度分别对应于图像批量大小、每张图像的框数以及框的左上角和右下角点的坐标。顺序为 (x1, y1, x2, y2):
  • x1：输入框左上角的 x 坐标
  • y1：输入框左上角的 y 坐标
  • x2：输入框右下角的 x 坐标
  • y2：输入框右下角的 y 坐标
• input_masks (torch.FloatTensor，形状为 (batch_size, image_size, image_size)) — SAM 模型也接受分割掩码作为输入。掩码将被提示编码器嵌入以生成相应的嵌入，然后将其馈送到掩码解码器。这些掩码需要由用户手动提供，并且形状必须为 (batch_size, image_size, image_size)。
• image_embeddings (torch.FloatTensor，形状为 (batch_size, output_channels, window_size, window_size)) — 图像嵌入，用于掩码解码器生成掩码和 iou 分数。为了进行更节省内存的计算，用户可以首先使用 get_image_embeddings 方法检索图像嵌入，然后将它们馈送到 forward 方法，而不是馈送 pixel_values。
• multimask_output (bool，可选) — 在原始实现和论文中，模型总是为每张图像输出 3 个掩码（如果相关，则为每个点/每个边界框）。但是，通过指定 multimask_output=False，可以只输出一个掩码，该掩码对应于“最佳”掩码。
• attention_similarity (torch.FloatTensor，可选) — 注意力相似性张量，在模型用于个性化时提供给掩码解码器以进行目标导向的注意力，如 PerSAM 中所述。
• target_embedding (torch.FloatTensor，可选) — 目标概念的嵌入，在模型用于个性化时提供给掩码解码器以进行目标语义提示，如 PerSAM 中所述。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。

一个 transformers.models.sam.modeling_sam.SamImageSegmentationOutput 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），根据配置（SamConfig）和输入，包含各种元素。

• iou_scores (torch.FloatTensor，形状为 (batch_size, num_masks)) — 预测掩码的 iou 分数。

• pred_masks (torch.FloatTensor，形状为 (batch_size, num_masks, height, width)) — 预测的低分辨率掩码。需要由处理器进行后处理。

• vision_hidden_states (tuple(torch.FloatTensor)，可选，在传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层，+ 一个用于每层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  视觉模型在每层输出处的隐藏状态，以及可选的初始嵌入输出。

• vision_attentions (tuple(torch.FloatTensor)，可选，在传递 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

• mask_decoder_attentions (tuple(torch.FloatTensor)，可选，在传递 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (tf.Tensor，形状为 (batch_size, num_channels, height, width)) — 像素值。像素值可以使用 SamProcessor 获取。有关详细信息，请参阅 SamProcessor.__call__()。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool，可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。

一个 transformers.models.sam.modeling_tf_sam.TFSamVisionEncoderOutput 或一个 tf.Tensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），根据配置（<class 'transformers.models.sam.configuration_sam.SamVisionConfig'>）和输入，包含各种元素。

• image_embeds (tf.Tensor，形状为 (batch_size, output_dim)，可选，当模型以 with_projection=True 初始化时返回) — 通过将投影层应用于 pooler_output 获得的图像嵌入。

• last_hidden_state (tf.Tensor of shape (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

• hidden_states (tuple(tf.Tensor)，可选，在传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — tf.Tensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层，+ 一个用于每层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(tf.Tensor)，可选，在传递 output_attentions=True 或 config.output_attentions=True 时返回) — tf.Tensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (tf.Tensor，形状为 (batch_size, num_channels, height, width)) — 像素值。像素值可以使用 SamProcessor 获取。有关详细信息，请参阅 SamProcessor.__call__()。
• input_points (tf.Tensor，形状为 (batch_size, num_points, 2)) — 输入的二维空间点，用于提示编码器对提示进行编码。通常能产生更好的结果。可以通过向处理器传递一个列表的列表的列表来获得这些点，处理器将创建相应的维度为 4 的 tf 张量。第一个维度是图像批量大小，第二个维度是点批量大小（即我们希望模型为每个输入点预测多少个分割掩码），第三个维度是每个分割掩码的点数（可以为单个掩码传递多个点），最后一个维度是点的 x（垂直）和 y（水平）坐标。如果为每个图像或每个掩码传递了不同数量的点，处理器将创建对应于 (0, 0) 坐标的“PAD”点，并且将使用标签跳过这些点的嵌入计算。
• input_labels (tf.Tensor，形状为 (batch_size, point_batch_size, num_points)) — 点的输入标签，用于提示编码器对提示进行编码。根据官方实现，有 3 种类型的标签
  • 1：该点是包含感兴趣对象的点
  • 0：该点是不包含感兴趣对象的点
  • -1：该点对应于背景

  我们添加了标签：

  • -10：该点是填充点，因此应被提示编码器忽略

  填充标签应由处理器自动完成。

• input_boxes (tf.Tensor，形状为 (batch_size, num_boxes, 4)) — 点的输入框，用于提示编码器对提示进行编码。通常能生成更好的掩码。可以通过向处理器传递一个列表的列表的列表来获得这些框，处理器将生成一个 tf 张量，每个维度分别对应于图像批量大小、每张图像的框数以及框的左上角和右下角点的坐标。顺序为 (x1, y1, x2, y2):
  • x1：输入框左上角的 x 坐标
  • y1：输入框左上角的 y 坐标
  • x2：输入框右下角的 x 坐标
  • y2：输入框右下角的 y 坐标
• input_masks (tf.Tensor，形状为 (batch_size, image_size, image_size)) — SAM 模型也接受分割掩码作为输入。掩码将被提示编码器嵌入以生成相应的嵌入，然后将其馈送到掩码解码器。这些掩码需要由用户手动提供，并且形状必须为 (batch_size, image_size, image_size)。
• image_embeddings (tf.Tensor，形状为 (batch_size, output_channels, window_size, window_size)) — 图像嵌入，用于掩码解码器生成掩码和 iou 分数。为了进行更节省内存的计算，用户可以首先使用 get_image_embeddings 方法检索图像嵌入，然后将它们馈送到 call 方法，而不是馈送 pixel_values。
• multimask_output (bool，可选) — 在原始实现和论文中，模型总是为每张图像输出 3 个掩码（如果相关，则为每个点/每个边界框）。但是，通过指定 multimask_output=False，可以只输出一个掩码，该掩码对应于“最佳”掩码。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool，可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。