参数

• pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, image_size, image_size)，可选) — 对应输入图像的张量。像素值可以使用 {image_processor_class} 获取。有关详细信息，请参阅 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

一个 transformers.models.sam_hq.modeling_sam_hq.SamHQVisionEncoderOutput 或 torch.FloatTensor 的元组（如果传递了 return_dict=False 或 config.return_dict=False），根据配置 (SamHQConfig) 和输入包含各种元素。

• image_embeds (torch.FloatTensor，形状为 (batch_size, output_dim)，可选，当模型用 with_projection=True 初始化时返回) — 通过将投影层应用于池化器输出获得的图像嵌入。

• last_hidden_state (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可选，默认为 None) — 模型最后一层输出的隐藏状态序列。

• hidden_states (tuple[torch.FloatTensor, ...], 可选, 当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型有嵌入层，则一个用于嵌入输出，加上每个层的输出）形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple[torch.FloatTensor, ...], 可选, 当传递 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个）形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

• intermediate_embeddings (list(torch.FloatTensor), 可选) — 从模型中某些块（通常是没有窗口注意力）收集的中间嵌入列表。列表中每个元素的形状均为 (batch_size, sequence_length, hidden_size)。这是 SAM-HQ 特有的，在基础 SAM 中不存在。

参数

• pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, image_size, image_size)，可选) — 对应输入图像的张量。像素值可以使用 {image_processor_class} 获取。有关详细信息，请参阅 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
• input_points (torch.FloatTensor，形状为 (batch_size, num_points, 2)) — 输入的 2D 空间点，提示编码器使用它来编码提示。通常会产生更好的结果。点可以通过将列表的列表传递给处理器来获取，该处理器将创建相应的 4 维 torch 张量。第一个维度是图像批次大小，第二个维度是点批次大小（即我们希望模型每个输入点预测多少个分割掩码），第三个维度是每个分割掩码的点数（可以为单个掩码传递多个点），最后一个维度是点的 x（垂直）和 y（水平）坐标。如果为每个图像或每个掩码传递的点数不同，处理器将创建“PAD”点，它们将对应 (0, 0) 坐标，并且将使用标签跳过这些点的嵌入计算。
• input_labels (torch.LongTensor，形状为 (batch_size, point_batch_size, num_points)) — 输入点的标签，提示编码器使用它来编码提示。根据官方实现，有 3 种类型的标签：
  • 1: 该点包含感兴趣的对象
  • 0: 该点不包含感兴趣的对象
  • -1: 该点对应背景

  我们添加了标签：

  • -10: 该点是填充点，因此应被提示编码器忽略

  填充标签应由处理器自动完成。

• input_boxes (torch.FloatTensor，形状为 (batch_size, num_boxes, 4)) — 输入框，提示编码器使用它来编码提示。通常会产生更好的生成掩码。框可以通过将列表的列表传递给处理器来获取，该处理器将生成一个 torch 张量，每个维度分别对应图像批次大小、每张图像的框数以及框的左上角和右下角的坐标。顺序为 (x1, y1, x2, y2)：
  • x1: 输入框左上角的 x 坐标
  • y1: 输入框左上角的 y 坐标
  • x2: 输入框右下角的 x 坐标
  • y2: 输入框右下角的 y 坐标
• input_masks (torch.FloatTensor，形状为 (batch_size, image_size, image_size)) — SAM_HQ 模型还接受分割掩码作为输入。掩码将由提示编码器嵌入以生成相应的嵌入，该嵌入稍后将馈送到掩码解码器。这些掩码需要用户手动馈送，并且它们需要是 (batch_size, image_size, image_size) 的形状。
• image_embeddings (torch.FloatTensor，形状为 (batch_size, output_channels, window_size, window_size)) — 图像嵌入，掩码解码器使用它来生成掩码和 IoU 分数。为了提高内存效率，用户可以首先使用 get_image_embeddings 方法检索图像嵌入，然后将其馈送到 forward 方法，而不是馈送 pixel_values。
• multimask_output (bool, 可选) — 在原始实现和论文中，模型始终为每张图像（或每个点/每个边界框，如果相关）输出 3 个掩码。但是，可以通过指定 multimask_output=False 只输出一个掩码，该掩码对应于“最佳”掩码。
• hq_token_only (bool, 可选, 默认为 False) — 是否仅使用 HQ 令牌路径生成掩码。当为 False 时，结合标准路径和 HQ 路径。这是 SAM-HQ 架构特有的。
• attention_similarity (torch.FloatTensor, 可选) — 注意力相似度张量，用于在模型用于个性化时提供给掩码解码器以进行目标引导注意力，如 PerSAM 中介绍的那样。
• target_embedding (torch.FloatTensor, 可选) — 目标概念的嵌入，用于在模型用于个性化时提供给掩码解码器以进行目标语义提示，如 PerSAM 中介绍的那样。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。
• intermediate_embeddings (List[torch.FloatTensor], 可选) — 视觉编码器无窗口块的中间嵌入，由 SAM-HQ 用于增强掩码质量。当提供预计算的 image_embeddings 而不是 pixel_values 时，此参数为必需。