参数

• images (ImageInput) — 要预处理的图像或图像批次。期望单个或一批像素值范围为 0 到 255 的图像。如果传入像素值介于 0 和 1 之间的图像，请设置 do_rescale=False。
• annotations (List[Dict] 或 List[List[Dict]], 可选) — 与图像或图像批次关联的注释列表。如果注释用于目标检测，则注释应为包含以下键的字典：
  • “image_id” (int)：图像 ID。
  • “annotations” (List[Dict])：图像注释列表。每个注释都应为字典。图像可以没有注释，在这种情况下，列表应为空。如果注释用于分割，则注释应为包含以下键的字典：
  • “image_id” (int)：图像 ID。
  • “segments_info” (List[Dict])：图像片段列表。每个片段都应为字典。图像可以没有片段，在这种情况下，列表应为空。
  • “file_name” (str)：图像的文件名。
• return_segmentation_masks (bool, 可选, 默认为 self.return_segmentation_masks) — 是否返回分割掩码。
• masks_path (str 或 pathlib.Path, 可选) — 包含分割掩码的目录的路径。
• do_resize (bool，可选，默认为 self.do_resize) — 是否调整图像大小。
• size (Dict[str, int]，可选，默认为 self.size) — 调整大小后图像的 (height, width) 尺寸。可用选项有：
  • {"height": int, "width": int}：图像将被调整为精确的 (height, width) 尺寸。不保持纵横比。
  • {"shortest_edge": int, "longest_edge": int}：图像将被调整为最大尺寸，尊重纵横比，并保持最短边小于或等于 shortest_edge，最长边小于或等于 longest_edge。
  • {"max_height": int, "max_width": int}：图像将被调整为最大尺寸，尊重纵横比，并保持高度小于或等于 max_height，宽度小于或等于 max_width。
• resample (PILImageResampling，可选，默认为 self.resample) — 调整图像大小 时使用的重采样过滤器。
• do_rescale (bool，可选，默认为 self.do_rescale) — 是否重新缩放图像。
• rescale_factor (float，可选，默认为 self.rescale_factor) — 重新缩放图像时使用的缩放因子。
• do_normalize (bool，可选，默认为 self.do_normalize) — 是否对图像进行归一化。
• image_mean (float 或 List[float]，可选，默认为 self.image_mean) — 归一化图像时使用的均值。
• image_std (float 或 List[float]，可选，默认为 self.image_std) — 归一化图像时使用的标准差。
• do_convert_annotations (bool，可选，默认为 self.do_convert_annotations) — 是否将注释转换为模型期望的格式。将边界框的格式从 (top_left_x, top_left_y, width, height) 转换为 (center_x, center_y, width, height)，并使用相对坐标。
• do_pad (bool，可选，默认为 self.do_pad) — 是否填充图像。如果为 True，则使用零填充图像的底部和右侧。如果提供了 pad_size，则图像将被填充到指定的尺寸。否则，图像将被填充到批处理的最大高度和宽度。
• format (str 或 AnnotationFormat，可选，默认为 self.format) — 注释的格式。
• return_tensors (str 或 TensorType，可选，默认为 self.return_tensors) — 要返回的张量类型。如果为 None，则返回图像列表。
• data_format (ChannelDimension 或 str，可选，默认为 ChannelDimension.FIRST) — 输出图像的通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：图像采用 (num_channels, height, width) 格式。
  • "channels_last" 或 ChannelDimension.LAST：图像采用 (height, width, num_channels) 格式。
  • 未设置：使用输入图像的通道维度格式。
• input_data_format (ChannelDimension 或 str，可选) — 输入图像的通道维度格式。如果未设置，则从输入图像推断通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：图像采用 (num_channels, height, width) 格式。
  • "channels_last" 或 ChannelDimension.LAST：图像采用 (height, width, num_channels) 格式。
  • "none" 或 ChannelDimension.NONE：图像采用 (height, width) 格式。
• pad_size (Dict[str, int]，可选) — 用于将图像填充到的尺寸 {"height": int, "width" int}。必须大于预处理提供的任何图像尺寸。如果未提供 pad_size，则图像将填充到批次中的最大高度和宽度。

参数

• outputs (DetrObjectDetectionOutput) — 模型的原始输出。
• threshold (float，可选，默认为 0.5) — 保留对象检测预测的分数阈值。
• target_sizes (torch.Tensor 或 List[Tuple[int, int]]，可选) — 形状为 (batch_size, 2) 的张量或包含批次中每个图像的目标尺寸（高度，宽度）的元组列表 (Tuple[int, int])。如果保留为 None，则不会调整预测的大小。
• nms_threshold (float，可选，默认为 0.7) — NMS 阈值。

一个字典列表，每个字典包含模型预测的批次中图像的分数、标签和边界框。

参数

• pixel_values (torch.FloatTensor 形状为 (batch_size, num_channels, height, width)) — 像素值。如果您提供填充，默认情况下将忽略它。

  可以使用 AutoImageProcessor 获取像素值。有关详细信息，请参阅 AutoImageProcessor.__call__()。

• pixel_mask (torch.LongTensor 形状为 (batch_size, height, width), 可选) — 避免对填充像素值执行注意力的掩码。掩码值在 [0, 1] 中选择:
  • 1 表示真实的像素（即未被掩码），
  • 0 表示填充像素（即被掩码）。

  什么是注意力掩码？

• decoder_attention_mask (torch.FloatTensor 形状为 (batch_size, num_queries), 可选) — 默认情况下不使用。可用于屏蔽对象查询。
• encoder_outputs (tuple(tuple(torch.FloatTensor), 可选) — 元组由 (last_hidden_state, 可选: hidden_states, 可选: attentions) 组成。形状为 (batch_size, sequence_length, hidden_size) 的 last_hidden_state（可选）是编码器最后一层输出的隐藏状态序列。用于解码器的交叉注意力。
• inputs_embeds (torch.FloatTensor 形状为 (batch_size, sequence_length, hidden_size), 可选) — 或者，您可以选择直接传递图像的扁平化表示，而不是传递扁平化特征图（主干网络 + 投影层的输出）。
• decoder_inputs_embeds (torch.FloatTensor 形状为 (batch_size, num_queries, hidden_size), 可选) — 或者，您可以选择直接传递嵌入表示，而不是使用零张量初始化查询。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通的元组。

一个 transformers.models.deprecated.deta.modeling_deta.DetaModelOutput 或一个 torch.FloatTensor 的元组（如果传入 return_dict=False 或当 config.return_dict=False 时）包含根据配置（DetaConfig）和输入的不同元素。

• init_reference_points (torch.FloatTensor 形状为 (batch_size, num_queries, 4)) — 发送到 Transformer 解码器的初始参考点。
• last_hidden_state (torch.FloatTensor 形状为 (batch_size, num_queries, hidden_size)) — 模型解码器最后一层输出的隐藏状态序列。
• intermediate_hidden_states (torch.FloatTensor 形状为 (batch_size, config.decoder_layers, num_queries, hidden_size)) — 堆叠的中间隐藏状态（解码器每一层的输出）。
• intermediate_reference_points (torch.FloatTensor 形状为 (batch_size, config.decoder_layers, num_queries, 4)) — 堆叠的中间参考点（解码器每一层的参考点）。
• decoder_hidden_states (tuple(torch.FloatTensor), 可选，当传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入的输出 + 一个用于每一层的输出），形状为 (batch_size, num_queries, hidden_size)。解码器在每一层输出的隐藏状态加上初始嵌入输出。
• decoder_attentions (tuple(torch.FloatTensor), 可选，当传入 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每一层一个），形状为 (batch_size, num_heads, num_queries, num_queries)。解码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
• cross_attentions (tuple(torch.FloatTensor), 可选，当传入 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每一层一个），形状为 (batch_size, num_queries, num_heads, 4, 4)。解码器交叉注意力层的注意力权重，在注意力 softmax 之后，用于计算交叉注意力头中的加权平均值。
• encoder_last_hidden_state (torch.FloatTensor 形状为 (batch_size, sequence_length, hidden_size), 可选) — 模型编码器最后一层输出的隐藏状态序列。
• encoder_hidden_states (tuple(torch.FloatTensor), 可选，当传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入的输出 + 一个用于每一层的输出），形状为 (batch_size, sequence_length, hidden_size)。编码器在每一层输出的隐藏状态加上初始嵌入输出。
• encoder_attentions (tuple(torch.FloatTensor), 可选，当传入 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每一层一个），形状为 (batch_size, num_queries, num_heads, 4, 4)。编码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
• enc_outputs_class (torch.FloatTensor 形状为 (batch_size, sequence_length, config.num_labels), 可选，当 config.with_box_refine=True 和 config.two_stage=True 时返回) — 预测的边界框分数，其中得分最高的 config.two_stage_num_proposals 个边界框在第一阶段被选为区域建议。边界框二分类的输出（即前景和背景）。
• enc_outputs_coord_logits (torch.FloatTensor 形状为 (batch_size, sequence_length, 4), 可选，当 config.with_box_refine=True 和 config.two_stage=True 时返回) — 第一阶段预测的边界框坐标的对数。
• output_proposals (torch.FloatTensor 形状为 (batch_size, sequence_length, 4), 可选，当 config.two_stage=True 时返回) — gen_encoder_output_proposals 中建议边界框坐标的对数。

参数

• pixel_values (torch.FloatTensor 形状为 (batch_size, num_channels, height, width)) — 像素值。 如果提供填充，默认情况下将忽略它。

  像素值可以使用 AutoImageProcessor 获取。 请参阅 AutoImageProcessor.__call__() 了解更多详细信息。

• pixel_mask (torch.LongTensor 形状为 (batch_size, height, width), 可选) — 蒙版，用于避免对填充像素值执行注意力。 在 [0, 1] 中选择的蒙版值：
  • 1 表示真实的像素（即 未被屏蔽），
  • 0 表示填充像素（即 被屏蔽）。

  什么是注意力蒙版？

• decoder_attention_mask (torch.FloatTensor 形状为 (batch_size, num_queries), 可选) — 默认情况下不使用。 可以用来屏蔽目标查询。
• encoder_outputs (tuple(tuple(torch.FloatTensor), 可选) — 元组由 (last_hidden_state, 可选: hidden_states, 可选: attentions) 组成。last_hidden_state 形状为 (batch_size, sequence_length, hidden_size)，可选) 是编码器最后一层输出的隐藏状态序列。用于解码器的交叉注意力。
• inputs_embeds (torch.FloatTensor 形状为 (batch_size, sequence_length, hidden_size), 可选) — 或者，您可以选择直接传递图像的扁平化表示，而不是传递扁平化特征图（主干 + 投影层的输出）。
• decoder_inputs_embeds (torch.FloatTensor 形状为 (batch_size, num_queries, hidden_size), 可选) — 或者，您可以选择直接传递嵌入表示，而不是使用零张量初始化查询。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。
• labels (长度为 (batch_size,) 的 List[Dict], 可选) — 用于计算二分匹配损失的标签。字典列表，每个字典至少包含以下 2 个键：'class_labels' 和 'boxes'（分别为批次中图像的类别标签和边界框）。类别标签本身应为长度为 (图像中边界框的数量,) 的 torch.LongTensor，边界框应为形状为 (图像中边界框的数量, 4) 的 torch.FloatTensor。

一个 transformers.models.deprecated.deta.modeling_deta.DetaObjectDetectionOutput 或一个 torch.FloatTensor 的元组（如果传入 return_dict=False 或当 config.return_dict=False 时），包含根据配置 (DetaConfig) 和输入的不同元素。

• loss (torch.FloatTensor ，形状为 (1,)，可选，当提供 labels 时返回) — 作为类别预测的负对数似然（交叉熵）和边界框损失的线性组合的总损失。后者定义为 L1 损失和广义尺度不变 IoU 损失的线性组合。
• loss_dict (Dict，可选) — 包含各个损失的字典。对日志记录很有用。
• logits (torch.FloatTensor ，形状为 (batch_size, num_queries, num_classes + 1)) — 所有查询的分类 logits（包括无对象）。
• pred_boxes (torch.FloatTensor ，形状为 (batch_size, num_queries, 4)) — 所有查询的归一化框坐标，表示为 (center_x, center_y, width, height)。这些值在 [0, 1] 范围内进行归一化，相对于批次中每个图像的大小（忽略可能的填充）。您可以使用 ~DetaProcessor.post_process_object_detection 检索未归一化的边界框。
• auxiliary_outputs (list[Dict]，可选) — 可选，仅当激活辅助损失（即 config.auxiliary_loss 设置为 True）并提供标签时返回。它是一个字典列表，包含每个解码器层的上述两个键（logits 和 pred_boxes）。
• last_hidden_state (torch.FloatTensor ，形状为 (batch_size, num_queries, hidden_size)，可选) — 模型解码器最后一层输出的隐藏状态序列。
• decoder_hidden_states (tuple(torch.FloatTensor), 可选，当传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入的输出 + 一个用于每一层的输出），形状为 (batch_size, num_queries, hidden_size)。解码器在每一层输出的隐藏状态加上初始嵌入输出。
• decoder_attentions (tuple(torch.FloatTensor), 可选，当传入 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每一层一个），形状为 (batch_size, num_heads, num_queries, num_queries)。解码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
• cross_attentions (tuple(torch.FloatTensor), 可选，当传入 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每一层一个），形状为 (batch_size, num_queries, num_heads, 4, 4)。解码器交叉注意力层的注意力权重，在注意力 softmax 之后，用于计算交叉注意力头中的加权平均值。
• encoder_last_hidden_state (torch.FloatTensor 形状为 (batch_size, sequence_length, hidden_size), 可选) — 模型编码器最后一层输出的隐藏状态序列。
• encoder_hidden_states (tuple(torch.FloatTensor), 可选，当传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入的输出 + 一个用于每一层的输出），形状为 (batch_size, sequence_length, hidden_size)。编码器在每一层输出的隐藏状态加上初始嵌入输出。
• encoder_attentions (tuple(torch.FloatTensor)，可选，当传入 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, sequence_length, num_heads, 4, 4)。编码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
• intermediate_hidden_states (torch.FloatTensor 形状为 (batch_size, config.decoder_layers, num_queries, hidden_size)) — 堆叠的中间隐藏状态（解码器每一层的输出）。
• intermediate_reference_points (torch.FloatTensor 形状为 (batch_size, config.decoder_layers, num_queries, 4)) — 堆叠的中间参考点（解码器每一层的参考点）。
• init_reference_points (torch.FloatTensor 形状为 (batch_size, num_queries, 4)) — 发送到 Transformer 解码器的初始参考点。
• enc_outputs_class (torch.FloatTensor 形状为 (batch_size, sequence_length, config.num_labels), 可选，当 config.with_box_refine=True 和 config.two_stage=True 时返回) — 预测的边界框分数，其中得分最高的 config.two_stage_num_proposals 个边界框在第一阶段被选为区域建议。边界框二分类的输出（即前景和背景）。
• enc_outputs_coord_logits (torch.FloatTensor 形状为 (batch_size, sequence_length, 4), 可选，当 config.with_box_refine=True 和 config.two_stage=True 时返回) — 第一阶段预测的边界框坐标的对数。
• output_proposals (torch.FloatTensor 形状为 (batch_size, sequence_length, 4), 可选，当 config.two_stage=True 时返回) — gen_encoder_output_proposals 中建议边界框坐标的对数。