参数

• images (ImageInput) — 预处理前的图像或图像批量。期望输入像素值介于0到255的单个或图像批量。如果传递像素值介于0到1之间的图像，设置do_rescale=False。
• annotations (AnnotationType 或 List[AnnotationType]，可选) — 与图像或图像批量相关联的注释列表。如果注释是为了物体检测，则注释应包含以下键的字典：
  • “image_id” (int)：图像id。
  • “annotations” (List[Dict])：图像的注释列表。每个注释应是一个字典。图像可以没有注释，在这种情况下列表应为空。如果注释是为了分割，则注释应包含以下键的字典：
  • “image_id” (int)：图像id。
  • “segments_info” (List[Dict])：图像的分割列表。每个分割应是一个字典。图像可以没有分割，在这种情况下列表应为空。
  • “file_name” (str)：图像的文件名。
• return_segmentation_masks (bool，可选，默认为self.return_segmentation_masks) — 是否返回分割掩码。
• masks_path（《字符串》或《pathlib.Path》，可选）—— 包含分割蒙版的目录路径。
• do_resize（《布尔型》，可选，默认为self.do_resize）—— 是否调整图像大小。
• size（《字典[str, int]》，可选，默认为self.size）—— 调整后图像的(高度, 宽度)尺寸。可用选项包括：
  • {"height": int, "width": int}：图像将被调整为精确大小(高度, 宽度)。不要保持宽高比。
  • {"shortest_edge": int, "longest_edge": int}：图像将被调整到最大尺寸，同时保持宽高比，最短边不大于shortest_edge，最长边不大于longest_edge。
  • {"max_height": int, "max_width": int}：图像将被调整到最大尺寸，同时保持宽高比，高度不大于max_height，宽度不大于max_width。
• resample （PILImageResampling，可选，默认为 self.resample）—— 在调整图像大小时使用的重采样过滤器。
• do_rescale （bool，可选，默认为 self.do_rescale）—— 是否重缩放图像。
• rescale_factor （float，可选，默认为 self.rescale_factor）—— 重缩放图像时使用的缩放因子。
• do_normalize （bool，可选，默认为 self.do_normalize）—— 是否标准化图像。
• do_pad (bool, 可选，默认为 self.do_pad) — 是否对图像进行填充。如果为 True，将在图像底部和右侧用零填充。如果提供 pad_size，则将图像填充到指定的尺寸。否则，图像将填充到批次的最大高度和宽度。
• format (str 或 AnnotationFormat, 可选，默认为 self.format) — 标注的格式。
• return_tensors (str 或 TensorType, 可选，默认为 self.return_tensors) — 返回张量类型。如果为 None，将返回图像列表。
• data_format (ChannelDimension 或 str，可选，默认为 ChannelDimension.FIRST) — 输出图像的通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
  • 未设置：使用输入图像的通道维度格式。
• input_data_format (ChannelDimension 或 str，可选) — 输入图像的通道维度格式。如果未设置，则从输入图像中推断通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
  • "none" 或 ChannelDimension.NONE：图像格式为 (height, width)。
• pad_size (Dict[str, int]，可选) — 填充图像到指定的 {"height": int, "width" int} 大小。必须大于任何预处理提供的图像大小。如果未提供 pad_size，图像将被填充到批处理中的最大高度和宽度。

参数

• outputs (DetrObjectDetectionOutput) — 模型的原始输出。
• threshold (float, 可选) — 用于保持物体检测预测的分数阈值。
• target_sizes (torch.Tensor 或 List[Tuple[int, int]]，可选）—— 形状为 (batch_size, 2) 的 Tensor 或包含每个批次中图像目标尺寸（高度，宽度）的元组列表。如果设置为 None，则不调整预测的大小。
• top_k （整型，可选，默认为 100）—— 在以阈值过滤之前，仅保留 top k 个边界框。

一个字典列表，每个字典包含由模型预测的批次中每个图像的分数、标签和边界框。

参数

• outputs (DetrObjectDetectionOutput) —— 模型的原始输出。
• threshold (float, 可选) —— 保留对象检测预测的得分阈值。
• target_sizes (torch.Tensor 或 List[Tuple[int, int]], 可选) —— 形状为 (batch_size, 2) 的 Tensor 或包含每张图像目标大小（高度，宽度）的元组的列表。如果设置为 None，则预测不会被调整大小。
• top_k (int, 可选, 默认为 100) —— 在阈值过滤之前仅保留前 k 个边界框。

一个字典列表，每个字典包含由模型预测的批次中每个图像的分数、标签和边界框。

参数

• pixel_values (torch.FloatTensor 形状 (batch_size, num_channels, height, width)) — 像素值。默认情况下，如果提供了填充值，将忽略填充。
• pixel_mask (torch.LongTensor 形状 (batch_size, height, width)，可选) — 用于避免在填充像素值上执行注意力的掩码。掩码值选择在 [0, 1]：
  • 1 对于实际像素（即未掩码），
  • 0 对于填充像素（即掩码）。

  注意力掩码是什么？

• decoder_attention_mask (torch.FloatTensor 形状为 (batch_size, num_queries)，可选）— 默认情况下未使用。可用于屏蔽对象查询。
• encoder_outputs (tuple(tuple(torch.FloatTensor)，可选）— Tuple 包含 last_hidden_state、可选: hidden_states、可选: attentions) last_hidden_state 形状为 (batch_size, sequence_length, hidden_size)，可选）是编码器最后层输出的隐藏状态序列。用于解码器的交叉注意力。
• inputs_embeds (torch.FloatTensor 形状为 (batch_size, sequence_length, hidden_size)，可选）— 可选地，你可以直接传递图像的扁平表示（而不是通过骨架网络 + 投影层的平坦特征图），而不是传递展开的特征图。
• decoder_inputs_embeds (torch.FloatTensordimensions(batch_size, num_queries, hidden_size)，可选）— 可以选择不使用零张量初始化查询，而是直接传递嵌入表示。
• output_attentions (bool，可选）— 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选）— 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回ModelOutput而不是普通元组。

一个transformers.models.deformable_detr.modeling_deformable_detr.DeformableDetrModelOutput，或者一个torch.FloatTensor的元组（如果传递了return_dict=False或者当配置文件config.return_dict=False时），包含根据配置（如DeformableDetrConfig）和输入确定的各种元素。

• init_reference_points (torch.FloatTensor形状为(batch_size, num_queries, 4)) — 通过Transformer解码器发送的初始参考点。
• last_hidden_state (torch.FloatTensor形状为(batch_size, num_queries, hidden_size)) — 模型解码器最后一个层次的输出处的隐藏状态序列。
• intermediate_hidden_states (torch.FloatTensor形状为(batch_size, decoder_layers, num_queries, hidden_size)) — 堆叠的中间隐藏状态（解码器每一层的输出）。
• intermediate_reference_points (torch.FloatTensor形状为(batch_size, decoder_layers, num_queries, 4)) — 堆叠的中间参考点（解码器每一层的参考点）。
• decoder_hidden_states (tuple(torch.FloatTensor)，可选，在传递了output_hidden_states=True或当配置文件config.output_hidden_states=True时返回) — 一个由形状为(batch_size, num_queries, hidden_size)的torch.FloatTensor组成的元组（一个用于嵌入输出，一个用于每层的输出）。解码器在每个层次输出后的隐藏状态以及初始嵌入输出。
• decoder_attentions (tuple(torch.FloatTensor)，可选，在传递了output_attentions=True或当配置文件config.output_attentions=True时返回) — 一个形状为(batch_size, num_heads, num_queries, num_queries)的torch.FloatTensor的元组（每层一个）。解码器在关注softmax后的注意力权重，用于在自注意力头中计算加权平均。
• cross_attentions (tuple(torch.FloatTensor)，可选，在传递了output_attentions=True或当配置文件config.output_attentions=True时返回) — 一个形状为(batch_size, num_queries, num_heads, 4, 4)的torch.FloatTensor的元组（每层一个）。解码器交叉注意力层的注意力权重，在注意力softmax后使用，用于在交叉注意力头中计算加权平均。
• encoder_last_hidden_state (torch.FloatTensor形状为(batch_size, sequence_length, hidden_size)，可选) — 模型编码器最后一个层次的输出处的隐藏状态序列。
• encoder_hidden_states (tuple(torch.FloatTensor)，可选，在传递了output_hidden_states=True或当配置文件config.output_hidden_states=True时返回) — 一个由形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor组成的元组（一个用于嵌入输出，一个用于每层的输出）。编码器在每个层次输出后的隐藏状态以及初始嵌入输出。
• encoder_attentions (torch.FloatTensor的tuple, 可选, 当传入output_attentions=True或当config.output_attentions=True时返回) — 包含每个层的torch.FloatTensor元组（表征形状为(batch_size, num_queries, num_heads, 4, 4)）。编码器注意力权重，在注意力softmax之后，用于在自注意力头中进行加权平均。
• enc_outputs_class (形状为(batch_size, sequence_length, config.num_labels)的torch.FloatTensor, 可选, 当config.with_box_refine=True和config.two_stage=True时返回) — 在第一阶段中选取前config.two_stage_num_proposals个得分最高的边界框作为区域候选的预测边界框得分。边界框二分类输出（即前景和背景）。
• enc_outputs_coord_logits (形状为(batch_size, sequence_length, 4)的torch.FloatTensor, 可选, 当config.with_box_refine=True和config.two_stage=True时返回) — 第一阶段中预测边界框坐标的对数似然。

参数

• pixel_values (torch.FloatTensor 形状为 (batch_size, num_channels, height, width)) —— 像素值。如果提供填充，则默认忽略填充。

• pixel_mask (torch.LongTensor 形状为 (batch_size, height, width)，可选) —— 用于避免在填充像素值上执行注意力的掩码。掩码值选择在 [0, 1] 之间：

• decoder_attention_mask (torch.FloatTensor 形状为 (batch_size, num_queries)，可选) —— 默认情况下未使用。可以用来屏蔽物体查询。
• encoder_outputs (tuple(tuple(torch.FloatTensor)，可选) —— 包含 (last_hidden_state，可选: hidden_states，可选: attentions) last_hidden_state 形状为 (batch_size, sequence_length, hidden_size)，可选) 是编码器最后层输出的隐藏状态序列。用于解码器的交叉注意力。
• inputs_embeds (torch.FloatTensor 形状为 (batch_size, sequence_length, hidden_size)，可选) —— 可选地，您可以直接传递图像的展平表示，而不是传递平展的特征图（骨干层+投影层的输出）。
• decoder_inputs_embeds (torch.FloatTensor 的形状为 (batch_size, num_queries, hidden_size)，可选) — 可选地，用零的tensor初始化queries而不是直接传递嵌入式表示。
• output_attentions (bool，可选) — 是否返回所有注意力层的所有注意力张量。请参见返回中的 attentions 获取更多详细信息。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。请参见返回中的 hidden_states 获取更多详细信息。
• return_dict (bool，可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。
• labels (List[Dict] of len (batch_size,), optional) — 计算二分匹配损失的标签。字典列表，每个字典至少包含以下2个键：‘class_labels’和‘boxes’（批量中图像的类别标签和边界框）。类别标签本身应为len (number of bounding boxes in the image,)的torch.LongTensor，而边界框为torch.FloatTensor，形状为(number of bounding boxes in the image, 4)。

一个 transformers.models.deformable_detr.modeling_deformable_detr.DeformableDetrObjectDetectionOutput 或一个包含各种元素的元组，这些元素取决于配置（DeformableDetrConfig）和输入的torch.FloatTensor（如果传递了return_dict=False或当config.return_dict=False时）。

• loss (torch.FloatTensor of shape (1,), optional, returned when labels are provided)) — 总损失是类别预测的负对数似然（交叉熵）和边界框损失的线性组合。后者定义为L1损失和广义尺度不变IoU损失的线性组合。
• loss_dict (Dict, optional) — 包含个别损失的字典。用于记录。
• logits (torch.FloatTensor of shape (batch_size, num_queries, num_classes + 1)) — 所有查询的分类logits（包括没有目标）。
• pred_boxes (torch.FloatTensor of shape (batch_size, num_queries, 4)) — 所有查询的归一化边界框坐标，表示为（中心_x，中心_y，宽度，高度）。这些值在[0, 1]范围内归一化，相对于批量中每个图像的大小（不考虑可能的填充）。您可以使用~DeformableDetrProcessor.post_process_object_detection检索未归一化的边界框。
• auxiliary_outputs (list[Dict], optional) — 可选的，只在激活辅助损失（即config.auxiliary_loss设置为True）并提供标签时返回。它是一个列表，其中包含每个解码层上述两个键（logits和pred_boxes）的字典。
• last_hidden_state (torch.FloatTensor of shape (batch_size, num_queries, hidden_size), optional) — 模型解码器最后层的隐藏状态序列。
• decoder_hidden_states (tuple(torch.FloatTensor)，可选，在传递了output_hidden_states=True或当配置文件config.output_hidden_states=True时返回) — 一个由形状为(batch_size, num_queries, hidden_size)的torch.FloatTensor组成的元组（一个用于嵌入输出，一个用于每层的输出）。解码器在每个层次输出后的隐藏状态以及初始嵌入输出。
• decoder_attentions (tuple(torch.FloatTensor)，可选，在传递了output_attentions=True或当配置文件config.output_attentions=True时返回) — 一个形状为(batch_size, num_heads, num_queries, num_queries)的torch.FloatTensor的元组（每层一个）。解码器在关注softmax后的注意力权重，用于在自注意力头中计算加权平均。
• cross_attentions (tuple(torch.FloatTensor)，可选，在传递了output_attentions=True或当配置文件config.output_attentions=True时返回) — 一个形状为(batch_size, num_queries, num_heads, 4, 4)的torch.FloatTensor的元组（每层一个）。解码器交叉注意力层的注意力权重，在注意力softmax后使用，用于在交叉注意力头中计算加权平均。
• encoder_last_hidden_state (torch.FloatTensor形状为(batch_size, sequence_length, hidden_size)，可选) — 模型编码器最后一个层次的输出处的隐藏状态序列。
• encoder_hidden_states (tuple(torch.FloatTensor)，可选，在传递了output_hidden_states=True或当配置文件config.output_hidden_states=True时返回) — 一个由形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor组成的元组（一个用于嵌入输出，一个用于每层的输出）。编码器在每个层次输出后的隐藏状态以及初始嵌入输出。
• encoder_attentions (tuple(torch.FloatTensor), optional, returned when output_attentions=True is passed or when config.output_attentions=True) — 元组，包含每个层的torch.FloatTensor（每个层一个），形状为(batch_size, sequence_length, num_heads, 4, 4)。编码器的注意力权重，在注意力softmax后将用于计算自我注意力头中的加权平均。
• intermediate_hidden_states (torch.FloatTensor形状为(batch_size, decoder_layers, num_queries, hidden_size)) — 堆叠的中间隐藏状态（解码器每一层的输出）。
• intermediate_reference_points (torch.FloatTensor形状为(batch_size, decoder_layers, num_queries, 4)) — 堆叠的中间参考点（解码器每一层的参考点）。
• init_reference_points (torch.FloatTensor形状为(batch_size, num_queries, 4)) — 通过Transformer解码器发送的初始参考点。
• enc_outputs_class (形状为(batch_size, sequence_length, config.num_labels)的torch.FloatTensor, 可选, 当config.with_box_refine=True和config.two_stage=True时返回) — 在第一阶段中选取前config.two_stage_num_proposals个得分最高的边界框作为区域候选的预测边界框得分。边界框二分类输出（即前景和背景）。
• enc_outputs_coord_logits (形状为(batch_size, sequence_length, 4)的torch.FloatTensor, 可选, 当config.with_box_refine=True和config.two_stage=True时返回) — 第一阶段中预测边界框坐标的对数似然。