将 DeformableDetrForObjectDetection 的原始输出转换为 (top_left_x, top_left_y, bottom_right_x, bottom_right_y) 格式的最终边界框。仅支持 PyTorch。

将 DeformableDetrForObjectDetection 的原始输出转换为 (top_left_x, top_left_y, bottom_right_x, bottom_right_y) 格式的最终边界框。仅支持 PyTorch。

DeformableDetrModel 的 forward 方法，覆盖了 __call__ 特殊方法。

虽然 forward pass 的实现需要在此函数中定义，但你应该在之后调用 Module 实例而不是这个，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。

• init_reference_points (torch.FloatTensor, 形状为 (batch_size, num_queries, 4)) — 通过 Transformer 解码器发送的初始参考点。

• last_hidden_state (torch.FloatTensor, 形状为 (batch_size, num_queries, hidden_size)) — 模型解码器最后一层输出的隐藏状态序列。

• intermediate_hidden_states (torch.FloatTensor, 形状为 (batch_size, config.decoder_layers, num_queries, hidden_size)) — 堆叠的中间隐藏状态（解码器每层的输出）。

• intermediate_reference_points (torch.FloatTensor, 形状为 (batch_size, config.decoder_layers, num_queries, 4)) — 堆叠的中间参考点（解码器每层的参考点）。

• decoder_hidden_states (tuple[torch.FloatTensor], 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组（如果模型有嵌入层，则一个用于嵌入层的输出，+ 一个用于每一层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  解码器在每一层输出时的隐藏状态以及初始嵌入输出。

• decoder_attentions (tuple[torch.FloatTensor], 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 元组（每一层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  解码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均。

• cross_attentions (tuple[torch.FloatTensor], 可选，当传入 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  解码器交叉注意力层的注意力权重，在注意力 softmax 之后，用于计算交叉注意力头中的加权平均。

• encoder_last_hidden_state (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可选, 默认为 None) — 模型编码器最后一层输出的隐状态序列。

• encoder_hidden_states (tuple[torch.FloatTensor], 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组（如果模型有嵌入层，则一个用于嵌入层的输出，+ 一个用于每一层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  编码器在每一层输出时的隐藏状态以及初始嵌入输出。

• encoder_attentions (tuple[torch.FloatTensor], 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 元组（每一层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  编码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均。

• enc_outputs_class (torch.FloatTensor of shape (batch_size, sequence_length, config.num_labels), optional, returned when config.with_box_refine=True and config.two_stage=True) — 在第一阶段中，预测的边界框分数，其中得分最高的 config.two_stage_num_proposals 个边界框被选为区域提案。边界框二分类（即前景和背景）的输出。

• enc_outputs_coord_logits (torch.FloatTensor of shape (batch_size, sequence_length, 4), optional, returned when config.with_box_refine=True and config.two_stage=True) — 第一阶段中预测边界框坐标的对数。

>>> from transformers import AutoImageProcessor, DeformableDetrModel
>>> from PIL import Image
>>> import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("SenseTime/deformable-detr")
>>> model = DeformableDetrModel.from_pretrained("SenseTime/deformable-detr")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)

>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 300, 256]

DeformableDetrForObjectDetection 的 forward 方法，重写了 __call__ 特殊方法。

虽然 forward pass 的实现需要在此函数中定义，但你应该在之后调用 Module 实例而不是这个，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。

• loss (torch.FloatTensor of shape (1,), optional, 当提供labels时返回)) — 总损失，是类别预测的负对数似然（交叉熵）和边界框损失的线性组合。后者定义为 L1 损失和广义尺度不变 IoU 损失的线性组合。

• loss_dict (Dict, 可选) — 包含各个损失的字典。用于日志记录。

• logits (形状为 (batch_size, num_queries, num_classes + 1) 的 torch.FloatTensor) — 所有查询的分类 logits（包括无对象）。

• pred_boxes (torch.FloatTensor，形状为 (batch_size, num_queries, 4)) — 所有查询的归一化框坐标，表示为 (center_x, center_y, width, height)。这些值相对于批次中每张图像的大小（忽略可能的填充）归一化在 [0, 1] 范围内。您可以使用 ~DeformableDetrProcessor.post_process_object_detection 来检索非归一化的边界框。

• auxiliary_outputs (list[Dict], optional) — 可选，仅在启用了辅助损失（即config.auxiliary_loss设置为True）且提供了标签时返回。它是一个字典列表，包含每个解码器层的上述两个键（logits和pred_boxes）。

• last_hidden_state (形状为 (batch_size, num_queries, hidden_size) 的 torch.FloatTensor，可选) — 模型解码器最后一层的输出序列隐藏状态。

• decoder_hidden_states (tuple[torch.FloatTensor], 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组（如果模型有嵌入层，则一个用于嵌入层的输出，+ 一个用于每一层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  解码器在每一层输出时的隐藏状态以及初始嵌入输出。

• decoder_attentions (tuple[torch.FloatTensor], 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 元组（每一层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  解码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均。

• cross_attentions (tuple[torch.FloatTensor], 可选，当传入 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  解码器交叉注意力层的注意力权重，在注意力 softmax 之后，用于计算交叉注意力头中的加权平均。

• encoder_last_hidden_state (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可选, 默认为 None) — 模型编码器最后一层输出的隐状态序列。

• encoder_hidden_states (tuple[torch.FloatTensor], 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组（如果模型有嵌入层，则一个用于嵌入层的输出，+ 一个用于每一层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  编码器在每一层输出时的隐藏状态以及初始嵌入输出。

• encoder_attentions (tuple[torch.FloatTensor], 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 元组（每一层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  编码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均。

• init_reference_points (torch.FloatTensor, 形状为 (batch_size, num_queries, 4)) — 通过 Transformer 解码器发送的初始参考点。

• intermediate_hidden_states (torch.FloatTensor, 形状为 (batch_size, config.decoder_layers, num_queries, hidden_size)) — 堆叠的中间隐藏状态（解码器每层的输出）。

• intermediate_reference_points (torch.FloatTensor, 形状为 (batch_size, config.decoder_layers, num_queries, 4)) — 堆叠的中间参考点（解码器每层的参考点）。

• enc_outputs_class (torch.FloatTensor of shape (batch_size, sequence_length, config.num_labels), optional, returned when config.with_box_refine=True and config.two_stage=True) — 在第一阶段中，预测的边界框分数，其中得分最高的 config.two_stage_num_proposals 个边界框被选为区域提案。边界框二分类（即前景和背景）的输出。

• enc_outputs_coord_logits (torch.FloatTensor of shape (batch_size, sequence_length, 4), optional, returned when config.with_box_refine=True and config.two_stage=True) — 第一阶段中预测边界框坐标的对数。

>>> from transformers import AutoImageProcessor, DeformableDetrForObjectDetection
>>> from PIL import Image
>>> import httpx
>>> from io imoprt BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("SenseTime/deformable-detr")
>>> model = DeformableDetrForObjectDetection.from_pretrained("SenseTime/deformable-detr")

>>> inputs = image_processor(images=image, return_tensors="pt")
>>> outputs = model(**inputs)

>>> # convert outputs (bounding boxes and class logits) to Pascal VOC format (xmin, ymin, xmax, ymax)
>>> target_sizes = torch.tensor([image.size[::-1]])
>>> results = image_processor.post_process_object_detection(outputs, threshold=0.5, target_sizes=target_sizes)[
...     0
... ]
>>> for score, label, box in zip(results["scores"], results["labels"], results["boxes"]):
...     box = [round(i, 2) for i in box.tolist()]
...     print(
...         f"Detected {model.config.id2label[label.item()]} with confidence "
...         f"{round(score.item(), 3)} at location {box}"
...     )
Detected cat with confidence 0.8 at location [16.5, 52.84, 318.25, 470.78]
Detected cat with confidence 0.789 at location [342.19, 24.3, 640.02, 372.25]
Detected remote with confidence 0.633 at location [40.79, 72.78, 176.76, 117.25]