将 RfDetrForObjectDetection 的原始输出转换为 (top_left_x, top_left_y, bottom_right_x, bottom_right_y) 格式的最终边界框。仅支持 PyTorch。

将 [RfDetrForInstanceSegmentation] 的输出转换为实例分割预测。

RF-DETR 模型的前向传播。流程如下：

1. 从骨干网络的扁平化输出生成一组初始的对象查询嵌入和空间位置提案。
2. 初始化用于精炼编码器阶段预测的存储空间（适应多组查询结构），并迭代精炼每组查询的对象查询及其坐标，以捕获编码器阶段中置信度最高的候选者。
3. 初始化可学习的查询特征和空间参考点（推理时为了效率仅限于主组）。
4. 在批次中投影基础参考点，使用预测的坐标偏移量进行精炼（在解码前将注意力转移到已发现的目标位置），并扩展目标查询特征以匹配批次维度。
5. 将精炼后的查询和更新后的参考点通过解码器 Transformer，从多尺度特征中聚合详细的空间上下文。

• last_hidden_state (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可选，默认为 None) — 模型最后一层输出的隐藏状态序列。

• init_reference_points (torch.FloatTensor, 形状为 (batch_size, num_queries, 4)) — 通过 Transformer 解码器发送的初始参考点。

• intermediate_hidden_states (torch.FloatTensor，形状为 (batch_size, config.decoder_layers, num_queries, d_model)) — 堆叠的中间隐藏状态（解码器每一层的输出）。

• intermediate_reference_points (torch.FloatTensor, 形状为 (batch_size, config.decoder_layers, num_queries, 4)) — 堆叠的中间参考点（解码器每层的参考点）。

• enc_outputs_class (torch.FloatTensor of shape (batch_size, sequence_length, config.num_labels), optional, returned when config.with_box_refine=True and config.two_stage=True) — 在第一阶段中，预测的边界框分数，其中得分最高的 config.two_stage_num_proposals 个边界框被选为区域提案。边界框二分类（即前景和背景）的输出。

• enc_outputs_coord_logits (torch.FloatTensor of shape (batch_size, sequence_length, 4), optional, returned when config.with_box_refine=True and config.two_stage=True) — 第一阶段中预测边界框坐标的对数。

• hidden_states (tuple[torch.FloatTensor, ...]，可选，当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型有嵌入层，则第一个为嵌入输出，其余为每一层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple[torch.FloatTensor, ...]，可选，当传递 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

• cross_attentions (tuple[torch.FloatTensor, ...], optional, 当传入 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  解码器交叉注意力层的注意力权重，在注意力 softmax 之后，用于计算交叉注意力头中的加权平均。

• backbone_features (list of torch.FloatTensor，形状为 (batch_size, config.num_channels, config.image_size, config.image_size)) — 来自骨干网络的特征。

>>> from transformers import AutoImageProcessor, RfDetrModel
>>> from PIL import Image
>>> import requests

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> image_processor = AutoImageProcessor.from_pretrained("Roboflow/rf-detr-base")
>>> model = RfDetrModel.from_pretrained("Roboflow/rf-detr-base")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)

>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 200, 256]

前向传播过程如下：

1. 通过基础 RF-DETR 模型处理视觉输入，以获得 Transformer 的最后隐藏状态和参考点的最终序列。
2. 第一阶段：从编码器提出的对象查询嵌入中生成分类逻辑值（logits）。
3. 第二阶段：使用解码器的最后隐藏状态和最新的参考点预测最终分类标签和精细化后的边界框。

• loss (torch.FloatTensor of shape (1,), optional, 当提供labels时返回)) — 总损失，是类别预测的负对数似然（交叉熵）和边界框损失的线性组合。后者定义为 L1 损失和广义尺度不变 IoU 损失的线性组合。

• loss_dict (Dict, 可选) — 包含各个损失的字典。用于日志记录。

• logits (形状为 (batch_size, num_queries, num_classes + 1) 的 torch.FloatTensor) — 所有查询的分类 logits（包括无对象）。

• pred_boxes (torch.FloatTensor，形状为 (batch_size, num_queries, 4)) — 所有查询的归一化框坐标，表示为 (center_x, center_y, width, height)。这些值相对于批次中每张图像的大小（忽略可能的填充）归一化在 [0, 1] 范围内。您可以使用 ~DeformableDetrProcessor.post_process_object_detection 来检索非归一化的边界框。

• auxiliary_outputs (list[Dict], optional) — 可选，仅在启用了辅助损失（即config.auxiliary_loss设置为True）且提供了标签时返回。它是一个字典列表，包含每个解码器层的上述两个键（logits和pred_boxes）。

• init_reference_points (torch.FloatTensor, 形状为 (batch_size, num_queries, 4)) — 通过 Transformer 解码器发送的初始参考点。

• last_hidden_state (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可选，默认为 None) — 模型最后一层输出的隐藏状态序列。

• intermediate_hidden_states (torch.FloatTensor，形状为 (batch_size, config.decoder_layers, num_queries, d_model)) — 堆叠的中间隐藏状态（解码器每一层的输出）。

• intermediate_reference_points (torch.FloatTensor, 形状为 (batch_size, config.decoder_layers, num_queries, 4)) — 堆叠的中间参考点（解码器每层的参考点）。

• enc_outputs_class (torch.FloatTensor of shape (batch_size, sequence_length, config.num_labels), optional, returned when config.with_box_refine=True and config.two_stage=True) — 在第一阶段中，预测的边界框分数，其中得分最高的 config.two_stage_num_proposals 个边界框被选为区域提案。边界框二分类（即前景和背景）的输出。

• enc_outputs_coord_logits (torch.FloatTensor of shape (batch_size, sequence_length, 4), optional, returned when config.with_box_refine=True and config.two_stage=True) — 第一阶段中预测边界框坐标的对数。

• hidden_states (tuple[torch.FloatTensor, ...]，可选，当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型有嵌入层，则第一个为嵌入输出，其余为每一层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple[torch.FloatTensor, ...]，可选，当传递 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

• cross_attentions (tuple[torch.FloatTensor, ...], optional, 当传入 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  解码器交叉注意力层的注意力权重，在注意力 softmax 之后，用于计算交叉注意力头中的加权平均。

• backbone_features (list of torch.FloatTensor，形状为 (batch_size, config.num_channels, config.image_size, config.image_size)) — 来自骨干网络的特征。

>>> from transformers import AutoImageProcessor, RfDetrForObjectDetection
>>> from PIL import Image
>>> import requests

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> image_processor = AutoImageProcessor.from_pretrained("Roboflow/rf-detr-base")
>>> model = RfDetrForObjectDetection.from_pretrained("Roboflow/rf-detr-base")

>>> inputs = image_processor(images=image, return_tensors="pt")
>>> outputs = model(**inputs)

>>> # convert outputs (bounding boxes and class logits) to Pascal VOC format (xmin, ymin, xmax, ymax)
>>> target_sizes = torch.tensor([image.size[::-1]])
>>> results = image_processor.post_process_object_detection(outputs, threshold=0.5, target_sizes=target_sizes)[
...     0
... ]
>>> for score, label, box in zip(results["scores"], results["labels"], results["boxes"]):
...     box = [round(i, 2) for i in box.tolist()]
...     print(
...         f"Detected {model.config.id2label[label.item()]} with confidence "
...         f"{round(score.item(), 3)} at location {box}"
...     )
Detected cat with confidence 0.8 at location [16.5, 52.84, 318.25, 470.78]
Detected cat with confidence 0.789 at location [342.19, 24.3, 640.02, 372.25]
Detected remote with confidence 0.633 at location [40.79, 72.78, 176.76, 117.25]

用于实例分割的 RF-DETR 模型的前向传播。流程如下：

1. 通过基础 RF-DETR 模型处理视觉输入，以获得多尺度空间特征、查询嵌入及其转换历史。
2. 从编码器提出的对象查询嵌入中生成分类逻辑值和初始分割掩码（第一阶段）。
3. 使用解码器的最后隐藏状态预测最终分类标签和精细化后的边界框（第二阶段）。
4. 将高分辨率空间特征和查询隐藏状态通过分割头，以生成最终的、详细的实例掩码。

RfDetrDinov2Backbone 的 forward 方法，重写了 __call__ 特殊方法。

虽然 forward pass 的实现需要在此函数中定义，但你应该在之后调用 Module 实例而不是这个，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。

• feature_maps (tuple(torch.FloatTensor) of shape (batch_size, num_channels, height, width)) — 阶段的特征图。

• hidden_states (tuple(torch.FloatTensor), optional, returned when output_hidden_states=True is passed or when config.output_hidden_states=True) — torch.FloatTensor 元组（一个用于嵌入输出 + 每个层输出一个）的形状为 (batch_size, sequence_length, hidden_size) 或 (batch_size, num_channels, height, width)，具体取决于主干网络。

  模型在每个阶段输出的隐藏状态以及初始嵌入输出。

• attentions (tuple(torch.FloatTensor), optional, returned when output_attentions=True is passed or when config.output_attentions=True) — torch.FloatTensor 元组（每个层一个）的形状为 (batch_size, num_heads, sequence_length, sequence_length)。仅当主干网络使用注意力时适用。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

>>> from transformers import AutoImageProcessor, AutoBackbone
>>> import torch
>>> from PIL import Image
>>> import requests

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> processor = AutoImageProcessor.from_pretrained("facebook/dinov2-base")
>>> model = AutoBackbone.from_pretrained(
...     "facebook/dinov2-base", out_features=["stage2", "stage5", "stage8", "stage11"]
... )

>>> inputs = processor(image, return_tensors="pt")

>>> outputs = model(**inputs)
>>> feature_maps = outputs.feature_maps
>>> list(feature_maps[-1].shape)
[1, 768, 16, 16]