DETR

概述

DETR 模型在 End-to-End Object Detection with Transformers 中由 Nicolas Carion、Francisco Massa、Gabriel Synnaeve、Nicolas Usunier、Alexander Kirillov 和 Sergey Zagoruyko 提出。DETR 由卷积骨干网络和编码器-解码器 Transformer 组成，可以端到端地训练以进行物体检测。它极大地简化了像 Faster-R-CNN 和 Mask-R-CNN 这样模型的复杂性，这些模型使用了诸如区域提议、非极大值抑制程序和锚点生成之类的东西。此外，通过在解码器输出之上简单地添加一个掩码头，DETR 还可以自然地扩展以执行全景分割。

该论文的摘要如下：

我们提出了一种新方法，该方法将物体检测视为直接的集合预测问题。我们的方法简化了检测流程，有效地消除了对许多手工设计组件的需求，例如非极大值抑制程序或锚点生成，这些组件明确地编码了我们关于任务的先验知识。名为 DEtection TRansformer 或 DETR 的新框架的主要成分是基于集合的全局损失，该损失通过二分匹配强制执行唯一预测，以及 transformer 编码器-解码器架构。给定一组固定的小型学习对象查询，DETR 推理对象的关系和全局图像上下文，以并行直接输出最终的预测集。与许多其他现代检测器不同，新模型在概念上很简单，并且不需要专门的库。在具有挑战性的 COCO 物体检测数据集上，DETR 展示了与已建立且高度优化的 Faster RCNN 基线相当的准确性和运行时性能。此外，DETR 可以轻松地推广以统一的方式生成全景分割。我们表明，它显着优于竞争基线。

此模型由 nielsr 贡献。原始代码可以在这里找到。

DETR 的工作原理

这是一个 TLDR，解释了 DetrForObjectDetection 的工作原理

首先，图像通过预训练的卷积骨干网络（在论文中，作者使用 ResNet-50/ResNet-101）。假设我们也添加了一个批次维度。这意味着骨干网络的输入是形状为 (batch_size, 3, height, width) 的张量，假设图像有 3 个颜色通道 (RGB)。CNN 骨干网络输出一个新的较低分辨率的特征图，通常形状为 (batch_size, 2048, height/32, width/32)。然后将其投影以匹配 DETR 的 Transformer 的隐藏维度，默认情况下为 256，使用 nn.Conv2D 层。所以现在，我们有一个形状为 (batch_size, 256, height/32, width/32) 的张量。接下来，特征图被展平并转置以获得形状为 (batch_size, seq_len, d_model) = (batch_size, width/32*height/32, 256) 的张量。因此，与 NLP 模型的不同之处在于，序列长度实际上比平时更长，但 d_model 更小（在 NLP 中，通常为 768 或更高）。

接下来，这被发送到编码器，输出相同形状的 encoder_hidden_states（您可以将这些视为图像特征）。接下来，所谓的对象查询被发送到解码器。这是一个形状为 (batch_size, num_queries, d_model) 的张量，其中 num_queries 通常设置为 100 并初始化为零。这些输入嵌入是学习到的位置编码，作者将其称为对象查询，并且与编码器类似，它们被添加到每个注意力层的输入中。每个对象查询都将在图像中查找特定对象。解码器通过多个自注意力层和编码器-解码器注意力层更新这些嵌入，以输出相同形状的 decoder_hidden_states：(batch_size, num_queries, d_model)。接下来，在顶部添加两个头用于对象检测：一个线性层，用于将每个对象查询分类为对象之一或“无对象”，以及一个 MLP，用于预测每个查询的边界框。

该模型使用二分匹配损失进行训练：因此我们实际上做的是将 N = 100 个对象查询中的每一个的预测类别 + 边界框与 ground truth 注释进行比较，填充到相同的长度 N（因此，如果图像仅包含 4 个对象，则 96 个注释将仅具有“无对象”作为类别，并将“无边界框”作为边界框）。匈牙利匹配算法用于找到每个 N 个查询到每个 N 个注释的最佳一对一映射。接下来，使用标准交叉熵（对于类别）和 L1 和 generalized IoU loss 的线性组合（对于边界框）来优化模型的参数。

DETR 可以自然地扩展以执行全景分割（它统一了语义分割和实例分割）。DetrForSegmentation 在 DetrForObjectDetection 之上添加了一个分割掩码头。掩码头可以联合训练，也可以分两个步骤进行，其中首先训练一个 DetrForObjectDetection 模型来检测“事物”（实例）和“东西”（背景事物，如树木、道路、天空）周围的边界框，然后冻结所有权重并仅训练掩码头 25 个 epoch。实验表明，这两种方法给出相似的结果。请注意，预测框是训练成为可能的必要条件，因为匈牙利匹配是使用框之间的距离计算的。

使用技巧

DETR 使用所谓的对象查询来检测图像中的对象。查询的数量决定了单个图像中可以检测到的最大对象数量，默认情况下设置为 100（请参阅 DetrConfig 的参数 num_queries）。请注意，最好有一些余量（在 COCO 中，作者使用了 100，而 COCO 图像中对象的最大数量约为 70）。
DETR 的解码器并行更新查询嵌入。这与像 GPT-2 这样的语言模型不同，后者使用自回归解码而不是并行解码。因此，不使用因果注意力掩码。
DETR 在投影到查询和键之前，在每个自注意力层和交叉注意力层将位置嵌入添加到隐藏状态。对于图像的位置嵌入，可以选择固定正弦或学习的绝对位置嵌入。默认情况下，DetrConfig 的参数 position_embedding_type 设置为 "sine"。
在训练期间，DETR 的作者发现使用解码器中的辅助损失很有帮助，尤其是帮助模型输出每个类别的正确对象数量。如果您将 DetrConfig 的参数 auxiliary_loss 设置为 True，则在每个解码器层之后添加预测前馈神经网络和匈牙利损失（FFN 共享参数）。
如果要在跨多个节点的分布式环境中训练模型，则应更新 modeling_detr.py 的 DetrLoss 类中的 num_boxes 变量。在多个节点上训练时，这应设置为所有节点的目标框的平均数量，正如在原始实现此处中看到的那样。
DetrForObjectDetection 和 DetrForSegmentation 可以使用 timm 库中提供的任何卷积骨干网络进行初始化。例如，使用 MobileNet 骨干网络进行初始化可以通过将 DetrConfig 的 backbone 属性设置为 "tf_mobilenetv3_small_075"，然后使用该配置初始化模型来完成。
DETR 调整输入图像的大小，使得最短边至少为一定像素量，而最长边最多为 1333 像素。在训练时，使用尺度增强，使得最短边随机设置为至少 480 像素，最多 800 像素。在推理时，最短边设置为 800。可以使用 DetrImageProcessor 来为模型准备图像（以及 COCO 格式的可选注释）。由于这种调整大小，批次中的图像可以具有不同的大小。DETR 通过将图像填充到批次中的最大尺寸，并创建一个像素掩码来指示哪些像素是真实的/哪些是填充像素来解决此问题。或者，您还可以定义一个自定义 collate_fn 以将图像批量处理在一起，使用 ~transformers.DetrImageProcessor.pad_and_create_pixel_mask。
图像的大小将决定使用的内存量，并因此决定 batch_size。建议每个 GPU 使用 2 的批次大小。有关更多信息，请参阅此 Github 线程。

有三种实例化 DETR 模型的方法（取决于您的偏好）

选项 1：使用整个模型的预训练权重实例化 DETR

>>> from transformers import DetrForObjectDetection

>>> model = DetrForObjectDetection.from_pretrained("facebook/detr-resnet-50")

选项 2：使用 Transformer 的随机初始化的权重实例化 DETR，但使用骨干网络的预训练权重

>>> from transformers import DetrConfig, DetrForObjectDetection

>>> config = DetrConfig()
>>> model = DetrForObjectDetection(config)

选项 3：使用骨干网络 + Transformer 的随机初始化的权重实例化 DETR

>>> config = DetrConfig(use_pretrained_backbone=False)
>>> model = DetrForObjectDetection(config)

作为总结，请考虑下表

任务	物体检测	实例分割	全景分割
描述	预测图像中物体周围的边界框和类别标签	预测图像中物体（即实例）周围的掩码	预测图像中物体（即实例）以及“东西”（即背景事物，如树木和道路）周围的掩码
模型	DetrForObjectDetection	DetrForSegmentation	DetrForSegmentation
示例数据集	COCO 检测	COCO 检测，COCO 全景	COCO 全景
提供给 DetrImageProcessor 的注释格式	{‘image_id’: `int`, ‘annotations’: `List[Dict]`} 每个 Dict 都是 COCO 对象注释	{‘image_id’: `int`, ‘annotations’: `List[Dict]`}（在 COCO 检测的情况下）或 {‘file_name’: `str`, ‘image_id’: `int`, ‘segments_info’: `List[Dict]`}（在 COCO 全景的情况下）	{‘file_name’: `str`, ‘image_id’: `int`, ‘segments_info’: `List[Dict]`} 和 masks_path（包含掩码 PNG 文件的目录路径）
后处理（即将模型输出转换为 Pascal VOC 格式）	`post_process()`	`post_process_segmentation()`	`post_process_segmentation()`, `post_process_panoptic()`
评估器	`CocoEvaluator`，`iou_types="bbox"`	`CocoEvaluator`，`iou_types="bbox"` 或 `"segm"`	`CocoEvaluator`，`iou_tupes="bbox"` 或 `"segm"`，`PanopticEvaluator`

简而言之，应该以 COCO 检测或 COCO 全景格式准备数据，然后使用 DetrImageProcessor 创建 pixel_values、pixel_mask 和可选的 labels，然后可以使用它们来训练（或微调）模型。对于评估，应首先使用 DetrImageProcessor 的后处理方法之一转换模型输出。这些可以提供给 CocoEvaluator 或 PanopticEvaluator，它们允许您计算诸如平均平均精度 (mAP) 和全景质量 (PQ) 之类的指标。后两个对象在原始存储库中实现。有关评估的更多信息，请参阅示例笔记本。

资源

官方 Hugging Face 和社区（🌎 表示）资源列表，可帮助您开始使用 DETR。

物体检测

所有示例笔记本，说明如何微调自定义数据集上的 DetrForObjectDetection 和 DetrForSegmentation，可以在此处找到。
使用 Trainer 或 Accelerate 微调 DetrForObjectDetection 的脚本可以在此处找到。
另请参阅：物体检测任务指南。

如果您有兴趣提交资源以包含在此处，请随时打开 Pull Request，我们将对其进行审核！该资源理想情况下应展示一些新的东西，而不是重复现有资源。

DetrConfig

类 transformers.DetrConfig

< 源代码 >

( use_timm_backbone = True backbone_config = None num_channels = 3 num_queries = 100 encoder_layers = 6 encoder_ffn_dim = 2048 encoder_attention_heads = 8 decoder_layers = 6 decoder_ffn_dim = 2048 decoder_attention_heads = 8 encoder_layerdrop = 0.0 decoder_layerdrop = 0.0 is_encoder_decoder = True activation_function = 'relu' d_model = 256 dropout = 0.1 attention_dropout = 0.0 activation_dropout = 0.0 init_std = 0.02 init_xavier_std = 1.0 auxiliary_loss = False position_embedding_type = 'sine' backbone = 'resnet50' use_pretrained_backbone = True backbone_kwargs = None dilation = False class_cost = 1 bbox_cost = 5 giou_cost = 2 mask_loss_coefficient = 1 dice_loss_coefficient = 1 bbox_loss_coefficient = 5 giou_loss_coefficient = 2 eos_coefficient = 0.1 **kwargs )

参数

use_timm_backbone (bool, 可选, 默认为 True) — 是否使用 timm 库作为 backbone。如果设置为 False，将使用 AutoBackbone API。
backbone_config (PretrainedConfig 或 dict, 可选) — backbone 模型的配置。仅在 use_timm_backbone 设置为 False 时使用，在这种情况下，它将默认为 ResNetConfig()。
num_channels (int, 可选, 默认为 3) — 输入通道的数量。
num_queries (int, 可选, 默认为 100) — 对象查询的数量，即检测槽的数量。这是 DetrModel 在单张图像中可以检测到的最大对象数量。对于 COCO，我们建议使用 100 个查询。
d_model (int, 可选, 默认为 256) — 此参数是一个通用维度参数，用于定义组件的维度，例如编码器层和解码器层中的投影参数等。
encoder_layers (int, 可选, 默认为 6) — 编码器层数。
decoder_layers (int, 可选, 默认为 6) — 解码器层数。
encoder_attention_heads (int, 可选, 默认为 8) — Transformer 编码器中每个注意力层的注意力头数。
decoder_attention_heads (int, 可选, 默认为 8) — Transformer 解码器中每个注意力层的注意力头数。
decoder_ffn_dim (int, 可选, 默认为 2048) — 解码器中“中间”（通常称为前馈）层的维度。
encoder_ffn_dim (int, 可选, 默认为 2048) — 解码器中“中间”（通常称为前馈）层的维度。
activation_function (str 或 function, 可选, 默认为 "relu") — 编码器和池化器中的非线性激活函数（函数或字符串）。如果为字符串，则支持 "gelu"、"relu"、"silu" 和 "gelu_new"。
dropout (float, 可选, 默认为 0.1) — 嵌入层、编码器和池化器中所有全连接层的 dropout 概率。
attention_dropout (float, 可选, 默认为 0.0) — 注意力概率的 dropout 比率。
activation_dropout (float, 可选, 默认为 0.0) — 全连接层内部激活的 dropout 比率。
init_std (float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。
init_xavier_std (float, 可选, 默认为 1) — 用于 HM Attention map 模块中 Xavier 初始化增益的缩放因子。
encoder_layerdrop (float, 可选, 默认为 0.0) — 编码器的 LayerDrop 概率。有关更多详细信息，请参见 [LayerDrop 论文](see https://arxiv.org/abs/1909.11556)。
decoder_layerdrop (float, 可选, 默认为 0.0) — 解码器的 LayerDrop 概率。有关更多详细信息，请参见 [LayerDrop 论文](see https://arxiv.org/abs/1909.11556)。
auxiliary_loss (bool, 可选, 默认为 False) — 是否使用辅助解码损失（每个解码器层的损失）。
position_embedding_type (str, 可选, 默认为 "sine") — 要在图像特征之上使用的位置嵌入类型。 "sine" 或 "learned" 之一。
backbone (str, 可选, 默认为 "resnet50") — 当 backbone_config 为 None 时要使用的 backbone 名称。如果 use_pretrained_backbone 为 True，这将从 timm 或 transformers 库加载相应的预训练权重。如果 use_pretrained_backbone 为 False，这将加载 backbone 的配置并使用它来初始化具有随机权重的 backbone。
use_pretrained_backbone (bool, 可选, True) — 是否对 backbone 使用预训练权重。
backbone_kwargs (dict, 可选) — 从检查点加载时要传递给 AutoBackbone 的关键字参数，例如 {'out_indices': (0, 1, 2, 3)}。如果设置了 backbone_config，则无法指定。
dilation (bool, 可选, 默认为 False) — 是否在最后一个卷积块 (DC5) 中用空洞卷积替换步幅。仅当 use_timm_backbone = True 时才支持。
class_cost (float, 可选, 默认为 1) — 匈牙利匹配代价中分类错误的相对权重。
bbox_cost (float, 可选, 默认为 5) — 匈牙利匹配代价中边界框坐标 L1 误差的相对权重。
giou_cost (float, 可选, 默认为 2) — 匈牙利匹配代价中边界框的广义 IoU 损失的相对权重。
mask_loss_coefficient (float, 可选, 默认为 1) — 全景分割损失中 Focal 损失的相对权重。
dice_loss_coefficient (float, 可选, 默认为 1) — 全景分割损失中 DICE/F-1 损失的相对权重。
bbox_loss_coefficient (float, 可选, 默认为 5) — 对象检测损失中 L1 边界框损失的相对权重。
giou_loss_coefficient (float, 可选, 默认为 2) — 对象检测损失中广义 IoU 损失的相对权重。
eos_coefficient (float, 可选, 默认为 0.1) — 对象检测损失中 ‘无对象’ 类别分类的相对权重。

这是用于存储 DetrModel 配置的配置类。它用于根据指定的参数实例化 DETR 模型，定义模型架构。使用默认值实例化配置将产生与 DETR facebook/detr-resnet-50 架构类似的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请阅读 PretrainedConfig 中的文档。

示例

>>> from transformers import DetrConfig, DetrModel

>>> # Initializing a DETR facebook/detr-resnet-50 style configuration
>>> configuration = DetrConfig()

>>> # Initializing a model (with random weights) from the facebook/detr-resnet-50 style configuration
>>> model = DetrModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

Transformers

DETR

概述

DETR 的工作原理

使用技巧

资源

DetrConfig

类 transformers.DetrConfig

from_backbone_config

DetrImageProcessor

class transformers.DetrImageProcessor

preprocess

post_process_object_detection

post_process_semantic_segmentation

post_process_instance_segmentation

post_process_panoptic_segmentation

DetrImageProcessorFast

class transformers.DetrImageProcessorFast

preprocess

post_process_object_detection

post_process_semantic_segmentation

post_process_instance_segmentation

post_process_panoptic_segmentation

DetrFeatureExtractor

class transformers.DetrFeatureExtractor

__call__

post_process_object_detection

post_process_semantic_segmentation

post_process_instance_segmentation

post_process_panoptic_segmentation

DETR 特定输出

class transformers.models.detr.modeling_detr.DetrModelOutput

class transformers.models.detr.modeling_detr.DetrObjectDetectionOutput

class transformers.models.detr.modeling_detr.DetrSegmentationOutput

DetrModel

class transformers.DetrModel

forward

DetrForObjectDetection

class transformers.DetrForObjectDetection

forward

DetrForSegmentation

class transformers.DetrForSegmentation

forward

call