Conditional DETR

概述

Conditional DETR 模型由 Depu Meng、Xiaokang Chen、Zejia Fan、Gang Zeng、Houqiang Li、Yuhui Yuan、Lei Sun、Jingdong Wang 在《Conditional DETR for Fast Training Convergence》中提出。Conditional DETR 提出了一种条件交叉注意力机制，用于加速 DETR 训练。Conditional DETR 比 DETR 快 6.7 倍到 10 倍。

论文摘要如下：

最近开发的 DETR 方法将 transformer 编码器和解码器架构应用于目标检测，并取得了可喜的性能。在本文中，我们处理了关键问题，即训练收敛缓慢，并提出了一种用于快速 DETR 训练的条件交叉注意力机制。我们的方法之所以产生，是因为 DETR 中的交叉注意力高度依赖内容嵌入来定位四个极值并预测框，这增加了对高质量内容嵌入的需求，从而增加了训练难度。我们的方法名为 Conditional DETR，它从解码器嵌入中学习条件空间查询，用于解码器多头交叉注意力。这样做的好处是，通过条件空间查询，每个交叉注意力头都能够关注一个包含不同区域的波段，例如一个目标极值或目标框内的区域。这缩小了用于目标分类和框回归的独特区域的定位空间范围，从而减轻了对内容嵌入的依赖，并简化了训练。实验结果表明，Conditional DETR 对于 R50 和 R101 主干网络收敛速度提高了 6.7 倍，对于更强的主干网络 DC5-R50 和 DC5-R101 收敛速度提高了 10 倍。代码可在https://github.com/Atten4Vis/ConditionalDETR获取。

与原始 DETR 相比，Conditional DETR 表现出更快的收敛速度。摘自原始论文。

此模型由DepuMeng贡献。原始代码可在此处找到。

资源

使用 Trainer 或 Accelerate 微调 ConditionalDetrForObjectDetection 的脚本可在此处找到。
另请参阅：目标检测任务指南。

ConditionalDetrConfig

class transformers.ConditionalDetrConfig

< 源 >

( use_timm_backbone = True backbone_config = None num_channels = 3 num_queries = 300 encoder_layers = 6 encoder_ffn_dim = 2048 encoder_attention_heads = 8 decoder_layers = 6 decoder_ffn_dim = 2048 decoder_attention_heads = 8 encoder_layerdrop = 0.0 decoder_layerdrop = 0.0 is_encoder_decoder = True activation_function = 'relu' d_model = 256 dropout = 0.1 attention_dropout = 0.0 activation_dropout = 0.0 init_std = 0.02 init_xavier_std = 1.0 auxiliary_loss = False position_embedding_type = 'sine' backbone = 'resnet50' use_pretrained_backbone = True backbone_kwargs = None dilation = False class_cost = 2 bbox_cost = 5 giou_cost = 2 mask_loss_coefficient = 1 dice_loss_coefficient = 1 cls_loss_coefficient = 2 bbox_loss_coefficient = 5 giou_loss_coefficient = 2 focal_alpha = 0.25 **kwargs )

参数

use_timm_backbone (bool, 可选, 默认为 True) — 是否使用 timm 库作为骨干网络。如果设置为 False，将使用 AutoBackbone API。
backbone_config (PretrainedConfig 或 dict, 可选) — 骨干模型的配置。仅在 use_timm_backbone 设置为 False 时使用，默认为 ResNetConfig()。
num_channels (int, 可选, 默认为 3) — 输入通道数。
num_queries (int, 可选, 默认为 100) — 对象查询的数量，即检测槽的数量。这是 ConditionalDetrModel 在单张图像中可以检测到的最大对象数量。对于 COCO，我们建议使用 100 个查询。
d_model (int, 可选, 默认为 256) — 此参数是一个通用维度参数，用于定义编码器层和解码器层中的投影参数等组件的维度。
encoder_layers (int, 可选, 默认为 6) — 编码器层数。
decoder_layers (int, 可选, 默认为 6) — 解码器层数。
encoder_attention_heads (int, 可选, 默认为 8) — Transformer 编码器中每个注意力层的注意力头数量。
decoder_attention_heads (int, 可选, 默认为 8) — Transformer 解码器中每个注意力层的注意力头数量。
decoder_ffn_dim (int, 可选, 默认为 2048) — 解码器中“中间”（通常称为前馈）层的维度。
encoder_ffn_dim (int, 可选, 默认为 2048) — 解码器中“中间”（通常称为前馈）层的维度。
activation_function (str 或 function, 可选, 默认为 "relu") — 编码器和池化器中的非线性激活函数（函数或字符串）。如果是字符串，支持 "gelu", "relu", "silu" 和 "gelu_new"。
dropout (float, 可选, 默认为 0.1) — 嵌入层、编码器和池化器中所有全连接层的 dropout 概率。
attention_dropout (float, 可选, 默认为 0.0) — 注意力概率的 dropout 比率。
activation_dropout (float, 可选, 默认为 0.0) — 全连接层内部激活的 dropout 比率。
init_std (float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。
init_xavier_std (float, 可选, 默认为 1) — HM Attention 模块中用于 Xavier 初始化增益的比例因子。
encoder_layerdrop (float, 可选, 默认为 0.0) — 编码器的 LayerDrop 概率。更多详细信息请参见 [LayerDrop 论文](参见 https://huggingface.co/papers/1909.11556)。
decoder_layerdrop (float, 可选, 默认为 0.0) — 解码器的 LayerDrop 概率。更多详细信息请参见 [LayerDrop 论文](参见 https://huggingface.co/papers/1909.11556)。
auxiliary_loss (bool, 可选, 默认为 False) — 是否使用辅助解码损失（每个解码器层的损失）。
position_embedding_type (str, 可选, 默认为 "sine") — 在图像特征之上使用的位置嵌入类型。可选择 "sine" 或 "learned"。
backbone (str, 可选, 默认为 "resnet50") — 当 backbone_config 为 None 时使用的骨干网络名称。如果 use_pretrained_backbone 为 True，这将从 timm 或 transformers 库加载相应的预训练权重。如果 use_pretrained_backbone 为 False，这将加载骨干网络的配置，并使用该配置初始化具有随机权重的骨干网络。
use_pretrained_backbone (bool, 可选, 默认为 True) — 是否使用骨干网络的预训练权重。
backbone_kwargs (dict, 可选) — 从检查点加载时传递给 AutoBackbone 的关键字参数，例如 {'out_indices': (0, 1, 2, 3)}。如果设置了 backbone_config，则无法指定此参数。
dilation (bool, 可选, 默认为 False) — 是否在最后一个卷积块 (DC5) 中用空洞卷积替换步长。仅在 use_timm_backbone = True 时支持。
class_cost (float, 可选, 默认为 1) — 匈牙利匹配成本中分类误差的相对权重。
bbox_cost (float, 可选, 默认为 5) — 匈牙利匹配成本中边界框坐标 L1 误差的相对权重。
giou_cost (float, 可选, 默认为 2) — 匈牙利匹配成本中边界框的广义 IoU 损失的相对权重。
mask_loss_coefficient (float, 可选, 默认为 1) — 全景分割损失中 Focal 损失的相对权重。
dice_loss_coefficient (float, 可选, 默认为 1) — 全景分割损失中 DICE/F-1 损失的相对权重。
bbox_loss_coefficient (float, 可选, 默认为 5) — 对象检测损失中 L1 边界框损失的相对权重。
giou_loss_coefficient (float, 可选, 默认为 2) — 对象检测损失中广义 IoU 损失的相对权重。
eos_coefficient (float, 可选, 默认为 0.1) — 对象检测损失中“无对象”类别的相对分类权重。
focal_alpha (float, 可选, 默认为 0.25) — Focal 损失中的 Alpha 参数。

这是用于存储 ConditionalDetrModel 配置的配置类。它用于根据指定参数实例化 Conditional DETR 模型，定义模型架构。使用默认值实例化配置将产生与 Conditional DETR microsoft/conditional-detr-resnet-50 架构类似的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请参阅 PretrainedConfig 的文档。

示例

>>> from transformers import ConditionalDetrConfig, ConditionalDetrModel

>>> # Initializing a Conditional DETR microsoft/conditional-detr-resnet-50 style configuration
>>> configuration = ConditionalDetrConfig()

>>> # Initializing a model (with random weights) from the microsoft/conditional-detr-resnet-50 style configuration
>>> model = ConditionalDetrModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ConditionalDetrImageProcessor

class transformers.ConditionalDetrImageProcessor

< 源 >

( format: typing.Union[str, transformers.image_utils.AnnotationFormat] = <AnnotationFormat.COCO_DETECTION: 'coco_detection'> do_resize: bool = True size: typing.Optional[dict[str, int]] = None resample: Resampling = <Resampling.BILINEAR: 2> do_rescale: bool = True rescale_factor: typing.Union[int, float] = 0.00392156862745098 do_normalize: bool = True image_mean: typing.Union[float, list[float], NoneType] = None image_std: typing.Union[float, list[float], NoneType] = None do_convert_annotations: typing.Optional[bool] = None do_pad: bool = True pad_size: typing.Optional[dict[str, int]] = None **kwargs )

参数

format (str, 可选, 默认为 "coco_detection") — 注释的数据格式。可选择“coco_detection”或“coco_panoptic”。
do_resize (bool, 可选, 默认为 True) — 控制是否将图像的（高度，宽度）尺寸调整为指定的 size。可以通过 preprocess 方法中的 do_resize 参数覆盖。
size (dict[str, int] 可选, 默认为 {"shortest_edge" -- 800, "longest_edge": 1333})：调整大小后图像的 (height, width) 尺寸。可以通过 preprocess 方法中的 size 参数覆盖。可用选项包括：
- {"height": int, "width": int}：图像将精确调整为 (height, width) 大小。不保持纵横比。
- {"shortest_edge": int, "longest_edge": int}：图像将调整为最大尺寸，保持纵横比，并使最短边小于或等于 shortest_edge，最长边小于或等于 longest_edge。
- {"max_height": int, "max_width": int}：图像将调整为最大尺寸，保持纵横比，并使高度小于或等于 max_height，宽度小于或等于 max_width。
resample (PILImageResampling, 可选, 默认为 PILImageResampling.BILINEAR) — 如果调整图像大小，要使用的重采样过滤器。
do_rescale (bool, 可选, 默认为 True) — 控制是否通过指定的 rescale_factor 重新缩放图像。可以通过 preprocess 方法中的 do_rescale 参数覆盖。
rescale_factor (int 或 float, 可选, 默认为 1/255) — 如果重新缩放图像，要使用的缩放因子。可以通过 preprocess 方法中的 rescale_factor 参数覆盖。
do_normalize — 控制是否对图像进行归一化。可以通过 preprocess 方法中的 do_normalize 参数覆盖。
image_mean (float 或 list[float], 可选, 默认为 IMAGENET_DEFAULT_MEAN) — 图像归一化时使用的平均值。可以是单个值或值列表，每个通道一个。可以通过 preprocess 方法中的 image_mean 参数覆盖。
image_std (float 或 list[float], 可选, 默认为 IMAGENET_DEFAULT_STD) — 图像归一化时使用的标准差值。可以是单个值或值列表，每个通道一个。可以通过 preprocess 方法中的 image_std 参数覆盖。
do_convert_annotations (bool, 可选, 默认为 True) — 控制是否将注释转换为 DETR 模型所需的格式。将边界框转换为 (center_x, center_y, width, height) 格式，范围为 [0, 1]。可以通过 preprocess 方法中的 do_convert_annotations 参数覆盖。
do_pad (bool, 可选, 默认为 True) — 控制是否填充图像。可以通过 preprocess 方法中的 do_pad 参数覆盖。如果为 True，将用零填充图像的底部和右侧。如果提供了 pad_size，图像将填充到指定尺寸。否则，图像将填充到批处理的最大高度和宽度。
pad_size (dict[str, int], 可选) — 图像要填充到的尺寸 {"height": int, "width" int}。必须大于为预处理提供的任何图像尺寸。如果未提供 pad_size，图像将填充到批处理中的最大高度和宽度。

构造一个条件 Detr 图像处理器。

preprocess

< 源 >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']] annotations: typing.Union[dict[str, typing.Union[int, str, list[dict]]], list[dict[str, typing.Union[int, str, list[dict]]]], NoneType] = None return_segmentation_masks: typing.Optional[bool] = None masks_path: typing.Union[str, pathlib.Path, NoneType] = None do_resize: typing.Optional[bool] = None size: typing.Optional[dict[str, int]] = None resample = None do_rescale: typing.Optional[bool] = None rescale_factor: typing.Union[int, float, NoneType] = None do_normalize: typing.Optional[bool] = None do_convert_annotations: typing.Optional[bool] = None image_mean: typing.Union[float, list[float], NoneType] = None image_std: typing.Union[float, list[float], NoneType] = None do_pad: typing.Optional[bool] = None format: typing.Union[str, transformers.image_utils.AnnotationFormat, NoneType] = None return_tensors: typing.Union[str, transformers.utils.generic.TensorType, NoneType] = None data_format: typing.Union[str, transformers.image_utils.ChannelDimension] = <ChannelDimension.FIRST: 'channels_first'> input_data_format: typing.Union[str, transformers.image_utils.ChannelDimension, NoneType] = None pad_size: typing.Optional[dict[str, int]] = None **kwargs )

参数

images (ImageInput) — 要预处理的图像或图像批次。期望单个或批次的图像，像素值范围为 0 到 255。如果传入像素值在 0 到 1 之间的图像，请设置 do_rescale=False。
annotations (AnnotationType 或 list[AnnotationType], 可选) — 与图像或图像批次关联的注释列表。如果注释用于对象检测，则注释应为具有以下键的字典：
- “image_id” (int)：图像 ID。
- “annotations” (list[Dict])：图像的注释列表。每个注释都应是一个字典。图像可以没有注释，在这种情况下，列表应为空。如果注释用于分割，则注释应为具有以下键的字典：
- “image_id” (int)：图像 ID。
- “segments_info” (list[Dict])：图像的片段列表。每个片段都应是一个字典。图像可以没有片段，在这种情况下，列表应为空。
- “file_name” (str)：图像的文件名。
return_segmentation_masks (bool, 可选, 默认为 self.return_segmentation_masks) — 是否返回分割掩码。
masks_path (str 或 pathlib.Path, 可选) — 包含分割掩码的目录路径。
do_resize (bool, 可选, 默认为 self.do_resize) — 是否调整图像大小。
size (dict[str, int], 可选, 默认为 self.size) — 调整大小后图像的 (height, width) 尺寸。可用选项包括：
- {"height": int, "width": int}：图像将精确调整为 (height, width) 大小。不保持纵横比。
- {"shortest_edge": int, "longest_edge": int}：图像将调整为最大尺寸，保持纵横比，并使最短边小于或等于 shortest_edge，最长边小于或等于 longest_edge。
- {"max_height": int, "max_width": int}：图像将调整为最大尺寸，保持纵横比，并使高度小于或等于 max_height，宽度小于或等于 max_width。
resample (PILImageResampling, 可选, 默认为 self.resample) — 调整图像大小时要使用的重采样过滤器。
do_rescale (bool, 可选, 默认为 self.do_rescale) — 是否重新缩放图像。
rescale_factor (float, 可选, 默认为 self.rescale_factor) — 重新缩放图像时要使用的缩放因子。
do_normalize (bool, 可选, 默认为 self.do_normalize) — 是否对图像进行归一化。
do_convert_annotations (bool, 可选, 默认为 self.do_convert_annotations) — 是否将注释转换为模型所需的格式。将边界框从 (top_left_x, top_left_y, width, height) 格式转换为 (center_x, center_y, width, height) 并使用相对坐标。
image_mean (float 或 list[float], 可选, 默认为 self.image_mean) — 图像归一化时使用的平均值。
image_std (float 或 list[float], 可选, 默认为 self.image_std) — 图像归一化时使用的标准差。
do_pad (bool, 可选, 默认为 self.do_pad) — 是否填充图像。如果为 True，将用零填充图像的底部和右侧。如果提供了 pad_size，图像将填充到指定尺寸。否则，图像将填充到批处理的最大高度和宽度。
format (str 或 AnnotationFormat, 可选, 默认为 self.format) — 注释的格式。
return_tensors (str 或 TensorType, 可选, 默认为 self.return_tensors) — 要返回的张量类型。如果为 None，将返回图像列表。
data_format (ChannelDimension 或 str, 可选, 默认为 ChannelDimension.FIRST) — 输出图像的通道维度格式。可以是以下之一：
- "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
- "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
- 未设置：使用输入图像的通道维度格式。
input_data_format (ChannelDimension 或 str, 可选) — 输入图像的通道维度格式。如果未设置，将从输入图像推断通道维度格式。可以是以下之一：
- "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
- "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
- "none" 或 ChannelDimension.NONE：图像格式为 (height, width)。
pad_size (dict[str, int], 可选) — 图像要填充到的尺寸 {"height": int, "width" int}。必须大于为预处理提供的任何图像尺寸。如果未提供 pad_size，图像将填充到批处理中的最大高度和宽度。

预处理图像或图像批次，以便模型可以使用。

ConditionalDetrImageProcessorFast

class transformers.ConditionalDetrImageProcessorFast

< 源 >

( **kwargs: typing_extensions.Unpack[transformers.models.conditional_detr.image_processing_conditional_detr_fast.ConditionalDetrFastImageProcessorKwargs] )

构造一个快速条件 Detr 图像处理器。

preprocess

< 源 >

参数

images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]) — 要预处理的图像。期望单个或批次的图像，像素值范围为 0 到 255。如果传入像素值在 0 到 1 之间的图像，请设置 do_rescale=False。
annotations (AnnotationType 或 list[AnnotationType], 可选) — 与图像或图像批次关联的注释列表。如果注释用于对象检测，则注释应为具有以下键的字典：
- “image_id” (int)：图像 ID。
- “annotations” (list[Dict])：图像的注释列表。每个注释都应是一个字典。图像可以没有注释，在这种情况下，列表应为空。如果注释用于分割，则注释应为具有以下键的字典：
- “image_id” (int)：图像 ID。
- “segments_info” (list[Dict])：图像的片段列表。每个片段都应是一个字典。图像可以没有片段，在这种情况下，列表应为空。
- “file_name” (str)：图像的文件名。
masks_path (str 或 pathlib.Path, 可选) — 包含分割掩码的目录路径。
do_resize (bool, 可选) — 是否调整图像大小。
size (dict[str, int], 可选) — 描述模型最大输入尺寸。
default_to_square (bool, 可选) — 调整大小时是否默认将图像设为正方形，如果 size 是一个整数。
resample (Union[PILImageResampling, F.InterpolationMode, NoneType]) — 如果调整图像大小，要使用的重采样过滤器。可以是枚举 PILImageResampling 之一。仅在 do_resize 设置为 True 时有效。
do_center_crop (bool, 可选) — 是否对图像进行中心裁剪。
crop_size (dict[str, int], 可选) — 应用 center_crop 后输出图像的尺寸。
do_rescale (bool, 可选) — 是否重新缩放图像。
rescale_factor (Union[int, float, NoneType]) — 如果 do_rescale 设置为 True，用于重新缩放图像的缩放因子。
do_normalize (bool, 可选) — 是否对图像进行归一化。
image_mean (Union[float, list[float], NoneType]) — 用于归一化的图像平均值。仅在 do_normalize 设置为 True 时有效。
image_std (Union[float, list[float], NoneType]) — 用于归一化的图像标准差。仅在 do_normalize 设置为 True 时有效。
do_convert_rgb (bool, 可选) — 是否将图像转换为 RGB。
return_tensors (Union[str, ~utils.generic.TensorType, NoneType]) — 如果设置为 `pt`，则返回堆叠张量，否则返回张量列表。
data_format (~image_utils.ChannelDimension, 可选) — 输出图像的通道维度格式。仅支持 ChannelDimension.FIRST。为兼容慢速处理器而添加。
input_data_format (Union[str, ~image_utils.ChannelDimension, NoneType]) — 输入图像的通道维度格式。如果未设置，将从输入图像推断通道维度格式。可以是以下之一：
- "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
- "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
- "none" 或 ChannelDimension.NONE：图像格式为 (height, width)。
device (torch.device, optional) — 用于处理图像的设备。如果未设置，则从输入图像推断设备。
disable_grouping (bool, optional) — 是否禁用按大小对图像进行分组以单独而不是分批处理它们。如果为 None，则如果图像位于 CPU 上，则设置为 True，否则设置为 False。此选择基于经验观察，详情请参阅：https://github.com/huggingface/transformers/pull/38157
format (str, optional, 默认为 AnnotationFormat.COCO_DETECTION) — 注释的数据格式。“coco_detection”或“coco_panoptic”之一。
do_convert_annotations (bool, optional, 默认为 True) — 控制是否将注释转换为 CONDITIONAL_DETR 模型期望的格式。将边界框转换为 (center_x, center_y, width, height) 格式并在 [0, 1] 范围内。可以通过 preprocess 方法中的 do_convert_annotations 参数覆盖。
do_pad (bool, optional, 默认为 True) — 控制是否填充图像。可以通过 preprocess 方法中的 do_pad 参数覆盖。如果为 True，将用零填充图像的底部和右侧。如果提供了 pad_size，图像将填充到指定的尺寸。否则，图像将填充到批次的最大高度和宽度。
pad_size (dict[str, int], optional) — 图像填充到的尺寸 {"height": int, "width" int}。必须大于为预处理提供的任何图像尺寸。如果未提供 pad_size，图像将填充到批次中的最大高度和宽度。
return_segmentation_masks (bool, optional, 默认为 False) — 是否返回分割掩码。

<class 'transformers.image_processing_base.BatchFeature'>

data (dict) — 由 call 方法返回的列表/数组/张量字典（“pixel_values”等）。
tensor_type (Union[None, str, TensorType], 可选) — 您可以在此处提供一个`tensor_type`，以便在初始化时将整数列表转换为PyTorch/TensorFlow/Numpy张量。

Transformers

Conditional DETR

概述

资源

ConditionalDetrConfig

class transformers.ConditionalDetrConfig

ConditionalDetrImageProcessor

class transformers.ConditionalDetrImageProcessor

preprocess

ConditionalDetrImageProcessorFast

class transformers.ConditionalDetrImageProcessorFast

preprocess

post_process_object_detection

post_process_instance_segmentation

post_process_semantic_segmentation

post_process_panoptic_segmentation

ConditionalDetrFeatureExtractor

class transformers.ConditionalDetrFeatureExtractor

__call__

post_process_object_detection

post_process_instance_segmentation

post_process_semantic_segmentation

post_process_panoptic_segmentation

ConditionalDetrModel

class transformers.ConditionalDetrModel

forward

ConditionalDetrForObjectDetection

class transformers.ConditionalDetrForObjectDetection

forward

ConditionalDetrForSegmentation

class transformers.ConditionalDetrForSegmentation

forward

call