参数

• backbone_config （预训练配置）— 网络结构配置。

一个配置对象实例

参数

• images (ImageInput) — 预处理图像或图像批次。期望传入单张图像或图像批次，像素值范围为0到255。如果传入像素值在0到1之间的图像，请将do_rescale=False设置为True。
• annotations (AnnotationType 或 List[AnnotationType]，可选) — 与图像或图像批次关联的注释列表。如果注释是用于对象检测的，则注释应是一个包含以下键的字典：
• “image_id” (int)：图像 ID。
• “annotations” (List[Dict])：图像的注释列表。每个注释应是一个字典。图像可能没有注释，在这种情况下，列表应为空。如果注释是用于分割的，则注释应是一个包含以下键的字典：
• “image_id” (int)：图像 ID。
• “segments_info” (List[Dict])：图像的段列表。每个段应是一个字典。图像可能没有段，在这种情况下，列表应为空。
• “file_name” (str)：图像的文件名。
• return_segmentation_masks (bool，可选，默认为 self.return_segmentation_masks) — 是否返回分割掩码。
• masks_path (str 或 pathlib.Path，可选) — 包含分割掩码的目录的路径。
• do_resize (bool, 可选, 默认为 self.do_resize) — 是否调整图像大小。
• size (Dict[str, int], 可选, 默认为 self.size) — 调整大小后的图像的 (高度, 宽度) 尺寸。可用选项有：
  • {"height": int, "width": int}: 图像将调整到确切的 (高度, 宽度) 尺寸。不要保持长宽比。
  • {"shortest_edge": int, "longest_edge": int}: 图像将调整到最大尺寸，同时保持长宽比，并将最短边限制为 shortest_edge 或更小，最长边限制为 longest_edge 或更小。
  • {"max_height": int, "max_width": int}: 图像将调整到最大尺寸，同时保持长宽比，并将高度限制为 max_height 或更小，宽度限制为 max_width 或更小。
• resample (PILImageResampling, 可选, 默认为 self.resample) — 调整图像大小时使用的重采样过滤器。
• do_rescale (bool, 可选, 默认为self.do_rescale) — 是否对图像进行缩放。
• rescale_factor (float, 可选, 默认为self.rescale_factor) — 缩放图像时使用的缩放因子。
• do_normalize (bool, 可选, 默认为self.do_normalize) — 是否对图像进行归一化。
• do_convert_annotations (bool, 可选，默认为 self.do_convert_annotations) —— 是否将标注转换为模型预期格式的选择。将边界框从格式(top_left_x, top_left_y, width, height)转换为(center_x, center_y, width, height)并在相对坐标中。
• image_mean (float 或 List[float]，可选，默认为 self.image_mean) —— 用于图像归一化的均值。
• image_std (float 或 List[float]，可选，默认为 self.image_std) —— 用于图像归一化的标准差。
• do_pad (bool, 可选，默认为 self.do_pad) — 是否填充图像。如果 True，将在图像底部和右侧应用填充（使用零）。如果提供了 pad_size，则图像将被填充到指定的维度。否则，图像将被填充到批次的最大高度和宽度。
• format (str 或 AnnotationFormat, 可选，默认为 self.format) — 注释的格式。
• return_tensors (str 或 TensorType, 可选，默认为 self.return_tensors) — 返回的张量类型。如果 None，将返回图像列表。
• data_format （ChannelDimension 或 str，可选，默认为 ChannelDimension.FIRST） — 输出图像的通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
  • 未设置：使用输入图像的通道维度格式。
• input_data_format （ChannelDimension 或 str，可选） — 输入图像的通道维度格式。如果未设置，将推断输入图像的通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
  • "none" 或 ChannelDimension.NONE：图像格式为 (height, width)。
• pad_size （Dict[str, int]，可选） — 填充图像的大小，格式为 {"height": int, "width" int}。该大小必须大于预处理所提供的任何图像大小。如果没有提供 pad_size，则将图像填充到批次中的最大高和宽。

参数

• outputs (DetrObjectDetectionOutput) — 模型的原始输出。
• threshold (float, 可选, 默认值为 0.5) — 保留目标检测预测的成绩阈值。
• target_sizes (torch.Tensor 或 List[Tuple[int, int]]，可选) — 形状为 (batch_size, 2) 的 Tensor 或包含每个图像的目标大小 (高度, 宽度) 的元组列表。如果不设置，则不会调整预测大小。
• use_focal_loss (bool 默认为 True) — 表示是否使用了焦点损失来预测输出的变量。如果为 True，则对每个检测评分应用 sigmoid 进行计算，否则使用 softmax 函数。— HTML_TAG_END —

一个字典列表，每个字典包含由模型预测的每次图像批次的分数、标签和框。

参数

• pixel_values (torch.FloatTensor 尺寸为 (batch_size, num_channels, height, width)) — 像素值。如果没有提供，则会忽略填充。使用 AutoImageProcessor 可以获取像素值。有关详细信息，请参阅 RTDetrImageProcessor.call()。
• pixel_mask (torch.LongTensor of shape (batch_size, height, width), optional) — 用于避免在填充像素值上执行注意力机制的掩码。掩码值在 [0, 1] 之间的选择：
  • 1 表示真实像素（即 非掩码），
  • 0 表示填充像素（即 掩码）。

  什么是注意力掩码？

• encoder_outputs (tuple(tuple(torch.FloatTensor), optional) — Tuple consists of (last_hidden_state, optional: hidden_states, optional: attentions) last_hidden_state of shape (batch_size, sequence_length, hidden_size), optional) is a sequence of hidden-states at the output of the last layer of the encoder. Used in the cross-attention of the decoder.
• inputs_embeds (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), optional) — 可选地，您可以直接传递图像的扁平化表示（即骨干网络 + 投影层的输出）而不是传递扁平化特征图。
• 输出隐藏状态 (布尔型, 可选) — 是否返回所有层的隐藏状态。更多细节请参阅返回张量下的 隐藏状态。
• 返回字典 (布尔型, 可选) — 是否返回 ModelOutput 而不是简单的元组。

A transformers.models.rd_detr.modeling_rd_detr.RTDetrModelOutput 或一个由 torch.FloatTensor 组成的元组（如果传递了 return_dict=False 或 config.return_dict=False 时）包含各种元素，这些元素取决于配置（RDDetrConfig）和输入。

• 最后一个隐藏状态 (torch.FloatTensor 形状为 (batch_size, num_queries, hidden_size)) — 模型解码器最后层输出的隐藏状态序列。
• 中间隐藏状态 (torch.FloatTensor 形状为 (batch_size, config.decoder_layers, num_queries, hidden_size)) — 逐层的中间隐藏状态（解码器每层的输出）。
• 中间对数似然 (torch.FloatTensor 形状为 (batch_size, config.decoder_layers, sequence_length, config.num_labels)) — 逐层的中间对数似然（解码器每层的对数似然）。
• 中间参考点 (torch.FloatTensor 形状为 (batch_size, config.decoder_layers, num_queries, 4)) — 逐层的中间参考点（解码器每层的参考点）。
• 解码器隐藏状态 (torch.FloatTensor 的元组，可选，当传递 output_hidden_states=True 或时 config.output_hidden_states=True 返回) — 包含 torch.FloatTensor 的元组（一个用于嵌入的输出，一个用于每层的输出）的形状为 (batch_size, num_queries, hidden_size)。解码器在每层输出中的隐藏状态以及初始嵌入输出。
• 解码器注意力 (torch.FloatTensor 的元组，可选，当传递 output_attentions=True 或时 config.output_attentions=True 返回) — 每个层的 torch.FloatTensor 的元组（形状为 (batch_size, num_heads, num_queries, num_queries)）。解码器的注意力权重，在注意力softmax之后使用，用于计算自注意力头中的加权平均。
• cross_attentions (torch.FloatTensor 元组，可选项，当传递 output_attentions=True 或 config.output_attentions=True 时返回) — 包含每个层的 torch.FloatTensor 元组（每个层一个），形状为 (batch_size, num_queries, num_heads, 4, 4)。在注意力softmax之后的编码器跨注意力层的注意力权重，用于在跨注意力头中计算加权平均。
• encoder_last_hidden_state (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor，可选项) — 模型编码器最后层的隐藏状态序列。
• encoder_hidden_states (torch.FloatTensor 元组，可选项，当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — 包含嵌入输出和每个层输出的 torch.FloatTensor 元组（每个层一个），形状为 (batch_size, sequence_length, hidden_size)。在每个层输出以及初始嵌入输出后的编码器隐藏状态。
• encoder_attentions (torch.FloatTensor 元组，可选项，当传递 output_attentions=True 或 config.output_attentions=True 时返回) — 包含每个层的 torch.FloatTensor 元组（每个层一个），形状为 (batch_size, num_queries, num_heads, 4, 4)。在注意力softmax之后的编码器注意力权重，用于在自注意力头中计算加权平均。
• init_reference_points (形状为 (batch_size, num_queries, 4) 的 torch.FloatTensor) —— 通过Transformer解码器传递的初始参考点。
• enc_topk_logits (形状为 (batch_size, sequence_length, config.num_labels) 的 torch.FloatTensor) —— 预测的边界框分数，其中选择前 config.two_stage_num_proposals 个得分的边界框作为编码阶段中的区域提议。边界框二分类（即前景和背景）的输出。
• enc_topk_bboxes (形状为 (batch_size, sequence_length, 4) 的 torch.FloatTensor) —— 编码阶段预测的边界框坐标的logits。
• enc_outputs_class (形状为 (batch_size, sequence_length, config.num_labels) 的 torch.FloatTensor，可选项，当 config.with_box_refine=True 和 config.two_stage=True 时返回) —— 第一个阶段中，选择前 config.two_stage_num_proposals 个得分的边界框作为区域提议的预测边界框分数。边界框二分类（即前景和背景）的输出。
• enc_outputs_coord_logits (形状为 (batch_size, sequence_length, 4) 的 torch.FloatTensor，可选项，当 config.with_box_refine=True 和 config.two_stage=True 时返回) —— 第一个阶段预测的边界框坐标的logits。
• denoising_meta_values (dict) —— 与去噪相关的额外值的字典。

参数

• pixel_values (torch.FloatTensor 形状为 (batch_size, num_channels, height, width)) — 像素值。如果您提供，默认情况下将忽略填充。可以使用 AutoImageProcessor 获取像素值。有关详细信息，请参阅 RTDetrImageProcessor.call()。
• pixel_mask (torch.LongTensor 形状为 (batch_size, height, width)，可选) — 用来避免在对填充像素值上执行注意力的掩码。掩码值在 [0, 1] 之间：
  • 1 代表真实像素（即 未掩码），
  • 0 代表填充像素（即 掩码）。
  什么是注意力掩码？
• encoder_outputs (tuple(tuple(torch.FloatTensor), 可选) — Tuple 包含 (last_hidden_state, 可选: hidden_states, 可选: attentions) last_hidden_state 的形状为 (batch_size, sequence_length, hidden_size)，可选)，是编码器最后一个层的隐藏状态序列。用于解码器的交叉注意力。
• inputs_embeds (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), 可选) — 可选地，而不是传递扁平化特征图（backbone 加投影层的输出），您可以选择直接传递图像的扁平表示。
• decoder_inputs_embeds (torch.FloatTensor of shape (batch_size, num_queries, hidden_size), 可选) — 可选地，而不是使用零填充的张量初始化查询，您可以选择直接传递嵌入表示。
• labels (List[Dict] of len (batch_size,), 可选) — 用于计算双射匹配损失的标签。字典列表，每个字典至少包含以下2个键：‘class_labels’和‘boxes’（图像批次中每个图像的类别标签和边界框分别）。类别标签本身应是一个长度为 (图像中边界框数量,) 的 torch.LongTensor，边界框是一个形状为 (图像中边界框数量, 4) 的 torch.FloatTensor。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关返回张量中 attentions 的更多信息，请参见。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关返回张量中 hidden_states 的更多信息，请参见。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是一个普通的元组。
• labels (List[Dict] of len (batch_size,), 可选) — 用于计算双射匹配损失的标签。字典列表，每个字典至少包含以下2个键：‘class_labels’和‘boxes’（图像批次中每个图像的类别标签和边界框分别）。类别标签本身应是一个长度为 (图像中边界框数量,) 的 torch.LongTensor，边界框是一个形状为 (图像中边界框数量, 4) 的 torch.FloatTensor。

一个 transformers.models.rt_detr.modeling_rt_detr.RTDetrObjectDetectionOutput 或一个由 torch.FloatTensor 组成的元组（如果传递了 return_dict=False 或当 config.return_dict=False）包含根据配置（RTDetrConfig）和输入的不同元素。

• loss (torch.FloatTensor 的形状为 (1,)，可选，当提供 labels 时返回) — 经过负对数似然度（交叉熵）和边界框损失的线性组合的总损失。后者定义为 L1 损失和广义尺度不变 IoU 损失的组合。
• loss_dict (Dict，可选) — 包含单独损失的字典。用于记录日志。
• logits (torch.FloatTensor 的形状为 (batch_size, num_queries, num_classes + 1)) — 所有查询的分类特征（包括没有物体）。
• pred_boxes (torch.FloatTensor 的形状为 (batch_size, num_queries, 4)) — 所有查询的标准化边界框坐标，表示为 (center_x, center_y, width, height)。这些值在 [0, 1] 内归一化，相对于批次中每个单独图像的大小（不考虑可能的填充）。您可以使用 post_process_object_detection() 检索非归一化（绝对）边界框。
• auxiliary_outputs (list[Dict]，可选) — 可选，只有当激活辅助损失（即 config.auxiliary_loss 设置为 True）且提供了标签时才返回。它是一个包含两个上述键（logits 和 pred_boxes）的字典列表，每个字典对应每个解码器层。
• 最后一个隐藏状态 (torch.FloatTensor 形状为 (batch_size, num_queries, hidden_size)) — 模型解码器最后层输出的隐藏状态序列。
• 中间隐藏状态 (torch.FloatTensor 形状为 (batch_size, config.decoder_layers, num_queries, hidden_size)) — 逐层的中间隐藏状态（解码器每层的输出）。
• intermediate_logits (torch.FloatTensor 的形状为 (batch_size, config.decoder_layers, num_queries, config.num_labels)) — 堆叠的中间特征（解码器的每层的特征）。
• 中间参考点 (torch.FloatTensor 形状为 (batch_size, config.decoder_layers, num_queries, 4)) — 逐层的中间参考点（解码器每层的参考点）。
• 解码器隐藏状态 (torch.FloatTensor 的元组，可选，当传递 output_hidden_states=True 或时 config.output_hidden_states=True 返回) — 包含 torch.FloatTensor 的元组（一个用于嵌入的输出，一个用于每层的输出）的形状为 (batch_size, num_queries, hidden_size)。解码器在每层输出中的隐藏状态以及初始嵌入输出。
• 解码器注意力 (torch.FloatTensor 的元组，可选，当传递 output_attentions=True 或时 config.output_attentions=True 返回) — 每个层的 torch.FloatTensor 的元组（形状为 (batch_size, num_heads, num_queries, num_queries)）。解码器的注意力权重，在注意力softmax之后使用，用于计算自注意力头中的加权平均。
• cross_attentions (torch.FloatTensor 元组，可选项，当传递 output_attentions=True 或 config.output_attentions=True 时返回) — 包含每个层的 torch.FloatTensor 元组（每个层一个），形状为 (batch_size, num_queries, num_heads, 4, 4)。在注意力softmax之后的编码器跨注意力层的注意力权重，用于在跨注意力头中计算加权平均。
• encoder_last_hidden_state (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor，可选项) — 模型编码器最后层的隐藏状态序列。
• encoder_hidden_states (torch.FloatTensor 元组，可选项，当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — 包含嵌入输出和每个层输出的 torch.FloatTensor 元组（每个层一个），形状为 (batch_size, sequence_length, hidden_size)。在每个层输出以及初始嵌入输出后的编码器隐藏状态。
• encoder_attentions (torch.FloatTensor 元组，可选项，当传递 output_attentions=True 或 config.output_attentions=True 时返回) — 包含每个层的 torch.FloatTensor 元组（每个层一个），形状为 (batch_size, num_queries, num_heads, 4, 4)。在注意力softmax之后的编码器注意力权重，用于在自注意力头中计算加权平均。
• init_reference_points (形状为 (batch_size, num_queries, 4) 的 torch.FloatTensor) —— 通过Transformer解码器传递的初始参考点。
• enc_topk_logits (torch.FloatTensor 的形状为 (batch_size, sequence_length, config.num_labels)，可选，返回当 config.with_box_refine=True 且 config.two_stage=True 时) — 预测的编码器中边界框坐标的标志。
• enc_topk_bboxes (torch.FloatTensor 的形状为 (batch_size, sequence_length, 4)，可选，返回当 config.with_box_refine=True 且 config.two_stage=True 时) — 预测的编码器中边界框坐标的标志。
• enc_outputs_class (形状为 (batch_size, sequence_length, config.num_labels) 的 torch.FloatTensor，可选项，当 config.with_box_refine=True 和 config.two_stage=True 时返回) —— 第一个阶段中，选择前 config.two_stage_num_proposals 个得分的边界框作为区域提议的预测边界框分数。边界框二分类（即前景和背景）的输出。
• enc_outputs_coord_logits (形状为 (batch_size, sequence_length, 4) 的 torch.FloatTensor，可选项，当 config.with_box_refine=True 和 config.two_stage=True 时返回) —— 第一个阶段预测的边界框坐标的logits。
• denoising_meta_values (dict) —— 与去噪相关的额外值的字典。

参数

• pixel_values (torch.FloatTensor of shape (batch_size, num_channels, height, width)) — 像素值。像素值可以使用 AutoImageProcessor 获取。有关详细信息，请参阅 RTDetrImageProcessor.call()。
• output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回ModelOutput而不是普通元组。

一个transformers.modeling_outputs.BackboneOutput或包含多个元素的元组（具体取决于配置和数据输入，例如RTDetrResNetConfig），这些元素包括大小为(batch_size, num_channels, height, width)的特征图（如果return_dict=False传递或当前config.return_dict=False时）。

• feature_maps (tuple(torch.FloatTensor)形状为(batch_size, num_channels, height, width)) — 阶段的特征图。

• hidden_states (tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或当config.output_hidden_states=True时返回) — 一个形状为(batch_size, sequence_length, hidden_size)或(batch_size, num_channels, height, width)的torch.FloatTensor的元组（一个用于嵌入输出的输出，一个用于每一层的输出），取决于主体。

  每个阶段输出的模型隐藏状态加上初始嵌入输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递output_attentions=True或当config.output_attentions=True时返回) — 一个形状为(batch_size, num_heads, sequence_length, sequence_length)的torch ponad,适用于使用注意力的主体。

  注意力softmax后的注意力权重，用于在自我注意力头部计算加权平均值。