Grounding DINO
概述
Grounding DINO 模型由 Shilong Liu、Zhaoyang Zeng、Tianhe Ren、Feng Li、Hao Zhang、Jie Yang、Chunyuan Li、Jianwei Yang、Hang Su、Jun Zhu 和 Lei Zhang 在 Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection 中提出。Grounding DINO 通过文本编码器扩展了闭集目标检测模型，从而实现了开集目标检测。该模型取得了显著的成果，例如在 COCO 零样本上达到了 52.5 AP。
论文中的摘要如下：
在本文中，我们提出了一种名为 Grounding DINO 的开集目标检测器，它通过将基于 Transformer 的检测器 DINO 与地面预训练相结合，可以检测使用人类输入（例如类别名称或指示性表达式）来指定的任意目标。开集目标检测的关键解决方案是将语言引入闭集检测器以实现开集概念泛化。为了有效地融合语言和视觉模态，我们从概念上将闭集检测器划分为三个阶段，并提出了一种紧密的融合解决方案，其中包括特征增强器、语言引导的查询选择以及用于跨模态融合的跨模态解码器。虽然之前的工作主要在新的类别上评估开集目标检测，但我们建议还对使用属性指定的指示性表达式理解进行评估。Grounding DINO 在所有三种设置中表现出色，包括 COCO、LVIS、ODinW 和 RefCOCO/+/g 上的基准测试。Grounding DINO 在 COCO 检测零样本迁移基准测试中实现了 52.5 AP，即没有任何来自 COCO 的训练数据。它在 ODinW 零样本基准测试中创造了新纪录，平均 AP 为 26.1。
Grounding DINO 概述。摘自 原始论文。该模型由 EduardoPacheco 和 nielsr 贡献。原始代码可以在这里找到：这里。
使用技巧
- 可以使用 GroundingDinoProcessor 为模型准备图像-文本对。
- 要将文本中的类别分开，请使用句点，例如“一只猫。一只狗”。
- 在使用多个类别（例如
"一只猫。一只狗。"）时，请使用 GroundingDinoProcessor 中的post_process_grounded_object_detection对输出进行后处理。因为从post_process_object_detection返回的标签代表模型维度中 prob > 阈值的索引。
以下是将模型用于零样本目标检测的方法
>>> import requests
>>> import torch
>>> from PIL import Image
>>> from transformers import AutoProcessor, AutoModelForZeroShotObjectDetection
>>> model_id = "IDEA-Research/grounding-dino-tiny"
>>> device = "cuda"
>>> processor = AutoProcessor.from_pretrained(model_id)
>>> model = AutoModelForZeroShotObjectDetection.from_pretrained(model_id).to(device)
>>> image_url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(image_url, stream=True).raw)
>>> # Check for cats and remote controls
>>> text = "a cat. a remote control."
>>> inputs = processor(images=image, text=text, return_tensors="pt").to(device)
>>> with torch.no_grad():
... outputs = model(**inputs)
>>> results = processor.post_process_grounded_object_detection(
... outputs,
... inputs.input_ids,
... box_threshold=0.4,
... text_threshold=0.3,
... target_sizes=[image.size[::-1]]
... )
>>> print(results)
[{'boxes': tensor([[344.6959, 23.1090, 637.1833, 374.2751],
[ 12.2666, 51.9145, 316.8582, 472.4392],
[ 38.5742, 70.0015, 176.7838, 118.1806]], device='cuda:0'),
'labels': ['a cat', 'a cat', 'a remote control'],
'scores': tensor([0.4785, 0.4381, 0.4776], device='cuda:0')}]Grounded SAM
可以将 Grounding DINO 与 Segment Anything 模型结合，用于基于文本的掩码生成，如 Grounded SAM: Assembling Open-World Models for Diverse Visual Tasks 中介绍的那样。可以参考这个 演示笔记本 🌍 获取详细信息。
Grounded SAM 概述。摘自 原始存储库。资源
一系列官方 Hugging Face 和社区（由 🌎 表示）资源，可帮助您开始使用 Grounding DINO。如果您有兴趣提交要包含在此处的资源，请随时打开一个 Pull Request，我们将对其进行审查！理想情况下，该资源应展示一些新内容，而不是重复现有资源。
GroundingDinoImageProcessor
class transformers.GroundingDinoImageProcessor
< source >( format: Union = <AnnotationFormat.COCO_DETECTION: 'coco_detection'> do_resize: bool = True size: Dict = None resample: Resampling = <Resampling.BILINEAR: 2> do_rescale: bool = True rescale_factor: Union = 0.00392156862745098 do_normalize: bool = True image_mean: Union = None image_std: Union = None do_convert_annotations: Optional = None do_pad: bool = True pad_size: Optional = None **kwargs )
参数
- format (
str, 可选, 默认为AnnotationFormat.COCO_DETECTION) — 注释数据的格式。可以是“coco_detection”或“coco_panoptic”。 - do_resize (
bool, 可选, 默认为True) — 控制是否将图像的（高度，宽度）尺寸调整为指定的size。可以在preprocess方法中被do_resize参数覆盖。 - size (
Dict[str, int]可选, 默认为{"shortest_edge" -- 800, "longest_edge": 1333}): 图像的(height, width)尺寸在调整大小后的尺寸。可以在preprocess方法中被size参数覆盖。可用的选项有：{"height": int, "width": int}: 图像将被调整为精确的尺寸(height, width)。不保持纵横比。{"shortest_edge": int, "longest_edge": int}: 图像将被调整为最大尺寸，同时保持纵横比，并将最短边保持小于或等于shortest_edge，最长边保持小于或等于longest_edge。{"max_height": int, "max_width": int}: 图像将被调整为最大尺寸，同时保持纵横比，并将高度保持小于或等于max_height，宽度保持小于或等于max_width。
- resample (
PILImageResampling, 可选, 默认为Resampling.BILINEAR) — 如果调整图像大小，则使用重新采样过滤器。 - do_rescale (
bool, 可选, 默认为True) — 控制是否按指定的比例rescale_factor对图像进行缩放。可以在preprocess方法中被do_rescale参数覆盖。 - rescale_factor (
int或float, 可选, 默认为1/255) — 如果对图像进行缩放，则使用的缩放比例。可以在preprocess方法中被rescale_factor参数覆盖。控制是否对图像进行归一化。可以在preprocess方法中被do_normalize参数覆盖。 - do_normalize (
bool, 可选, 默认为True) — 是否对图像进行归一化。可以在preprocess方法中被do_normalize参数覆盖。 - image_mean (
float或List[float], 可选, 默认值为IMAGENET_DEFAULT_MEAN) — 用于对图像进行归一化的均值。可以是单个值，也可以是每个通道一个值的列表。可以在preprocess方法中通过image_mean参数覆盖。 - image_std (
float或List[float], 可选, 默认值为IMAGENET_DEFAULT_STD) — 用于对图像进行归一化的标准差值。可以是单个值，也可以是每个通道一个值的列表。可以在preprocess方法中通过image_std参数覆盖。 - do_convert_annotations (
bool, 可选, 默认值为True) — 控制是否将注释转换为 DETR 模型期望的格式。将边界框转换为(center_x, center_y, width, height)格式，范围为[0, 1]。可以在preprocess方法中通过do_convert_annotations参数覆盖。 - do_pad (
bool, 可选, 默认值为True) — 控制是否对图像进行填充。可以在preprocess方法中通过do_pad参数覆盖。如果为True，则将使用零对图像的底部和右侧进行填充。如果提供了pad_size，则图像将被填充到指定的大小。否则，图像将被填充到批次中最大高度和宽度。 - pad_size (
Dict[str, int], 可选) — 用于将图像填充到的大小{"height": int, "width" int}。必须大于预处理提供的任何图像大小。如果未提供pad_size，则图像将被填充到批次中最大高度和宽度。
构建 Grounding DINO 图像处理器。
preprocess
< source >( images: Union annotations: Union = None return_segmentation_masks: bool = None masks_path: Union = None do_resize: Optional = None size: Optional = None resample = None do_rescale: Optional = None rescale_factor: Union = None do_normalize: Optional = None do_convert_annotations: Optional = None image_mean: Union = None image_std: Union = None do_pad: Optional = None format: Union = None return_tensors: Union = None data_format: Union = <ChannelDimension.FIRST: 'channels_first'> input_data_format: Union = None pad_size: Optional = None **kwargs )
参数
- images (
ImageInput) — 要预处理的图像或图像批次。期望单个或批次的图像，像素值范围为 0 到 255。如果传入像素值在 0 到 1 之间的图像，请设置do_rescale=False。 - annotations (
AnnotationType或List[AnnotationType], 可选) — 与图像或图像批次关联的注释列表。如果注释用于目标检测，则注释应为包含以下键的字典：- “image_id” (
int): 图像 ID。 - “annotations” (
List[Dict]): 图像的注释列表。每个注释应为一个字典。图像可以没有注释，在这种情况下，列表应为空。如果注释用于分割，则注释应为包含以下键的字典： - “image_id” (
int): 图像 ID。 - “segments_info” (
List[Dict]): 图像的段列表。每个段应为一个字典。图像可以没有段，在这种情况下，列表应为空。 - “file_name” (
str): 图像的文件名。
- “image_id” (
- return_segmentation_masks (
bool, 可选, 默认为 self.return_segmentation_masks) — 是否返回分割蒙版。 - masks_path (
str或pathlib.Path, 可选) — 包含分割蒙版的目录的路径。 - do_resize (
bool, 可选, 默认为 self.do_resize) — 是否调整图像大小。 - size (
Dict[str, int], 可选, 默认为 self.size) — 调整大小后图像的(height, width)维度大小。可用选项包括：{"height": int, "width": int}: 图像将调整为确切的大小(height, width)。不要保持纵横比。{"shortest_edge": int, "longest_edge": int}: 图像将调整为最大大小，同时保持纵横比，并将最短边保持小于或等于shortest_edge，并将最长边保持小于或等于longest_edge。{"max_height": int, "max_width": int}: 图像将调整为最大大小，同时保持纵横比，并将高度保持小于或等于max_height，并将宽度保持小于或等于max_width。
- resample (
PILImageResampling, 可选, 默认为 self.resample) — 调整图像大小时使用的重采样过滤器。 - do_rescale (
bool, 可选, 默认为 self.do_rescale) — 是否重新缩放图像。 - rescale_factor (
float, 可选, 默认为 self.rescale_factor) — 重新缩放图像时使用的重新缩放因子。 - do_normalize (
bool, 可选, 默认为 self.do_normalize) — 是否归一化图像。 - do_convert_annotations (
bool, 可选, 默认为 self.do_convert_annotations) — 是否将注释转换为模型预期格式。将边界框从格式(top_left_x, top_left_y, width, height)转换为(center_x, center_y, width, height)并在相对坐标中。 - image_mean (
float或List[float], 可选, 默认值为 self.image_mean) — 归一化图像时使用的均值。 - image_std (
float或List[float], 可选, 默认值为 self.image_std) — 归一化图像时使用的标准差。 - do_pad (
bool, 可选, 默认值为 self.do_pad) — 是否填充图像。如果为True，将在图像底部和右侧用零填充。如果提供pad_size，图像将被填充到指定的尺寸。否则，图像将被填充到批次中的最大高度和宽度。 - format (
str或AnnotationFormat, 可选, 默认值为 self.format) — 注释的格式。 - return_tensors (
str或TensorType, 可选, 默认值为 self.return_tensors) — 要返回的张量类型。如果为None，将返回图像列表。 - data_format (
ChannelDimension或str, 可选, 默认值为ChannelDimension.FIRST) — 输出图像的通道维格式。可以是以下之一："channels_first"或ChannelDimension.FIRST：图像以 (num_channels, height, width) 格式。"channels_last"或ChannelDimension.LAST：图像以 (height, width, num_channels) 格式。- 未设置：使用输入图像的通道维格式。
- input_data_format (
ChannelDimension或str, 可选) — 输入图像的通道维格式。如果未设置，则从输入图像推断通道维格式。可以是以下之一："channels_first"或ChannelDimension.FIRST：图像以 (num_channels, height, width) 格式。"channels_last"或ChannelDimension.LAST：图像以 (height, width, num_channels) 格式。"none"或ChannelDimension.NONE：图像以 (height, width) 格式。
- pad_size (
Dict[str, int], 可选) — 要将图像填充到的尺寸{"height": int, "width" int}。必须大于预处理提供的任何图像尺寸。如果未提供pad_size，则图像将被填充到批次中的最大高度和宽度。
预处理图像或一批图像，以便模型可以使用它。
post_process_object_detection
< 源代码 >( outputs threshold: float = 0.1 target_sizes: Union = None ) → List[Dict]
参数
- outputs (
GroundingDinoObjectDetectionOutput) — 模型的原始输出。 - threshold (
float, 可选) — 用于保留目标检测预测的得分阈值。 - target_sizes (
torch.Tensor或List[Tuple[int, int]], 可选) — 形状为(batch_size, 2)的张量或包含每个图像目标大小(height, width)的元组列表 (Tuple[int, int])。如果未设置，则不会调整预测的大小。
返回
List[Dict]
字典列表，每个字典包含批次中图像的得分、标签和框，这些得分、标签和框是模型预测的。
将 GroundingDinoForObjectDetection 的原始输出转换为最终的边界框，格式为 (top_left_x, top_left_y, bottom_right_x, bottom_right_y)。
GroundingDinoProcessor
class transformers.GroundingDinoProcessor
< 源代码 >( image_processor tokenizer )
参数
- image_processor (
GroundingDinoImageProcessor) — GroundingDinoImageProcessor 的实例。图像处理器是必需的输入。 - tokenizer (
AutoTokenizer) — [‘PreTrainedTokenizer` 的实例。分词器是必需的输入。
构建一个 Grounding DINO 处理器，将 Deformable DETR 图像处理器和 BERT 分词器封装到一个处理器中。
GroundingDinoProcessor 提供了 GroundingDinoImageProcessor 和 AutoTokenizer 的所有功能。有关更多信息，请参见 __call__() 和 decode() 的文档字符串。
post_process_grounded_object_detection
< 源代码 >( outputs input_ids box_threshold: float = 0.25 text_threshold: float = 0.25 target_sizes: Union = None ) → List[Dict]
参数
- outputs (
GroundingDinoObjectDetectionOutput) — 模型的原始输出。 - text_threshold (
float, 可选, 默认为 0.25) — 用于保留文本检测预测的得分阈值。 - target_sizes (
torch.Tensor或List[Tuple[int, int]], 可选) — 形状为(batch_size, 2)的张量或包含每个图像目标大小(height, width)的元组列表 (Tuple[int, int])。如果未设置，则不会调整预测大小。
返回
List[Dict]
字典列表，每个字典包含批次中图像的得分、标签和框，这些得分、标签和框是模型预测的。
将 GroundingDinoForObjectDetection 的原始输出转换为最终的边界框，格式为 (top_left_x, top_left_y, bottom_right_x, bottom_right_y)，并获取关联的文本标签。
GroundingDinoConfig
class transformers.GroundingDinoConfig
< 来源 >( backbone_config = None backbone = None use_pretrained_backbone = False use_timm_backbone = False backbone_kwargs = None text_config = None num_queries = 900 encoder_layers = 6 encoder_ffn_dim = 2048 encoder_attention_heads = 8 decoder_layers = 6 decoder_ffn_dim = 2048 decoder_attention_heads = 8 is_encoder_decoder = True activation_function = 'relu' d_model = 256 dropout = 0.1 attention_dropout = 0.0 activation_dropout = 0.0 auxiliary_loss = False position_embedding_type = 'sine' num_feature_levels = 4 encoder_n_points = 4 decoder_n_points = 4 two_stage = True class_cost = 1.0 bbox_cost = 5.0 giou_cost = 2.0 bbox_loss_coefficient = 5.0 giou_loss_coefficient = 2.0 focal_alpha = 0.25 disable_custom_kernels = False max_text_len = 256 text_enhancer_dropout = 0.0 fusion_droppath = 0.1 fusion_dropout = 0.0 embedding_init_target = True query_dim = 4 decoder_bbox_embed_share = True two_stage_bbox_embed_share = False positional_embedding_temperature = 20 init_std = 0.02 layer_norm_eps = 1e-05 **kwargs )
参数
- backbone_config (
PretrainedConfig或dict, 可选, 默认值为ResNetConfig()) — 主干模型的配置。 - backbone (
str, 可选) — 当backbone_config为None时要使用的主干名称。如果use_pretrained_backbone为True，这将从 timm 或 transformers 库加载相应的预训练权重。如果use_pretrained_backbone为False，这将加载主干的配置并使用它来用随机权重初始化主干。 - use_pretrained_backbone (
bool, 可选, 默认值为False) — 是否使用主干的预训练权重。 - use_timm_backbone (
bool, 可选, 默认值为False) — 是否从 timm 库加载backbone。如果为False，则从 transformers 库加载主干。 - backbone_kwargs (
dict, 可选) — 传递给 AutoBackbone 的关键字参数，用于从检查点加载，例如{'out_indices': (0, 1, 2, 3)}。如果设置了backbone_config，则不能指定。 - text_config (
Union[AutoConfig, dict], 可选, 默认值为BertConfig) — 文本主干的配置对象或字典。 - num_queries (
int, 可选, 默认值为 900) — 对象查询的数量，即检测槽。这是 GroundingDinoModel 在单张图像中可以检测到的最大对象数量。 - encoder_layers (
int, 可选, 默认值为 6) — 编码器层的数量。 - encoder_ffn_dim (
int, 可选, 默认值为 2048) — 解码器中“中间”（通常称为前馈）层的维度。 - encoder_attention_heads (
int, 可选, 默认值为 8) — Transformer 编码器中每个注意力层的注意力头的数量。 - decoder_attention_heads (
int, 可选, 默认值为 8) — Transformer 解码器中每个注意力层中的注意力头的数量。 - is_encoder_decoder (
bool, 可选, 默认值为True) — 模型是否用作编码器/解码器。 - activation_function (
str或function, 可选, 默认值为"relu") — 编码器和池化器中的非线性激活函数（函数或字符串）。如果为字符串，则支持"gelu"、"relu"、"silu"和"gelu_new"。 - d_model (
int, 可选, 默认值为 256) — 层的维度。 - dropout (
float, 可选, 默认值为 0.1) — 嵌入、编码器和池化器中所有全连接层的丢弃概率。 - attention_dropout (
float, 可选, 默认值为 0.0) — 注意力概率的丢弃率。 - activation_dropout (
float, 可选, 默认值为 0.0) — 全连接层内激活的丢弃率。 - auxiliary_loss (
bool, 可选, 默认值为False) — 是否使用辅助解码损失（每个解码器层的损失）。 - position_embedding_type (
str, 可选, 默认值为"sine") — 在图像特征之上使用的位置嵌入类型。可以是"sine"或"learned"之一。 - decoder_n_points (
int, 可选, 默认值为 4) — 解码器中每个注意力头在每个特征级别中采样的键的数量。 - two_stage (
bool, 可选, 默认值为True) — 是否应用两阶段可变形DETR，其中区域建议也是由 Grounding DINO 的变体生成的，这些建议进一步馈送到解码器中以进行迭代边界框细化。 - class_cost (
float, 可选, 默认值为 1.0) — 匈牙利匹配成本中分类错误的相对权重。 - bbox_cost (
float, 可选, 默认值为 5.0) — 匈牙利匹配成本中边界框坐标的 L1 错误的相对权重。 - giou_cost (
float, 可选, 默认值为 2.0) — 匈牙利匹配成本中边界框的广义IoU损失的相对权重。 - bbox_loss_coefficient (
float, 可选, 默认值为 5.0) — 目标检测损失中 L1 边界框损失的相对权重。 - giou_loss_coefficient (
float, 可选, 默认值为 2.0) — 目标检测损失中广义IoU损失的相对权重。 - focal_alpha (
float, 可选, 默认值为 0.25) — 焦点损失中的 alpha 参数。 - disable_custom_kernels (
bool, 可选, 默认值为False) — 禁用使用自定义 CUDA 和 CPU 内核。此选项对于 ONNX 导出是必需的，因为自定义内核不受 PyTorch ONNX 导出支持。 - fusion_droppath (
float, 可选, 默认值为 0.1) — 融合模块的 droppath 率。 - fusion_dropout (
float, 可选, 默认值为 0.0) — 融合模块的 dropout 率。 - embedding_init_target (
bool, 可选, 默认值为True) — 是否用 Embedding 权重初始化目标。 - query_dim (
int, 可选, 默认值为 4) — 查询向量的维度。 - decoder_bbox_embed_share (
bool, 可选, 默认值为True) — 是否为所有解码器层共享 bbox 回归头。 - two_stage_bbox_embed_share (
bool, 可选, 默认值为False) — 是否在两阶段 bbox 生成器和区域提案生成之间共享 bbox 嵌入。 - positional_embedding_temperature (
float, 可选, 默认值为 20) — 与视觉骨干一起使用的正弦位置嵌入的温度。 - init_std (
float, 可选, 默认值为 0.02) — 初始化所有权重矩阵的 truncated_normal_initializer 的标准差。 - layer_norm_eps (
float, 可选, 默认值为 1e-05) — 层归一化层的 epsilon。
这是用于存储 GroundingDinoModel 配置的配置类。它用于根据指定的参数实例化 Grounding DINO 模型，定义模型架构。使用默认值实例化配置将产生与 Grounding DINO IDEA-Research/grounding-dino-tiny 架构类似的配置。
配置对象继承自 PretrainedConfig 并可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。
示例
>>> from transformers import GroundingDinoConfig, GroundingDinoModel
>>> # Initializing a Grounding DINO IDEA-Research/grounding-dino-tiny style configuration
>>> configuration = GroundingDinoConfig()
>>> # Initializing a model (with random weights) from the IDEA-Research/grounding-dino-tiny style configuration
>>> model = GroundingDinoModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configGroundingDinoModel
class transformers.GroundingDinoModel
< source >( config: GroundingDinoConfig )
参数
- config (GroundingDinoConfig) — 模型配置类，包含模型的所有参数。 使用配置文件初始化不会加载与模型关联的权重，只加载配置。 查看 from_pretrained() 方法加载模型权重。
Grounding DINO 模型的基本结构（包含一个主干网络和一个编码器-解码器 Transformer），输出原始隐藏状态，没有任何特定的头部。
该模型继承自 PreTrainedModel。 查看父类文档，了解库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头部等）。
该模型也是 PyTorch torch.nn.Module 子类。 将其用作常规 PyTorch 模块，并参考 PyTorch 文档了解所有与一般用法和行为相关的事项。
forward
< source >( pixel_values: Tensor input_ids: Tensor token_type_ids: Optional = None attention_mask: Optional = None pixel_mask: Optional = None encoder_outputs = None output_attentions = None output_hidden_states = None return_dict = None ) → transformers.models.grounding_dino.modeling_grounding_dino.GroundingDinoModelOutput or tuple(torch.FloatTensor)
参数
- pixel_values (
torch.FloatTensorof shape(batch_size, num_channels, height, width)) — 像素值。 如果你提供了填充，默认情况下它会被忽略。像素值可以通过 AutoImageProcessor 获取。 详细信息请查看 GroundingDinoImageProcessor.call()。
- input_ids (
torch.LongTensorof shape(batch_size, text_sequence_length)) — 输入序列标记在词表的索引。 如果你提供了填充，默认情况下它会被忽略。索引可以通过 AutoTokenizer 获取。 详细信息请查看
GroundingDinoTokenizer.__call__。 - token_type_ids (
torch.LongTensorof shape(batch_size, text_sequence_length), optional) — 段标记索引，用于指示输入的第一部分和第二部分。 索引在[0, 1]中选择：0 对应于sentence A标记，1 对应于sentence B标记 - attention_mask (
torch.LongTensorof shape(batch_size, text_sequence_length), optional) — 用于避免对填充标记索引进行注意的掩码。 掩码值在[0, 1]中选择:- 1 表示真实标记（即 **未掩码**），
- 0 表示填充标记（即 **掩码**）。
- pixel_mask (
torch.LongTensor形状为(batch_size, height, width), 可选) — 避免对填充像素值执行注意的掩码。掩码值在[0, 1]中选择：- 1 代表真实像素（即**未被掩码**），
- 0 代表填充像素（即**被掩码**）。
- encoder_outputs (
tuple(tuple(torch.FloatTensor), 可选) — 元组包含 (last_hidden_state_vision, 可选:last_hidden_state_text, 可选:vision_hidden_states, 可选:text_hidden_states, 可选:attentions)last_hidden_state_vision形状为(batch_size, sequence_length, hidden_size), 可选) 是编码器最后一层输出的隐藏状态序列。用于解码器的交叉注意力。 - output_attentions (
bool, 可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量中的attentions。 - output_hidden_states (
bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量中的hidden_states。 - return_dict (
bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通元组。
返回
transformers.models.grounding_dino.modeling_grounding_dino.GroundingDinoModelOutput 或 tuple(torch.FloatTensor)
一个 transformers.models.grounding_dino.modeling_grounding_dino.GroundingDinoModelOutput 或 torch.FloatTensor 的元组（如果传递了 return_dict=False 或者当 config.return_dict=False 时），包含各种元素，具体取决于配置 (GroundingDinoConfig) 和输入。
- last_hidden_state (
torch.FloatTensor形状为(batch_size, num_queries, hidden_size)) — 模型解码器最后一层输出的隐藏状态序列。 - init_reference_points (
torch.FloatTensor形状为(batch_size, num_queries, 4)) — 传递到 Transformer 解码器的初始参考点。 - intermediate_hidden_states (
torch.FloatTensor形状为(batch_size, config.decoder_layers, num_queries, hidden_size)) — 堆叠的中间隐藏状态（解码器每一层的输出）。 - intermediate_reference_points (
torch.FloatTensor形状为(batch_size, config.decoder_layers, num_queries, 4)) — 堆叠的中间参考点（解码器每一层的参考点）。 - decoder_hidden_states (
tuple(torch.FloatTensor), 可选，当传递了output_hidden_states=True或当config.output_hidden_states=True时返回) —torch.FloatTensor的元组（一个用于嵌入的输出 + 一个用于每一层的输出） 形状为(batch_size, num_queries, hidden_size)。解码器每一层输出的隐藏状态以及初始嵌入输出。 - decoder_attentions (
tuple(tuple(torch.FloatTensor)), 可选，当传递了output_attentions=True或当config.output_attentions=True时返回) —torch.FloatTensor的元组元组（每一层一个注意力）形状为(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 之后的注意力权重，用于计算自注意力、交叉注意力和多尺度可变形注意力头中的加权平均。 - encoder_last_hidden_state_vision (
torch.FloatTensor形状为(batch_size, sequence_length, hidden_size), 可选) — 模型编码器最后一层输出的隐藏状态序列。 - encoder_last_hidden_state_text (
torch.FloatTensor形状为(batch_size, sequence_length, hidden_size), 可选) — 模型编码器最后一层输出的隐藏状态序列。 - encoder_vision_hidden_states (
tuple(torch.FloatTensor), 可选，当传递了output_hidden_states=True或当config.output_hidden_states=True时返回) —torch.FloatTensor的元组（一个用于视觉嵌入的输出 + 一个用于每一层的输出） 形状为(batch_size, sequence_length, hidden_size)。视觉编码器每一层输出的隐藏状态以及初始嵌入输出。 - encoder_text_hidden_states (
tuple(torch.FloatTensor), 可选，当传递了output_hidden_states=True或当config.output_hidden_states=True时返回) —torch.FloatTensor的元组（一个用于文本嵌入的输出 + 一个用于每一层的输出） 形状为(batch_size, sequence_length, hidden_size)。文本编码器每一层输出的隐藏状态以及初始嵌入输出。 - encoder_attentions (
tuple(tuple(torch.FloatTensor)), 可选，当传递了output_attentions=True或当config.output_attentions=True时返回) —torch.FloatTensor的元组元组（每一层一个注意力）形状为(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 之后的注意力权重，用于计算文本-视觉注意力、视觉-文本注意力、文本增强器（自注意力）和多尺度可变形注意力头中的加权平均。注意力 softmax，用于计算双注意力头中的加权平均。 - enc_outputs_class (
torch.FloatTensor形状为(batch_size, sequence_length, config.num_labels), 可选，当config.two_stage=True时返回) — 预测的边界框分数，其中前config.num_queries个得分最高的边界框被选为第一阶段的区域提议。边界框二元分类（即前景和背景）的输出。 - enc_outputs_coord_logits (
torch.FloatTensor形状为(batch_size, sequence_length, 4), 可选，当config.two_stage=True时返回) — 第一阶段中预测的边界框坐标的 logits。
The GroundingDinoModel 正向方法覆盖了 __call__ 特殊方法。
虽然正向传递的配方需要在此函数中定义，但应该随后调用 Module 实例，而不是调用此函数，因为前者负责运行前处理和后处理步骤，而后者会静默地忽略它们。
示例
>>> from transformers import AutoProcessor, AutoModel
>>> from PIL import Image
>>> import requests
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)
>>> text = "a cat."
>>> processor = AutoProcessor.from_pretrained("IDEA-Research/grounding-dino-tiny")
>>> model = AutoModel.from_pretrained("IDEA-Research/grounding-dino-tiny")
>>> inputs = processor(images=image, text=text, return_tensors="pt")
>>> outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 900, 256]GroundingDinoForObjectDetection
class transformers.GroundingDinoForObjectDetection
< 来源 >( config: GroundingDinoConfig )
参数
- 配置 (GroundingDinoConfig) — 模型配置类，包含模型所有参数。使用配置文 件初始化不会加载与模型关联的权重，只加载配置。查看 from_pretrained() 方法来加载模型权重。
Grounding DINO 模型（包含一个主干网络和一个编码器-解码器 Transformer） 以及其上的目标检测头，用于 COCO 检测等任务。
该模型继承自 PreTrainedModel。 查看父类文档，了解库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头部等）。
该模型也是 PyTorch torch.nn.Module 子类。 将其用作常规 PyTorch 模块，并参考 PyTorch 文档了解所有与一般用法和行为相关的事项。
forward
< 来源 >( pixel_values: FloatTensor input_ids: LongTensor token_type_ids: LongTensor = None attention_mask: LongTensor = None pixel_mask: 可选 encoder_outputs: 联合 output_attentions: 可选 output_hidden_states: 可选 return_dict: 可选 labels: 列表 ) → transformers.models.grounding_dino.modeling_grounding_dino.GroundingDinoObjectDetectionOutput 或 tuple(torch.FloatTensor)
参数
- 像素值 (
torch.FloatTensor形状为(batch_size, num_channels, height, width)) — 像素值。如果您提供填充，则默认情况下将忽略填充。像素值可以通过 AutoImageProcessor 获取。查看 GroundingDinoImageProcessor.call() 了解详情。
- 输入ID (
torch.LongTensor形状为(batch_size, text_sequence_length)) — 词汇表中输入序列标记的索引。如果您提供填充，则默认情况下将忽略填充。索引可以通过 AutoTokenizer 获取。查看
GroundingDinoTokenizer.__call__了解详情。 - 词语类型ID (
torch.LongTensor形状为(batch_size, text_sequence_length), 可选) — 分割标记索引，表示输入的第一部分和第二部分。索引在[0, 1]中选择：0 对应于句子A标记，1 对应于句子B标记 - 注意力掩码 (
torch.LongTensor形状为(batch_size, text_sequence_length), 可选) — 掩码以避免对填充标记索引执行注意力。掩码值在[0, 1]中选择：- 1 表示真实标记（即 **未屏蔽**），
- 0 表示填充标记（即 **屏蔽**）。
- 像素掩码 (
torch.LongTensor形状为(batch_size, height, width), 可选) — 掩码以避免对填充像素值执行注意力。掩码值在[0, 1]中选择：- 1 表示真实像素（即 **未屏蔽**），
- 0 表示填充像素（即 **屏蔽**）。
- encoder_outputs (
tuple(tuple(torch.FloatTensor), 可选) — 元组包含 (last_hidden_state_vision, 可选:last_hidden_state_text, 可选:vision_hidden_states, 可选:text_hidden_states, 可选:attentions)last_hidden_state_vision形状为(batch_size, sequence_length, hidden_size), 可选) 是编码器最后一层输出的隐藏状态序列。用于解码器的交叉注意力。 - output_attentions (
bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量中的attentions。 - output_hidden_states (
bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量中的hidden_states。 - return_dict (
bool, 可选) — 是否返回一个 ModelOutput 而不是一个简单的元组。 - labels (
List[Dict]长度为(batch_size,), 可选) — 用于计算二部匹配损失的标签。字典列表，每个字典至少包含以下 2 个键：“class_labels” 和 “boxes”（分别是批次中图像的类别标签和边界框）。类别标签本身应该是长度为(图像中边界框的数量,)的torch.LongTensor，而框应该是形状为(图像中边界框的数量, 4)的torch.FloatTensor。
返回
transformers.models.grounding_dino.modeling_grounding_dino.GroundingDinoObjectDetectionOutput 或 tuple(torch.FloatTensor)
一个 transformers.models.grounding_dino.modeling_grounding_dino.GroundingDinoObjectDetectionOutput 或 torch.FloatTensor 的元组（如果传递了 return_dict=False 或 config.return_dict=False），包含取决于配置 (GroundingDinoConfig) 和输入的不同元素。
- loss (
torch.FloatTensor形状为(1,), 可选，在提供labels时返回) — 总损失，作为类别预测负对数似然（交叉熵）和边界框损失的线性组合。后者定义为 L1 损失和广义尺度不变 IoU 损失的线性组合。 - loss_dict (
Dict, 可选) — 包含单个损失的字典。用于记录。 - logits (
torch.FloatTensor形状为(batch_size, num_queries, num_classes + 1)) — 所有查询的分类 logits（包括无对象）。 - pred_boxes (
torch.FloatTensor形状为(batch_size, num_queries, 4)) — 所有查询的归一化框坐标，表示为 (中心_x，中心_y，宽度，高度)。这些值在 [0, 1] 中归一化，相对于批次中每个图像的大小（不考虑可能的填充）。您可以使用~GroundingDinoProcessor.post_process_object_detection来检索未归一化的边界框。 - auxiliary_outputs (
List[Dict], 可选) — 可选，仅在激活辅助损失时返回（即config.auxiliary_loss设置为True）并且提供了标签。它是一个字典列表，包含每个解码器层的两个以上键（logits和pred_boxes）。 - last_hidden_state (
torch.FloatTensor形状为(batch_size, num_queries, hidden_size), 可选) — 模型解码器最后一层输出的隐藏状态序列。 - decoder_hidden_states (
tuple(torch.FloatTensor), 可选，当传递了output_hidden_states=True或当config.output_hidden_states=True时返回) —torch.FloatTensor的元组（一个用于嵌入的输出 + 一个用于每一层的输出） 形状为(batch_size, num_queries, hidden_size)。解码器每一层输出的隐藏状态以及初始嵌入输出。 - decoder_attentions (
tuple(tuple(torch.FloatTensor)), 可选，当传递了output_attentions=True或当config.output_attentions=True时返回) —torch.FloatTensor的元组元组（每一层一个注意力）形状为(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 之后的注意力权重，用于计算自注意力、交叉注意力和多尺度可变形注意力头中的加权平均。 - encoder_last_hidden_state_vision (
torch.FloatTensor形状为(batch_size, sequence_length, hidden_size), 可选) — 模型编码器最后一层输出的隐藏状态序列。 - encoder_last_hidden_state_text (
torch.FloatTensor形状为(batch_size, sequence_length, hidden_size), 可选) — 模型编码器最后一层输出的隐藏状态序列。 - encoder_vision_hidden_states (
tuple(torch.FloatTensor), 可选，当传递了output_hidden_states=True或当config.output_hidden_states=True时返回) —torch.FloatTensor的元组（一个用于视觉嵌入的输出 + 一个用于每一层的输出） 形状为(batch_size, sequence_length, hidden_size)。视觉编码器每一层输出的隐藏状态以及初始嵌入输出。 - encoder_text_hidden_states (
tuple(torch.FloatTensor), 可选，当传递了output_hidden_states=True或当config.output_hidden_states=True时返回) —torch.FloatTensor的元组（一个用于文本嵌入的输出 + 一个用于每一层的输出） 形状为(batch_size, sequence_length, hidden_size)。文本编码器每一层输出的隐藏状态以及初始嵌入输出。 - encoder_attentions (
tuple(tuple(torch.FloatTensor)), 可选，当传递output_attentions=True或config.output_attentions=True时返回) —torch.FloatTensor元组的元组（每层一个注意力）形状为(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 后的注意力权重，用于计算文本-视觉注意力、视觉-文本注意力、文本增强器（自注意力）和多尺度可变形注意力头中的加权平均值。 - intermediate_hidden_states (
torch.FloatTensor形状为(batch_size, config.decoder_layers, num_queries, hidden_size)) — 堆叠的中间隐藏状态（解码器每一层的输出）。 - intermediate_reference_points (
torch.FloatTensor形状为(batch_size, config.decoder_layers, num_queries, 4)) — 堆叠的中间参考点（解码器每一层的参考点）。 - init_reference_points (
torch.FloatTensor形状为(batch_size, num_queries, 4)) — 传递到 Transformer 解码器的初始参考点。 - enc_outputs_class (
torch.FloatTensor形状为(batch_size, sequence_length, config.num_labels), 可选，当config.two_stage=True时返回) — 预测的边界框分数，其中前config.num_queries个得分最高的边界框被选为第一阶段的区域提议。边界框二元分类（即前景和背景）的输出。 - enc_outputs_coord_logits (
torch.FloatTensor形状为(batch_size, sequence_length, 4), 可选，当config.two_stage=True时返回) — 第一阶段中预测的边界框坐标的 logits。
The GroundingDinoForObjectDetection 正向方法，覆盖了 __call__ 特殊方法。
虽然正向传递的配方需要在此函数中定义，但应该随后调用 Module 实例，而不是调用此函数，因为前者负责运行前处理和后处理步骤，而后者会静默地忽略它们。
示例
>>> from transformers import AutoProcessor, GroundingDinoForObjectDetection
>>> from PIL import Image
>>> import requests
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)
>>> text = "a cat."
>>> processor = AutoProcessor.from_pretrained("IDEA-Research/grounding-dino-tiny")
>>> model = GroundingDinoForObjectDetection.from_pretrained("IDEA-Research/grounding-dino-tiny")
>>> inputs = processor(images=image, text=text, return_tensors="pt")
>>> outputs = model(**inputs)
>>> # convert outputs (bounding boxes and class logits) to COCO API
>>> target_sizes = torch.tensor([image.size[::-1]])
>>> results = processor.image_processor.post_process_object_detection(
... outputs, threshold=0.35, target_sizes=target_sizes
... )[0]
>>> for score, label, box in zip(results["scores"], results["labels"], results["boxes"]):
... box = [round(i, 1) for i in box.tolist()]
... print(f"Detected {label.item()} with confidence " f"{round(score.item(), 2)} at location {box}")
Detected 1 with confidence 0.45 at location [344.8, 23.2, 637.4, 373.8]
Detected 1 with confidence 0.41 at location [11.9, 51.6, 316.6, 472.9]