Transformers

( **kwargs: typing_extensions.Unpack[transformers.models.conditional_detr.image_processing_conditional_detr.ConditionalDetrImageProcessorKwargs] )

参数

format (str, kwargs, 可选, 默认值为 AnnotationFormat.COCO_DETECTION) — 标注的数据格式。可选 “coco_detection” 或 “coco_panoptic”。
do_convert_annotations (bool, kwargs, 可选, 默认值为 True) — 控制是否将标注转换为 CONDITIONAL_DETR 模型预期的格式。将边界框转换为 (center_x, center_y, width, height) 格式，且数值范围在 [0, 1] 之间。可以通过 preprocess 方法中的 do_convert_annotations 参数进行覆盖。
**kwargs (ImagesKwargs, 可选) — 其他图像预处理选项。模型特定的 kwargs 列在上面；请查阅 TypedDict 类以获取支持的参数完整列表。

构建一个 ConditionalDetrImageProcessor 图像处理器。

preprocess

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']] annotations: dict[str, int | str | list[dict]] | list[dict[str, int | str | list[dict]]] | None = None return_segmentation_masks: bool | None = None masks_path: str | pathlib.Path | None = None **kwargs: typing_extensions.Unpack[transformers.models.conditional_detr.image_processing_conditional_detr.ConditionalDetrImageProcessorKwargs] ) → ~image_processing_base.BatchFeature

参数

images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — 待预处理的图像。期望单个图像或一批图像，像素值范围在 0 到 255 之间。如果传入像素值在 0 到 1 之间的图像，请设置 do_rescale=False。
annotations (AnnotationType 或 list[AnnotationType], 可选) — 根据应用于图像的填充（padding）进行转换的标注。
return_segmentation_masks (bool, 可选, 默认值为 self.return_segmentation_masks) — 是否返回分割掩码。
masks_path (str 或 pathlib.Path, 可选) — 包含分割掩码的目录路径。
format (str, kwargs, 可选, 默认值为 AnnotationFormat.COCO_DETECTION) — 标注的数据格式。可选 “coco_detection” 或 “coco_panoptic”。
do_convert_annotations (bool, kwargs, 可选, 默认值为 True) — 控制是否将标注转换为 CONDITIONAL_DETR 模型预期的格式。将边界框转换为 (center_x, center_y, width, height) 格式，且数值范围在 [0, 1] 之间。可以通过 preprocess 方法中的 do_convert_annotations 参数进行覆盖。
return_tensors (str 或 TensorType, 可选) — 如果设置为 'pt' 则返回堆叠的张量，否则返回张量列表。
**kwargs (ImagesKwargs, 可选) — 额外的图像预处理选项。模型特定的 kwargs 列在上面；请参阅 TypedDict 类以获取支持参数的完整列表。

~image_processing_base.BatchFeature

data (dict) — 由 call 方法返回的列表/数组/张量字典（“pixel_values”等）。
tensor_type (Union[None, str, TensorType], optional) — 您可以在此处提供 tensor_type 以在初始化时将整数列表转换为 PyTorch/Numpy 张量。

ConditionalDetrImageProcessorPil

class transformers.ConditionalDetrImageProcessorPil

( **kwargs: typing_extensions.Unpack[transformers.models.conditional_detr.image_processing_pil_conditional_detr.ConditionalDetrImageProcessorKwargs] )

参数

format (str, kwargs, 可选, 默认为 AnnotationFormat.COCO_DETECTION) — 标注的数据格式。可以是 “coco_detection” 或 “coco_panoptic”。
do_convert_annotations (bool, kwargs, 可选, 默认为 True) — 控制是否将标注转换为 CONDITIONAL_DETR 模型所期望的格式。将边界框转换为 (center_x, center_y, width, height) 格式并归一化到 [0, 1] 范围内。可以被 preprocess 方法中的 do_convert_annotations 参数覆盖。
**kwargs (ImagesKwargs, 可选) — 额外的图像预处理选项。模型特定的 kwargs 列在上面；请参阅 TypedDict 类以获取支持参数的完整列表。

构建一个 ConditionalDetrImageProcessor 图像处理器。

preprocess

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']] annotations: dict[str, int | str | list[dict]] | list[dict[str, int | str | list[dict]]] | None = None return_segmentation_masks: bool | None = None masks_path: str | pathlib.Path | None = None **kwargs: typing_extensions.Unpack[transformers.models.conditional_detr.image_processing_pil_conditional_detr.ConditionalDetrImageProcessorKwargs] ) → ~image_processing_base.BatchFeature

参数

images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — 要预处理的图像。期望单个图像或一批图像，其像素值范围为 0 到 255。如果传入像素值在 0 到 1 之间的图像，请设置 do_rescale=False。
annotations (AnnotationType 或 list[AnnotationType], 可选) — 根据应用于图像的填充进行转换的标注。
return_segmentation_masks (bool, 可选, 默认为 self.return_segmentation_masks) — 是否返回分割掩码。
masks_path (str 或 pathlib.Path, 可选) — 包含分割掩码的目录路径。
format (str, kwargs, 可选, 默认为 AnnotationFormat.COCO_DETECTION) — 标注的数据格式。可以是 “coco_detection” 或 “coco_panoptic”。
do_convert_annotations (bool, kwargs, 可选, 默认为 True) — 控制是否将标注转换为 CONDITIONAL_DETR 模型所期望的格式。将边界框转换为 (center_x, center_y, width, height) 格式并归一化到 [0, 1] 范围内。可以被 preprocess 方法中的 do_convert_annotations 参数覆盖。
return_tensors (str 或 TensorType, 可选) — 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
**kwargs (ImagesKwargs, 可选) — 额外的图像预处理选项。模型特定的 kwargs 列在上面；请参阅 TypedDict 类以获取支持参数的完整列表。

~image_processing_base.BatchFeature

data (dict) — 由 call 方法返回的列表/数组/张量字典（“pixel_values”等）。
tensor_type (Union[None, str, TensorType], optional) — 您可以在此处提供 tensor_type 以在初始化时将整数列表转换为 PyTorch/Numpy 张量。

post_process_object_detection

( outputs threshold: float = 0.5 target_sizes: transformers.utils.generic.TensorType | list[tuple] = None top_k: int = 100 ) → list[Dict]

参数

outputs (ConditionalDetrObjectDetectionOutput) — 模型的原始输出。
threshold (float, 可选) — 保留目标检测预测的分数阈值。
target_sizes (torch.Tensor 或 list[tuple[int, int]], 可选) — 形状为 (batch_size, 2) 的张量或包含批次中每张图像目标大小（高，宽）的元组列表。如果留空（None），则不会调整预测结果的大小。
top_k (int, 可选, 默认为 100) — 在通过阈值过滤之前，仅保留前 k 个边界框。

list[Dict]

一个字典列表，每个字典包含模型预测的批处理中每张图像的分数、标签和框。

将 ConditionalDetrForObjectDetection 的原始输出转换为 (top_left_x, top_left_y, bottom_right_x, bottom_right_y) 格式的最终边界框。仅支持 PyTorch。

post_process_instance_segmentation

( outputs threshold: float = 0.5 mask_threshold: float = 0.5 overlap_mask_area_threshold: float = 0.8 target_sizes: list[tuple[int, int]] | None = None return_coco_annotation: bool | None = False ) → list[Dict]

参数

outputs (ConditionalDetrForSegmentation) — 模型的原始输出。
threshold (float, 可选, 默认为 0.5) — 保留预测实例掩码的概率分数阈值。
mask_threshold (float, 可选, 默认为 0.5) — 将预测掩码转换为二进制值时使用的阈值。
overlap_mask_area_threshold (float, 可选, 默认为 0.8) — 用于合并或丢弃每个二进制实例掩码内小的断开部分的重叠掩码面积阈值。
target_sizes (list[Tuple], 可选) — 长度为 batch_size 的列表，其中每个列表项 (tuple[int, int]]) 对应于请求的每个预测的最终大小（高，宽）。如果未设置，则不会调整预测结果的大小。
return_coco_annotation (bool, 可选) — 默认为 False。如果设置为 True，则以 COCO 行程编码 (RLE) 格式返回分割图。

list[Dict]

字典列表，每个图像一个，每个字典包含两个键

segmentation — 形状为 (height, width) 的张量，其中每个像素代表一个 segment_id，如果 return_coco_annotation 设置为 True，则为分割图的 list[List] 行程编码 (RLE)。如果未发现超过 threshold 的掩码，则设置为 None。
segments_info — 包含每个段的附加信息的字典。
- id — 表示 segment_id 的整数。
- label_id — 表示与 segment_id 对应的标签/语义类 ID 的整数。
- score — 具有 segment_id 的段的预测分数。

将 ConditionalDetrForSegmentation 的输出转换为实例分割预测。仅支持 PyTorch。

post_process_semantic_segmentation

( outputs target_sizes: list[tuple[int, int]] | None = None ) → list[torch.Tensor]

参数

outputs (ConditionalDetrForSegmentation) — 模型的原始输出。
target_sizes (list[tuple[int, int]], 可选) — 包含批次中每张图像目标尺寸（高，宽）的元组列表。如果未设置，则不会对预测结果进行调整大小。

list[torch.Tensor]

一个长度为 batch_size 的列表，其中每个元素都是一个形状为 (height, width) 的语义分割图，对应于 target_sizes 条目（如果指定了 target_sizes）。每个 torch.Tensor 的条目对应一个语义类别 ID。

将 ConditionalDetrForSegmentation 的输出转换为语义分割图。仅支持 PyTorch。

post_process_panoptic_segmentation

( outputs threshold: float = 0.5 mask_threshold: float = 0.5 overlap_mask_area_threshold: float = 0.8 label_ids_to_fuse: set[int] | None = None target_sizes: list[tuple[int, int]] | None = None ) → list[Dict]

参数

outputs (ConditionalDetrForSegmentation) — 来自 ConditionalDetrForSegmentation 的输出。
threshold (float, 可选, 默认为 0.5) — 保留预测实例掩码的概率分数阈值。
mask_threshold (float, 可选, 默认为 0.5) — 将预测掩码转换为二进制值时使用的阈值。
overlap_mask_area_threshold (float, 可选, 默认为 0.8) — 用于合并或丢弃每个二进制实例掩码内的小型离散区域的重叠掩码面积阈值。
label_ids_to_fuse (Set[int], 可选) — 此集合中的标签对应的所有实例将被融合在一起。例如，我们可以说图像中只能有一个“天空”，但可以有多个人，因此天空的标签ID应包含在该集合中，而人的标签ID则不应包含。
target_sizes (list[Tuple], 可选) — 长度为 (batch_size) 的列表，其中每个列表项 (tuple[int, int]) 对应批次中每个预测结果所请求的最终尺寸（高，宽）。如果未设置，则不会对预测结果进行调整大小。

list[Dict]

字典列表，每个图像一个，每个字典包含两个键

segmentation — 一个形状为 (height, width) 的张量，其中每个像素代表一个 segment_id，如果没有找到超过 threshold 的掩码，则为 None。如果指定了 target_sizes，则分割结果会被调整大小以符合对应的 target_sizes 条目。
segments_info — 包含每个段的附加信息的字典。
- id — 表示 segment_id 的整数。
- label_id — 表示与 segment_id 对应的标签/语义类 ID 的整数。
- was_fused — 一个布尔值，如果 label_id 在 label_ids_to_fuse 中则为 True，否则为 False。同一类别/标签的多个实例已融合并分配了一个单独的 segment_id。
- score — 具有 segment_id 的段的预测分数。

将 ConditionalDetrForSegmentation 的输出转换为图像全景分割预测。仅支持 PyTorch。

ConditionalDetrModel

class transformers.ConditionalDetrModel

( config: ConditionalDetrConfig )

参数

config (ConditionalDetrConfig) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载模型相关的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。

纯 CONDITIONAL_DETR 模型（包含骨干网络和编码器-解码器 Transformer），输出原始隐藏状态，顶部没有任何特定头部。

该模型继承自 PreTrainedModel。请查看超类文档以了解该库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头部等）。

此模型也是一个 PyTorch torch.nn.Module 子类。像普通的 PyTorch Module 一样使用它，并参考 PyTorch 文档了解一般用法和行为的所有相关信息。

forward

( pixel_values: FloatTensor pixel_mask: torch.LongTensor | None = None decoder_attention_mask: torch.LongTensor | None = None encoder_outputs: torch.FloatTensor | None = None inputs_embeds: torch.FloatTensor | None = None decoder_inputs_embeds: torch.FloatTensor | None = None **kwargs: typing_extensions.Unpack[transformers.utils.generic.TransformersKwargs] ) → ConditionalDetrModelOutput 或 tuple(torch.FloatTensor)

参数

pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, image_size, image_size)) — 对应于输入图像的张量。像素值可以使用 image_processor_class 获取。详情请参阅 image_processor_class.__call__（processor_class 使用 image_processor_class 来处理图像）。
pixel_mask (torch.LongTensor，形状为 (batch_size, height, width)，可选) — 用于避免对填充像素值进行注意力计算的掩码。掩码值在 [0, 1] 中选择：
- 1 表示真实像素（即未被遮罩），
- 0 表示填充像素（即被遮罩）。
什么是注意力掩码？
decoder_attention_mask (torch.FloatTensor，形状为 (batch_size, num_queries)，可选) — 默认不使用。可用于遮罩对象查询（object queries）。
encoder_outputs (torch.FloatTensor，可选) — 元组包含 (last_hidden_state，可选：hidden_states，可选：attentions) last_hidden_state，形状为 (batch_size, sequence_length, hidden_size)，可选，是编码器最后一层输出的隐藏状态序列。用于解码器的交叉注意力机制。
inputs_embeds (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size)，可选) — 可选，除了传入扁平化特征图（骨干网络 + 投影层的输出），你还可以选择直接传入图像的扁平化表示。
decoder_inputs_embeds (torch.FloatTensor，形状为 (batch_size, num_queries, hidden_size)，可选) — 可选，除了使用零张量初始化查询，你还可以选择直接传入嵌入表示。

ConditionalDetrModelOutput 或 tuple(torch.FloatTensor)

一个 ConditionalDetrModelOutput 或一个 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），根据配置（None）和输入包含各种元素。

ConditionalDetrModel 的前向传播方法，覆盖了 __call__ 特殊方法。

虽然 forward pass 的实现需要在此函数中定义，但你应该在之后调用 Module 实例而不是这个，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。

last_hidden_state (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size)) — 模型解码器最后一层输出的隐藏状态序列。
past_key_values (EncoderDecoderCache，可选，在传递了 use_cache=True 或当 config.use_cache=True 时返回) — 这是一个 EncoderDecoderCache 实例。有关更多详细信息，请参阅我们的 KV 缓存指南。

包含预先计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于（参见 past_key_values 输入）加速顺序解码。
decoder_hidden_states (tuple(torch.FloatTensor), optional, 当传入 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组（一个用于嵌入的输出，如果模型有嵌入层，+ 一个用于每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

解码器在每个层输出的隐藏状态，加上可选的初始嵌入输出。
decoder_attentions (tuple(torch.FloatTensor), optional, 当传入 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 元组（每个层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

解码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均。
cross_attentions (tuple(torch.FloatTensor), optional, returned when output_attentions=True is passed or when config.output_attentions=True) — Tuple of torch.FloatTensor (one for each layer) of shape (batch_size, num_heads, sequence_length, sequence_length).

解码器交叉注意力层的注意力权重，在注意力 softmax 之后，用于计算交叉注意力头中的加权平均。
encoder_last_hidden_state (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size)，可选) — 模型编码器最后一层输出的隐藏状态序列。
encoder_hidden_states (tuple(torch.FloatTensor), optional, 当传入 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组（一个用于嵌入的输出，如果模型有嵌入层，+ 一个用于每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

编码器在每个层输出的隐藏状态，加上可选的初始嵌入输出。
encoder_attentions (tuple(torch.FloatTensor), optional, 当传入 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 元组（每个层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

编码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均。
intermediate_hidden_states (torch.FloatTensor of shape (config.decoder_layers, batch_size, sequence_length, hidden_size), optional, returned when config.auxiliary_loss=True) — Intermediate decoder activations, i.e. the output of each decoder layer, each of them gone through a layernorm.
reference_points (torch.FloatTensor，形状为 (config.decoder_layers, batch_size, num_queries, 2 (锚点))) — 参考点（解码器每一层的参考点）。

示例

>>> from transformers import AutoImageProcessor, AutoModel
>>> from PIL import Image
>>> import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("microsoft/conditional-detr-resnet-50")
>>> model = AutoModel.from_pretrained("microsoft/conditional-detr-resnet-50")

>>> # prepare image for the model
>>> inputs = image_processor(images=image, return_tensors="pt")

>>> # forward pass
>>> outputs = model(**inputs)

>>> # the last hidden states are the final query embeddings of the Transformer decoder
>>> # these are of shape (batch_size, num_queries, hidden_size)
>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 300, 256]

ConditionalDetrForObjectDetection

class transformers.ConditionalDetrForObjectDetection

( config: ConditionalDetrConfig )

参数

config (ConditionalDetrConfig) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载模型相关的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。

带有顶部目标检测头的 CONDITIONAL_DETR 模型（包含骨干网络和编码器-解码器 Transformer），用于 COCO 检测等任务。

该模型继承自 PreTrainedModel。请查看超类文档以了解该库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头部等）。

此模型也是一个 PyTorch torch.nn.Module 子类。像普通的 PyTorch Module 一样使用它，并参考 PyTorch 文档了解一般用法和行为的所有相关信息。

forward

( pixel_values: FloatTensor pixel_mask: torch.LongTensor | None = None decoder_attention_mask: torch.LongTensor | None = None encoder_outputs: torch.FloatTensor | None = None inputs_embeds: torch.FloatTensor | None = None decoder_inputs_embeds: torch.FloatTensor | None = None labels: list[dict] | None = None **kwargs: typing_extensions.Unpack[transformers.utils.generic.TransformersKwargs] ) → ConditionalDetrObjectDetectionOutput 或 tuple(torch.FloatTensor)

参数

pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, image_size, image_size)) — 对应于输入图像的张量。像素值可以使用 image_processor_class 获取。详情请参阅 image_processor_class.__call__（processor_class 使用 image_processor_class 来处理图像）。
pixel_mask (torch.LongTensor，形状为 (batch_size, height, width)，可选) — 用于避免对填充像素值进行注意力计算的掩码。掩码值在 [0, 1] 中选择：
- 1 表示真实像素（即未被遮罩），
- 0 表示填充像素（即被遮罩）。
什么是注意力掩码？
decoder_attention_mask (torch.FloatTensor，形状为 (batch_size, num_queries)，可选) — 默认不使用。可用于屏蔽目标查询 (object queries)。
encoder_outputs (torch.FloatTensor，可选) — 元组包含 (last_hidden_state，可选: hidden_states，可选: attentions)，last_hidden_state 形状为 (batch_size, sequence_length, hidden_size)，可选，是编码器最后一层输出的隐藏状态序列。用于解码器的交叉注意力机制。
inputs_embeds (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size)，可选) — 可选，除了传入展平后的特征图（骨干网络 + 投影层的输出），你还可以选择直接传入图像的展平表示。
decoder_inputs_embeds (torch.FloatTensor，形状为 (batch_size, num_queries, hidden_size)，可选) — 可选，除了使用零张量初始化查询外，你还可以选择直接传入嵌入表示。
labels (list[Dict]，长度为 (batch_size,)，可选) — 用于计算二分匹配损失的标签。由字典组成的列表，每个字典至少包含以下两个键：‘class_labels’ 和 ‘boxes’（分别是批次中某张图像的类别标签和边界框）。类别标签本身应为长度为 (图像中边界框数量,) 的 torch.LongTensor，边界框应为形状为 (图像中边界框数量, 4) 的 torch.FloatTensor。

ConditionalDetrObjectDetectionOutput 或 tuple(torch.FloatTensor)

一个 ConditionalDetrObjectDetectionOutput 或一个 torch.FloatTensor 元组（如果传入 return_dict=False 或 config.return_dict=False），根据配置（None）和输入包含不同的元素。

ConditionalDetrForObjectDetection 的前向传播方法，覆盖了 __call__ 特殊方法。

虽然 forward pass 的实现需要在此函数中定义，但你应该在之后调用 Module 实例而不是这个，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。

loss (torch.FloatTensor of shape (1,), optional, 当提供labels时返回)) — 总损失，是类别预测的负对数似然（交叉熵）和边界框损失的线性组合。后者定义为 L1 损失和广义尺度不变 IoU 损失的线性组合。
loss_dict (Dict, 可选) — 包含各个损失的字典。用于日志记录。
logits (形状为 (batch_size, num_queries, num_classes + 1) 的 torch.FloatTensor) — 所有查询的分类 logits（包括无对象）。
pred_boxes (torch.FloatTensor，形状为 (batch_size, num_queries, 4)) — 所有查询的归一化边界框坐标，表示为 (center_x, center_y, width, height)。这些值相对于批次中每张图像的大小（忽略可能的填充）在 [0, 1] 范围内进行归一化。你可以使用 post_process_object_detection() 来获取未归一化的边界框。
auxiliary_outputs (list[Dict], optional) — 可选，仅在启用了辅助损失（即config.auxiliary_loss设置为True）且提供了标签时返回。它是一个字典列表，包含每个解码器层的上述两个键（logits和pred_boxes）。
last_hidden_state (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor，可选) — 模型解码器最后一层输出的隐藏状态序列。
decoder_hidden_states (tuple[torch.FloatTensor], 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组（如果模型有嵌入层，则一个用于嵌入层的输出，+ 一个用于每一层的输出），形状为 (batch_size, sequence_length, hidden_size)。

解码器在每一层输出时的隐藏状态以及初始嵌入输出。
decoder_attentions (tuple[torch.FloatTensor], 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 元组（每一层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

解码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均。
cross_attentions (tuple[torch.FloatTensor], 可选，当传入 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

解码器交叉注意力层的注意力权重，在注意力 softmax 之后，用于计算交叉注意力头中的加权平均。
encoder_last_hidden_state (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可选, 默认为 None) — 模型编码器最后一层输出的隐状态序列。
encoder_hidden_states (tuple[torch.FloatTensor], 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组（如果模型有嵌入层，则一个用于嵌入层的输出，+ 一个用于每一层的输出），形状为 (batch_size, sequence_length, hidden_size)。

编码器在每一层输出时的隐藏状态以及初始嵌入输出。
encoder_attentions (tuple[torch.FloatTensor], 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 元组（每一层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

编码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均。

示例

>>> from transformers import AutoImageProcessor, AutoModelForObjectDetection
>>> from PIL import Image
>>> import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("microsoft/conditional-detr-resnet-50")
>>> model = AutoModelForObjectDetection.from_pretrained("microsoft/conditional-detr-resnet-50")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)

>>> # convert outputs (bounding boxes and class logits) to Pascal VOC format (xmin, ymin, xmax, ymax)
>>> target_sizes = torch.tensor([image.size[::-1]])
>>> results = image_processor.post_process_object_detection(outputs, threshold=0.5, target_sizes=target_sizes)[
...     0
... ]
>>> for score, label, box in zip(results["scores"], results["labels"], results["boxes"]):
...     box = [round(i, 2) for i in box.tolist()]
...     print(
...         f"Detected {model.config.id2label[label.item()]} with confidence "
...         f"{round(score.item(), 3)} at location {box}"
...     )
Detected remote with confidence 0.833 at location [38.31, 72.1, 177.63, 118.45]
Detected cat with confidence 0.831 at location [9.2, 51.38, 321.13, 469.0]
Detected cat with confidence 0.804 at location [340.3, 16.85, 642.93, 370.95]
Detected remote with confidence 0.683 at location [334.48, 73.49, 366.37, 190.01]
Detected couch with confidence 0.535 at location [0.52, 1.19, 640.35, 475.1]

ConditionalDetrForSegmentation

class transformers.ConditionalDetrForSegmentation

( config: ConditionalDetrConfig )

参数

config (ConditionalDetrConfig) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只会加载配置。查看 from_pretrained() 方法以加载模型权重。

CONDITIONAL_DETR 模型（由骨干网络和编码器-解码器 Transformer 组成），顶部带有分割头，用于 COCO 全景分割等任务。

该模型继承自 PreTrainedModel。请查看超类文档以了解该库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头部等）。

此模型也是一个 PyTorch torch.nn.Module 子类。像普通的 PyTorch Module 一样使用它，并参考 PyTorch 文档了解一般用法和行为的所有相关信息。

forward