Transformers 文档
膨胀邻域注意力Transformer
并获得增强的文档体验
开始使用
膨胀邻域注意力Transformer
概述
DiNAT 由 Ali Hassani 和 Humphrey Shi 在 Dilated Neighborhood Attention Transformer 中提出。
它通过添加膨胀邻域注意力模式来捕获全局上下文，从而扩展 NAT，并在此基础上显示出显著的性能改进。
论文摘要如下：
Transformer 正迅速成为跨模态、领域和任务中应用最广泛的深度学习架构之一。在视觉领域，除了对普通 Transformer 的持续努力外，分层 Transformer 也因其性能和易于集成到现有框架中而受到广泛关注。这些模型通常采用局部注意力机制，例如滑动窗口邻域注意力（NA）或 Swin Transformer 的移位窗口自注意力。虽然在降低自注意力二次复杂度方面有效，但局部注意力削弱了自注意力最理想的两个特性：长距离相互依赖建模和全局感受野。在本文中，我们引入了膨胀邻域注意力（DiNA），它是 NA 的一种自然、灵活且高效的扩展，可以捕获更多全局上下文并以不增加额外成本的方式指数级扩展感受野。NA 的局部注意力和 DiNA 的稀疏全局注意力相互补充，因此我们引入了膨胀邻域注意力 Transformer（DiNAT），这是一种基于两者的新型分层视觉 Transformer。DiNAT 变体在 NAT、Swin 和 ConvNeXt 等强大基线上取得了显著改进。我们的大型模型在 COCO 目标检测中比其 Swin 对应模型快 1.5% 的 box AP，在 COCO 实例分割中快 1.3% 的 mask AP，在 ADE20K 语义分割中快 1.1% 的 mIoU。结合新框架，我们的大型变体是 COCO（58.2 PQ）和 ADE20K（48.5 PQ）上最新的全景分割模型，以及 Cityscapes（44.5 AP）和 ADE20K（35.4 AP）上的实例分割模型（无额外数据）。它还在 ADE20K（58.2 mIoU）上与最新的专用语义分割模型相匹配，并在 Cityscapes（84.5 mIoU）上排名第二（无额外数据）。
具有不同膨胀值的邻域注意力。摘自原始论文。该模型由 Ali Hassani 贡献。原始代码可以在这里找到。
使用技巧
DiNAT 可用作*骨干网络*。当 output_hidden_states = True 时，它将同时输出 hidden_states 和 reshaped_hidden_states。reshaped_hidden_states 的形状为 (batch, num_channels, height, width)，而不是 (batch_size, height, width, num_channels)。
备注
- DiNAT 依赖于 NATTEN 的邻域注意力（Neighborhood Attention）和膨胀邻域注意力（Dilated Neighborhood Attention）实现。您可以通过参考 shi-labs.com/natten 安装预构建的 Linux 轮子，或通过运行
pip install natten在您的系统上构建。请注意，后者可能需要一段时间才能编译。NATTEN 尚不支持 Windows 设备。 - 目前仅支持补丁大小为 4。
资源
一份官方 Hugging Face 和社区（由 🌎 表示）资源列表，可帮助您开始使用 DiNAT。
- DinatForImageClassification 由此 示例脚本 和 笔记本 支持。
- 另请参阅：图像分类任务指南
如果您有兴趣在此处提交资源，请随时开启 Pull Request，我们将对其进行审查！该资源最好能展示一些新内容，而不是重复现有资源。
DinatConfig
class transformers.DinatConfig
< 源文件 >( patch_size = 4 num_channels = 3 embed_dim = 64 depths = [3, 4, 6, 5] num_heads = [2, 4, 8, 16] kernel_size = 7 dilations = [[1, 8, 1], [1, 4, 1, 4], [1, 2, 1, 2, 1, 2], [1, 1, 1, 1, 1]] mlp_ratio = 3.0 qkv_bias = True hidden_dropout_prob = 0.0 attention_probs_dropout_prob = 0.0 drop_path_rate = 0.1 hidden_act = 'gelu' initializer_range = 0.02 layer_norm_eps = 1e-05 layer_scale_init_value = 0.0 out_features = None out_indices = None **kwargs )
参数
- patch_size (
int, 可选, 默认为 4) — 每个块的大小（分辨率）。注意：目前仅支持块大小为 4。 - num_channels (
int, 可选, 默认为 3) — 输入通道数。 - embed_dim (
int, 可选, 默认为 64) — 块嵌入的维度。 - depths (
list[int], 可选, 默认为[3, 4, 6, 5]) — 编码器每个层级的层数。 - num_heads (
list[int], 可选, 默认为[2, 4, 8, 16]) — Transformer 编码器每个层中的注意力头数。 - kernel_size (
int, 可选, 默认为 7) — 邻域注意力核大小。 - dilations (
list[list[int]], 可选, 默认为[[1, 8, 1], [1, 4, 1, 4], [1, 2, 1, 2, 1, 2], [1, 1, 1, 1, 1]]) — Transformer 编码器中每个 NA 层的膨胀值。 - mlp_ratio (
float, 可选, 默认为 3.0) — MLP 隐藏维度与嵌入维度的比率。 - qkv_bias (
bool, 可选, 默认为True) — 是否应向查询、键和值添加可学习的偏差。 - hidden_dropout_prob (
float, 可选, 默认为 0.0) — 嵌入层和编码器中所有全连接层的 dropout 概率。 - attention_probs_dropout_prob (
float, 可选, 默认为 0.0) — 注意力概率的 dropout 比率。 - drop_path_rate (
float, 可选, 默认为 0.1) — 随机深度率。 - hidden_act (
str或function, 可选, 默认为"gelu") — 编码器中的非线性激活函数（函数或字符串）。如果为字符串，支持"gelu"、"relu"、"selu"和"gelu_new"。 - initializer_range (
float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。 - layer_norm_eps (
float, 可选, 默认为 1e-05) — 层归一化层使用的 epsilon 值。 - layer_scale_init_value (
float, 可选, 默认为 0.0) — 层缩放的初始值。如果 <=0 则禁用。 - out_features (
list[str], 可选) — 如果用作骨干网络，则为要输出的特征列表。可以是"stem"、"stage1"、"stage2"等（取决于模型有多少个阶段）。如果未设置且out_indices已设置，则默认为相应的阶段。如果两者都未设置，则默认为最后一个阶段。必须与stage_names属性中定义的顺序相同。 - out_indices (
list[int], 可选) — 如果用作骨干网络，则为要输出的特征索引列表。可以是 0、1、2 等（取决于模型有多少个阶段）。如果未设置且out_features已设置，则默认为相应的阶段。如果两者都未设置，则默认为最后一个阶段。必须与stage_names属性中定义的顺序相同。
这是用于存储 DinatModel 配置的配置类。它用于根据指定的参数实例化 Dinat 模型，定义模型架构。使用默认值实例化配置将生成与 Dinat shi-labs/dinat-mini-in1k-224 架构相似的配置。
配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请参阅 PretrainedConfig 的文档。
示例
>>> from transformers import DinatConfig, DinatModel
>>> # Initializing a Dinat shi-labs/dinat-mini-in1k-224 style configuration
>>> configuration = DinatConfig()
>>> # Initializing a model (with random weights) from the shi-labs/dinat-mini-in1k-224 style configuration
>>> model = DinatModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configDinatModel
class transformers.DinatModel
< 源文件 >( config add_pooling_layer = True )
参数
- config (DinatModel) — 包含模型所有参数的模型配置类。使用配置文件初始化并不会加载与模型相关的权重，仅加载配置。请查看 from_pretrained() 方法来加载模型权重。
- add_pooling_layer (
bool, 可选, 默认为True) — 是否添加池化层
裸 Dinat 模型，输出原始隐藏状态，顶部没有任何特定头部。
该模型继承自 PreTrainedModel。请查看超类文档，了解该库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、修剪头部等）。
该模型也是 PyTorch torch.nn.Module 子类。将其作为常规 PyTorch 模块使用，并参考 PyTorch 文档以了解所有与一般用法和行为相关的事项。
前向传播
< 源文件 >( pixel_values: typing.Optional[torch.FloatTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.models.dinat.modeling_dinat.DinatModelOutput 或 tuple(torch.FloatTensor)
参数
- pixel_values (
torch.FloatTensor，形状为(batch_size, num_channels, image_size, image_size)，可选) — 对应输入图像的张量。像素值可以使用{image_processor_class}获得。有关详细信息，请参见{image_processor_class}.__call__（{processor_class}使用{image_processor_class}处理图像）。 - output_attentions (
bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量中的attentions。 - output_hidden_states (
bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量中的hidden_states。 - return_dict (
bool, 可选) — 是否返回 ModelOutput 而不是纯元组。
返回
transformers.models.dinat.modeling_dinat.DinatModelOutput 或 tuple(torch.FloatTensor)
一个 transformers.models.dinat.modeling_dinat.DinatModelOutput 或 torch.FloatTensor 元组（如果传递 return_dict=False 或 config.return_dict=False 时），包含根据配置 (DinatConfig) 和输入而变化的各种元素。
-
last_hidden_state (形状为
(batch_size, sequence_length, hidden_size)的torch.FloatTensor, 可选，默认为None) — 模型最后一层输出的隐藏状态序列。 -
pooler_output (
torch.FloatTensor，形状为(batch_size, hidden_size)，可选，当传递add_pooling_layer=True时返回) — 最后一层隐藏状态的平均池化。 -
hidden_states (
tuple[torch.FloatTensor, ...], 可选, 当传入output_hidden_states=True或config.output_hidden_states=True时返回) —torch.FloatTensor的元组（一个用于嵌入层输出，如果模型有嵌入层，+ 一个用于每一层输出），形状为(batch_size, sequence_length, hidden_size)。模型在每个层输出的隐藏状态以及可选的初始嵌入输出。
-
attentions (
tuple[torch.FloatTensor, ...], 可选, 当传入output_attentions=True或config.output_attentions=True时返回) —torch.FloatTensor的元组（每一层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。
-
reshaped_hidden_states (
tuple(torch.FloatTensor), 可选, 当传入output_hidden_states=True或config.output_hidden_states=True时返回) —torch.FloatTensor的元组（一个用于嵌入层输出 + 一个用于每个阶段输出），形状为(batch_size, hidden_size, height, width)。模型在每层输出处的隐藏状态，以及重新调整以包含空间维度的初始嵌入输出。
transformers.DinatModel 的前向传播方法，覆盖了 __call__ 特殊方法。
虽然前向传播的实现必须在此函数中定义，但在此之后应调用 Module 实例，而不是直接调用此函数，因为前者负责运行预处理和后处理步骤，而后者则会默默地忽略它们。
DinatForImageClassification
class transformers.DinatForImageClassification
< 源文件 >( config )
参数
- config (DinatForImageClassification) — 包含模型所有参数的模型配置类。使用配置文件初始化并不会加载与模型相关的权重，仅加载配置。请查看 from_pretrained() 方法来加载模型权重。
Dinat 模型 Transformer，顶部带有一个图像分类头（[CLS] 标记最终隐藏状态顶部的线性层），例如用于 ImageNet。
该模型继承自 PreTrainedModel。请查看超类文档，了解该库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、修剪头部等）。
该模型也是 PyTorch torch.nn.Module 子类。将其作为常规 PyTorch 模块使用，并参考 PyTorch 文档以了解所有与一般用法和行为相关的事项。
前向传播
< 源文件 >( pixel_values: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.models.dinat.modeling_dinat.DinatImageClassifierOutput 或 tuple(torch.FloatTensor)
参数
- pixel_values (
torch.FloatTensor，形状为(batch_size, num_channels, image_size, image_size)，可选) — 对应输入图像的张量。像素值可以使用{image_processor_class}获得。有关详细信息，请参见{image_processor_class}.__call__（{processor_class}使用{image_processor_class}处理图像）。 - labels (
torch.LongTensor，形状为(batch_size,)，可选) — 用于计算图像分类/回归损失的标签。索引应在[0, ..., config.num_labels - 1]范围内。如果config.num_labels == 1，则计算回归损失（均方误差损失）；如果config.num_labels > 1，则计算分类损失（交叉熵损失）。 - output_attentions (
bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量中的attentions。 - output_hidden_states (
bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量中的hidden_states。 - return_dict (
bool, 可选) — 是否返回 ModelOutput 而不是纯元组。
返回
transformers.models.dinat.modeling_dinat.DinatImageClassifierOutput 或 tuple(torch.FloatTensor)
一个 transformers.models.dinat.modeling_dinat.DinatImageClassifierOutput 或 torch.FloatTensor 元组（如果传递 return_dict=False 或 config.return_dict=False 时），包含根据配置 (DinatConfig) 和输入而变化的各种元素。
-
loss (形状为
(1,)的torch.FloatTensor，可选，当提供labels时返回) — 分类损失（如果 config.num_labels==1，则为回归损失）。 -
logits (形状为
(batch_size, config.num_labels)的torch.FloatTensor) — 分类（如果 config.num_labels==1，则为回归）分数（SoftMax 之前）。 -
hidden_states (
tuple[torch.FloatTensor, ...], 可选, 当传入output_hidden_states=True或config.output_hidden_states=True时返回) —torch.FloatTensor的元组（一个用于嵌入层输出，如果模型有嵌入层，+ 一个用于每一层输出），形状为(batch_size, sequence_length, hidden_size)。模型在每个层输出的隐藏状态以及可选的初始嵌入输出。
-
attentions (
tuple[torch.FloatTensor, ...], 可选, 当传入output_attentions=True或config.output_attentions=True时返回) —torch.FloatTensor的元组（每一层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。
-
reshaped_hidden_states (
tuple(torch.FloatTensor), 可选, 当传入output_hidden_states=True或config.output_hidden_states=True时返回) —torch.FloatTensor的元组（一个用于嵌入层输出 + 一个用于每个阶段输出），形状为(batch_size, hidden_size, height, width)。模型在每层输出处的隐藏状态，以及重新调整以包含空间维度的初始嵌入输出。
transformers.DinatForImageClassification 的前向传播方法，覆盖了 __call__ 特殊方法。
虽然前向传播的实现必须在此函数中定义，但在此之后应调用 Module 实例，而不是直接调用此函数，因为前者负责运行预处理和后处理步骤，而后者则会默默地忽略它们。
示例
>>> from transformers import AutoImageProcessor, DinatForImageClassification
>>> import torch
>>> from datasets import load_dataset
>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]
>>> image_processor = AutoImageProcessor.from_pretrained("shi-labs/dinat-mini-in1k-224")
>>> model = DinatForImageClassification.from_pretrained("shi-labs/dinat-mini-in1k-224")
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...