音频频谱图 Transformer

概述

音频频谱图 Transformer 模型在 AST: Audio Spectrogram Transformer 中由 Yuan Gong、Yu-An Chung、James Glass 提出。音频频谱图 Transformer 通过将音频转换为图像（频谱图），将 Vision Transformer 应用于音频。该模型获得了音频分类的最先进结果。

以下是论文摘要

在过去十年中，卷积神经网络 (CNN) 已被广泛采用作为端到端音频分类模型的主要构建块，其旨在学习从音频频谱图到相应标签的直接映射。为了更好地捕获长距离全局上下文，最近的趋势是在 CNN 之上添加自注意力机制，形成 CNN-注意力混合模型。然而，尚不清楚是否必须依赖 CNN，以及纯粹基于注意力的神经网络是否足以在音频分类中获得良好的性能。在本文中，我们通过引入音频频谱图 Transformer (AST) 来回答这个问题，这是第一个用于音频分类的无卷积、纯粹基于注意力的模型。我们在各种音频分类基准上评估了 AST，它在 AudioSet 上实现了 0.485 mAP、在 ESC-50 上实现了 95.6% 的准确率以及在 Speech Commands V2 上实现了 98.1% 的准确率，获得了新的最先进的结果。

音频频谱图 Transformer 架构。摘自原始论文。

此模型由 nielsr 贡献。原始代码可以在此处找到。

使用技巧

在您自己的数据集上微调音频频谱图 Transformer (AST) 时，建议注意输入归一化（以确保输入的均值为 0，标准差为 0.5）。ASTFeatureExtractor 负责处理此问题。请注意，默认情况下它使用 AudioSet 的均值和标准差。您可以查看 ast/src/get_norm_stats.py，了解作者如何计算下游数据集的统计信息。
请注意，AST 需要较低的学习率（作者使用的学习率比他们在 PSLA 论文中提出的 CNN 模型小 10 倍），并且收敛速度很快，因此请为您的任务搜索合适的学习率和学习率调度器。

使用缩放点积注意力 (SDPA)

PyTorch 包含一个原生的缩放点积注意力 (SDPA) 运算符，作为 torch.nn.functional 的一部分。此函数包含多种实现，可以根据输入和正在使用的硬件应用。有关更多信息，请参阅官方文档或 GPU 推理页面。

当实现可用时，SDPA 默认用于 torch>=2.1.1，但您也可以在 from_pretrained() 中设置 attn_implementation="sdpa" 以显式请求使用 SDPA。

from transformers import ASTForAudioClassification
model = ASTForAudioClassification.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593", attn_implementation="sdpa", torch_dtype=torch.float16)
...

为了获得最佳加速，我们建议以半精度加载模型（例如 torch.float16 或 torch.bfloat16）。

在本地基准测试 (A100-40GB, PyTorch 2.3.0, OS Ubuntu 22.04) 中，使用 float32 和 MIT/ast-finetuned-audioset-10-10-0.4593 模型，我们看到了以下推理期间的加速。

批次大小	平均推理时间 (毫秒)，eager 模式	平均推理时间 (毫秒)，sdpa 模型	加速，Sdpa / Eager (x)
1	27	6	4.5
2	12	6	2
4	21	8	2.62
8	40	14	2.86

资源

Hugging Face 官方和社区 (🌎 表示) 资源的列表，可帮助您开始使用音频频谱图 Transformer。

音频分类

一个演示使用 AST 进行音频分类推理的 notebook 可以在这里找到。
ASTForAudioClassification 由此示例脚本和notebook 支持。
另请参阅：音频分类。

如果您有兴趣提交资源以包含在此处，请随时打开 Pull Request，我们将对其进行审核！理想情况下，该资源应展示一些新的内容，而不是重复现有资源。

ASTConfig

class transformers.ASTConfig

< 源代码 >

( hidden_size = 768 num_hidden_layers = 12 num_attention_heads = 12 intermediate_size = 3072 hidden_act = 'gelu' hidden_dropout_prob = 0.0 attention_probs_dropout_prob = 0.0 initializer_range = 0.02 layer_norm_eps = 1e-12 patch_size = 16 qkv_bias = True frequency_stride = 10 time_stride = 10 max_length = 1024 num_mel_bins = 128 **kwargs )

参数

hidden_size (int, 可选的，默认为 768) — 编码器层和池化器层的维度。
num_hidden_layers (int, 可选的，默认为 12) — Transformer 编码器中隐藏层的数量。
num_attention_heads (int, 可选的，默认为 12) — Transformer 编码器中每个注意力层的注意力头数。
intermediate_size (int, 可选的，默认为 3072) — Transformer 编码器中“中间”（即，前馈）层的维度。
hidden_act (str 或 function, 可选的，默认为 "gelu") — 编码器和池化器中的非线性激活函数（函数或字符串）。如果为字符串，则支持 "gelu"、"relu"、"selu" 和 "gelu_new"。
hidden_dropout_prob (float, 可选的，默认为 0.0) — 嵌入层、编码器和池化器中所有全连接层的 dropout 概率。
attention_probs_dropout_prob (float, optional, defaults to 0.0) — 注意力概率的 dropout 比率。
initializer_range (float, optional, defaults to 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。
layer_norm_eps (float, optional, defaults to 1e-12) — layer normalization 层使用的 epsilon 值。
patch_size (int, optional, defaults to 16) — 每个 patch 的大小（分辨率）。
qkv_bias (bool, optional, defaults to True) — 是否向 queries, keys 和 values 添加 bias。
frequency_stride (int, optional, defaults to 10) — 对频谱图进行 patchify 时使用的频率步幅。
time_stride (int, optional, defaults to 10) — 对频谱图进行 patchify 时使用的时间步幅。
max_length (int, optional, defaults to 1024) — 频谱图的时间维度。
num_mel_bins (int, optional, defaults to 128) — 频谱图的频率维度（Mel 频率箱的数量）。

这是用于存储 ASTModel 配置的配置类。它用于根据指定的参数实例化 AST 模型，定义模型架构。使用默认值实例化配置将产生与 AST MIT/ast-finetuned-audioset-10-10-0.4593 架构类似的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请阅读 PretrainedConfig 的文档。

示例

>>> from transformers import ASTConfig, ASTModel

>>> # Initializing a AST MIT/ast-finetuned-audioset-10-10-0.4593 style configuration
>>> configuration = ASTConfig()

>>> # Initializing a model (with random weights) from the MIT/ast-finetuned-audioset-10-10-0.4593 style configuration
>>> model = ASTModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ASTFeatureExtractor

class transformers.ASTFeatureExtractor

< source >

( feature_size = 1 sampling_rate = 16000 num_mel_bins = 128 max_length = 1024 padding_value = 0.0 do_normalize = True mean = -4.2677393 std = 4.5689974 return_attention_mask = False **kwargs )

参数

feature_size (int, optional, defaults to 1) — 提取特征的特征维度。
sampling_rate (int, optional, defaults to 16000) — 音频文件应被数字化的采样率，以赫兹 (Hz) 表示。
num_mel_bins (int, optional, defaults to 128) — Mel 频率箱的数量。
max_length (int, optional, defaults to 1024) — 填充/截断提取特征的最大长度。
do_normalize (bool, optional, defaults to True) — 是否使用 mean 和 std 来标准化 log-Mel 特征。
mean (float, optional, defaults to -4.2677393) — 用于标准化 log-Mel 特征的均值。默认使用 AudioSet 均值。
std (float, optional, defaults to 4.5689974) — 用于标准化 log-Mel 特征的标准差值。默认使用 AudioSet 标准差。
return_attention_mask (bool, optional, defaults to False) — 是否 call() 应该返回 attention_mask。

构建 Audio Spectrogram Transformer (AST) 特征提取器。

此特征提取器继承自 SequenceFeatureExtractor，其中包含大多数主要方法。用户应参考此超类以获取有关这些方法的更多信息。

此类使用 TorchAudio（如果已安装）或 numpy（否则）从原始语音中提取 mel 滤波器组特征，将其填充/截断为固定长度，并使用均值和标准差对其进行标准化。

call

< source >

( raw_speech: typing.Union[numpy.ndarray, typing.List[float], typing.List[numpy.ndarray], typing.List[typing.List[float]]] sampling_rate: typing.Optional[int] = None return_tensors: typing.Union[str, transformers.utils.generic.TensorType, NoneType] = None **kwargs )

参数

raw_speech (np.ndarray, List[float], List[np.ndarray], List[List[float]]) — 要填充的序列或批次序列。每个序列可以是 numpy 数组、浮点值列表、numpy 数组列表或浮点值列表的列表。必须是单声道音频，而不是立体声，即每个时间步的单个浮点数。
sampling_rate (int, optional) — raw_speech 输入被采样的采样率。强烈建议在前向调用中传递 sampling_rate，以防止静默错误。
return_tensors (str or TensorType, optional) — 如果设置，将返回 tensors 而不是 python 整数列表。可接受的值为：
- 'tf'：返回 TensorFlow tf.constant 对象。
- 'pt'：返回 PyTorch torch.Tensor 对象。
- 'np'：返回 Numpy np.ndarray 对象。

用于特征化和准备模型输入的主要方法，可处理一个或多个序列。

ASTModel

class transformers.ASTModel

< source >

( config: ASTConfig )

参数

config (ASTConfig) — 带有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，仅加载配置。查看 from_pretrained() 方法来加载模型权重。

裸 AST 模型 Transformer，输出原始隐藏状态，顶部没有任何特定的头部。此模型是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参阅 PyTorch 文档以了解与常规用法和行为相关的所有事项。

forward

< source >

( input_values: typing.Optional[torch.Tensor] = None head_mask: typing.Optional[torch.Tensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.BaseModelOutputWithPooling 或 tuple(torch.FloatTensor)

参数

input_values (torch.FloatTensor，形状为 (batch_size, max_length, num_mel_bins)) — 从原始音频波形中提取的浮点值梅尔特征。原始音频波形可以通过将 .flac 或 .wav 音频文件加载到 List[float] 类型或 numpy.ndarray 类型的数组中来获得，例如通过 soundfile 库 (pip install soundfile)。为了将数组准备为 input_features，应该使用 AutoFeatureExtractor 来提取梅尔特征、填充并转换为 torch.FloatTensor 类型的张量。请参阅 call()
head_mask (torch.FloatTensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于使自注意力模块的选定头无效的掩码。在 [0, 1] 中选择的掩码值：
- 1 表示头部未被掩蔽，
- 0 表示头部被掩蔽。
output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
return_dict (bool，可选) — 是否返回 ModelOutput 而不是普通元组。

返回值

transformers.modeling_outputs.BaseModelOutputWithPooling 或 tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.BaseModelOutputWithPooling 或 torch.FloatTensor 元组 (如果传递 return_dict=False 或当 config.return_dict=False 时)，包含各种元素，具体取决于配置 (ASTConfig) 和输入。

last_hidden_state (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出端的隐藏状态序列。
pooler_output (torch.FloatTensor，形状为 (batch_size, hidden_size)) — 序列的第一个标记 (分类标记) 的最后一层隐藏状态，在通过用于辅助预训练任务的层进一步处理之后。例如，对于 BERT 系列模型，这会返回通过线性层和 tanh 激活函数处理后的分类标记。线性层权重通过预训练期间的下一个句子预测 (分类) 目标进行训练。
hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组 (如果模型具有嵌入层，则为嵌入输出一个，+ 每层输出一个)，形状为 (batch_size, sequence_length, hidden_size)。

模型在每层输出端的隐藏状态，加上可选的初始嵌入输出。
attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 元组 (每层一个)，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。

ASTModel forward 方法，覆盖了 __call__ 特殊方法。

虽然 forward 传递的配方需要在该函数中定义，但应该在之后调用 Module 实例而不是此函数，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。

示例

>>> from transformers import AutoProcessor, ASTModel
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation", trust_remote_code=True)
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> processor = AutoProcessor.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593")
>>> model = ASTModel.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593")

>>> # audio file is decoded on the fly
>>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 1214, 768]

ASTForAudioClassification

class transformers.ASTForAudioClassification

< source >

( config: ASTConfig )

参数

config (ASTConfig) — 带有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，仅加载配置。查看 from_pretrained() 方法来加载模型权重。

带有音频分类头部的音频频谱 Transformer 模型 (池化输出顶部的线性层)，例如用于 AudioSet、Speech Commands v2 等数据集。

此模型是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参阅 PyTorch 文档以了解与常规用法和行为相关的所有事项。

forward

< source >

( input_values: typing.Optional[torch.Tensor] = None head_mask: typing.Optional[torch.Tensor] = None labels: typing.Optional[torch.Tensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.SequenceClassifierOutput 或 tuple(torch.FloatTensor)

参数

input_values (torch.FloatTensor，形状为 (batch_size, max_length, num_mel_bins)) — 从原始音频波形中提取的浮点值梅尔特征。原始音频波形可以通过将 .flac 或 .wav 音频文件加载到 List[float] 类型或 numpy.ndarray 类型的数组中来获得，例如通过 soundfile 库 (pip install soundfile)。为了将数组准备为 input_features，应该使用 AutoFeatureExtractor 来提取梅尔特征、填充并转换为 torch.FloatTensor 类型的张量。请参阅 call()
head_mask (torch.FloatTensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于使自注意力模块的选定头无效的掩码。在 [0, 1] 中选择的掩码值：
- 1 表示头部未被掩蔽，
- 0 表示头部被掩蔽。
output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
return_dict (bool，可选) — 是否返回 ModelOutput 而不是普通元组。
labels (torch.LongTensor，形状为 (batch_size,)，可选) — 用于计算音频分类/回归损失的标签。索引应在 [0, ..., config.num_labels - 1] 中。如果 config.num_labels == 1，则计算回归损失 (均方误差损失)；如果 config.num_labels > 1，则计算分类损失 (交叉熵)。

返回值

transformers.modeling_outputs.SequenceClassifierOutput 或 tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.SequenceClassifierOutput 或 torch.FloatTensor 元组 (如果传递 return_dict=False 或当 config.return_dict=False 时)，包含各种元素，具体取决于配置 (ASTConfig) 和输入。

loss (torch.FloatTensor，形状为 (1,)，可选，当提供 labels 时返回) — 分类 (或回归，如果 config.num_labels==1) 损失。
logits (torch.FloatTensor，形状为 (batch_size, config.num_labels)) — 分类 (或回归，如果 config.num_labels==1) 分数 (在 SoftMax 之前)。
hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组 (如果模型具有嵌入层，则为嵌入输出一个，+ 每层输出一个)，形状为 (batch_size, sequence_length, hidden_size)。

模型在每层输出端的隐藏状态，加上可选的初始嵌入输出。
attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 元组 (每层一个)，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。

ASTForAudioClassification forward 方法，覆盖了 __call__ 特殊方法。

示例

>>> from transformers import AutoFeatureExtractor, ASTForAudioClassification
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation", trust_remote_code=True)
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593")
>>> model = ASTForAudioClassification.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593")

>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_ids = torch.argmax(logits, dim=-1).item()
>>> predicted_label = model.config.id2label[predicted_class_ids]
>>> predicted_label
'Speech'

>>> # compute loss - target_label is e.g. "down"
>>> target_label = model.config.id2label[0]
>>> inputs["labels"] = torch.tensor([model.config.label2id[target_label]])
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
0.17

< > 在 GitHub 上更新

Transformers

音频频谱图 Transformer

概述

使用技巧

使用缩放点积注意力 (SDPA)

资源

ASTConfig

class transformers.ASTConfig

ASTFeatureExtractor

class transformers.ASTFeatureExtractor

__call__

ASTModel

class transformers.ASTModel

forward

ASTForAudioClassification

class transformers.ASTForAudioClassification

forward

call