音频频谱图 Transformer
概述
音频频谱图 Transformer 模型在 AST：音频频谱图 Transformer 中由 Yuan Gong、Yu-An Chung 和 James Glass 提出。音频频谱图 Transformer 将 视觉 Transformer 应用于音频，方法是将音频转换为图像（频谱图）。该模型在音频分类方面取得了最先进的结果。
论文中的摘要如下
在过去的十年中，卷积神经网络 (CNN) 被广泛用作端到端音频分类模型的主要构建块，这些模型旨在学习从音频频谱图到相应标签的直接映射。为了更好地捕获长距离全局上下文，最近的趋势是在 CNN 之上添加一个自注意力机制，形成一个 CNN-注意力混合模型。然而，尚不清楚是否需要依赖 CNN，以及仅基于注意力的神经网络是否足以在音频分类中获得良好的性能。在本文中，我们通过引入音频频谱图 Transformer (AST) 来回答这个问题，AST 是第一个无卷积、纯基于注意力的音频分类模型。我们在各种音频分类基准上评估了 AST，它在 AudioSet 上获得了 0.485 mAP 的新最先进结果，在 ESC-50 上获得了 95.6% 的准确率，在 Speech Commands V2 上获得了 98.1% 的准确率。
音频频谱图 Transformer 架构。摘自 原始论文。 使用技巧
- 当您在自己的数据集上微调音频频谱图转换器 (AST) 时，建议您注意输入归一化（确保输入的均值为 0，标准差为 0.5）。ASTFeatureExtractor 会处理此操作。请注意，它默认使用 AudioSet 均值和标准差。您可以查看
ast/src/get_norm_stats.py，了解作者如何为下游数据集计算统计数据。 - 请注意，AST 需要较低的学习率（作者使用的学习率比他们在PSLA 论文中提出的 CNN 模型小 10 倍）并且收敛速度很快，因此请为您的任务搜索合适的学习率和学习率调度器。
使用缩放点积注意力 (SDPA)
PyTorch 将本机缩放点积注意力 (SDPA) 运算符作为 torch.nn.functional 的一部分。此函数包含多种实现，可以根据输入和使用的硬件进行应用。请参阅官方文档 或GPU 推理 页面了解更多信息。
当有实现可用时，torch>=2.1.1 默认使用 SDPA，但您也可以在 from_pretrained() 中设置 attn_implementation="sdpa" 来显式请求使用 SDPA。
from transformers import ASTForAudioClassification
model = ASTForAudioClassification.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593", attn_implementation="sdpa", torch_dtype=torch.float16)
...为了获得最佳加速效果，我们建议以半精度（例如 torch.float16 或 torch.bfloat16）加载模型。
在本地基准测试（A100-40GB，PyTorch 2.3.0，操作系统 Ubuntu 22.04）上，使用 float32 和 MIT/ast-finetuned-audioset-10-10-0.4593 模型，我们在推理期间观察到以下加速效果。
| 批次大小 | 平均推理时间 (ms)，渴望模式 | 平均推理时间 (ms)，sdpa 模型 | 加速效果，Sdpa / 渴望 (x) |
|---|---|---|---|
| 1 | 27 | 6 | 4.5 |
| 2 | 12 | 6 | 2 |
| 4 | 21 | 8 | 2.62 |
| 8 | 40 | 14 | 2.86 |
资源
一些官方的 Hugging Face 和社区（🌎 表示）资源，可帮助您开始使用音频频谱图转换器。
- 说明了使用 AST 进行音频分类推理的笔记本，可在此处找到这里。
- ASTForAudioClassification 由此示例脚本 和笔记本 支持。
- 另请参阅：音频分类。
如果您有兴趣提交要包含在此处的资源，请随时打开拉取请求，我们将进行审核！理想情况下，该资源应该演示新内容，而不是重复现有资源。
ASTConfig
class transformers.ASTConfig
< source >( hidden_size = 768 num_hidden_layers = 12 num_attention_heads = 12 intermediate_size = 3072 hidden_act = 'gelu' hidden_dropout_prob = 0.0 attention_probs_dropout_prob = 0.0 initializer_range = 0.02 layer_norm_eps = 1e-12 patch_size = 16 qkv_bias = True frequency_stride = 10 time_stride = 10 max_length = 1024 num_mel_bins = 128 **kwargs )
参数
- hidden_size (
int, 可选，默认为 768) — 编码器层和池化层的维度。 - num_hidden_layers (
int, 可选，默认为 12) — Transformer 编码器中的隐藏层数。 - num_attention_heads (
int, 可选，默认为 12) — Transformer 编码器中每个注意力层的注意力头数。 - intermediate_size (
int, 可选, 默认值为 3072) — Transformer 编码器中“中间”（即前馈）层的维度。 - hidden_act (
str或function, 可选, 默认值为"gelu") — 编码器和池化器中的非线性激活函数（函数或字符串）。 如果是字符串，则支持"gelu"、"relu"、"selu"和"gelu_new"。 - hidden_dropout_prob (
float, 可选, 默认值为 0.0) — 嵌入、编码器和池化器中所有全连接层的 dropout 概率。 - attention_probs_dropout_prob (
float, 可选, 默认值为 0.0) — 注意概率的 dropout 比例。 - initializer_range (
float, 可选, 默认值为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。 - layer_norm_eps (
float, 可选, 默认值为 1e-12) — 层归一化层使用的 epsilon。 - patch_size (
int, 可选, 默认值为 16) — 每个 patch 的大小（分辨率）。 - qkv_bias (
bool, 可选, 默认值为True) — 是否向查询、键和值添加偏置。 - frequency_stride (
int, 可选, 默认值为 10) — 对频谱进行 patch 化时使用的频率步长。 - time_stride (
int, 可选, 默认值为 10) — 对频谱进行 patch 化时使用的时域步长。
这是用于存储 ASTModel 配置的配置类。它用于根据指定的参数实例化 AST 模型，定义模型架构。使用默认值实例化配置将生成与 AST MIT/ast-finetuned-audioset-10-10-0.4593 架构类似的配置。
配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。
示例
>>> from transformers import ASTConfig, ASTModel
>>> # Initializing a AST MIT/ast-finetuned-audioset-10-10-0.4593 style configuration
>>> configuration = ASTConfig()
>>> # Initializing a model (with random weights) from the MIT/ast-finetuned-audioset-10-10-0.4593 style configuration
>>> model = ASTModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configASTFeatureExtractor
class transformers.ASTFeatureExtractor
< 源代码 >( feature_size = 1 sampling_rate = 16000 num_mel_bins = 128 max_length = 1024 padding_value = 0.0 do_normalize = True mean = -4.2677393 std = 4.5689974 return_attention_mask = False **kwargs )
参数
- feature_size (
int, 可选, 默认值为 1) — 提取特征的特征维度。 - sampling_rate (
int, 可选, 默认值为 16000) — 音频文件应以其数字化的采样率（以赫兹 (Hz) 为单位）表示。 - num_mel_bins (
int, 可选, 默认值为 128) — 梅尔频率带宽数量。 - max_length (
int, 可选, 默认值为 1024) — 填充/截断提取特征的最大长度。 - do_normalize (
bool, 可选, 默认值为True) — 是否使用mean和std归一化对数梅尔特征。 - mean (
float, 可选, 默认值为 -4.2677393) — 用于归一化对数梅尔特征的平均值。默认情况下使用 AudioSet 平均值。
构建音频频谱变换器 (AST) 特征提取器。
此特征提取器继承自 SequenceFeatureExtractor，其中包含大多数主要方法。用户应参考此超类以获取有关这些方法的更多信息。
此类使用 TorchAudio（如果已安装）或 numpy（否则）从原始语音中提取梅尔滤波器组特征，将其填充/截断到固定长度，并使用均值和标准差对其进行标准化。
__call__
< 源代码 >( raw_speech: Union sampling_rate: Optional = None return_tensors: Union = None **kwargs )
参数
- raw_speech (
np.ndarray,List[float],List[np.ndarray],List[List[float]]) — 要填充的序列或序列批次。每个序列可以是 numpy 数组、浮点数列表、numpy 数组列表或浮点数列表列表。必须是单声道音频，而不是立体声，即每个时间步只有一个浮点数。 - sampling_rate (
int, 可选) —raw_speech输入采样的采样率。强烈建议在正向调用中传递sampling_rate，以防止静默错误。 - return_tensors (
str或 TensorType, 可选) — 如果设置，将返回张量而不是 python 整数列表。可接受的值为：'tf': 返回 TensorFlowtf.constant对象。'pt': 返回 PyTorchtorch.Tensor对象。'np': 返回 Numpynp.ndarray对象。
主要方法，用于将一个或多个序列特征化并准备模型。
ASTModel
类 transformers.ASTModel
< 源代码 >( config: ASTConfig )
参数
- config (ASTConfig) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型关联的权重，只会加载配置。查看 from_pretrained() 方法以加载模型权重。
基本的 AST 模型变换器，输出原始隐藏状态，没有任何特定头部。此模型是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以获取有关一般用法和行为的所有内容。
forward
< 源代码 >( input_values: Optional = None head_mask: Optional = None output_attentions: Optional = None output_hidden_states:
参数
- input_values (
torch.FloatTensor形状为(batch_size, max_length, num_mel_bins)) — 从原始音频波形中提取的浮点型梅尔特征。原始音频波形可以通过将.flac或.wav音频文件加载到List[float]或numpy.ndarray类型的数组中来获得，例如通过 soundfile 库（pip install soundfile）。要将数组准备成input_features，应使用 AutoFeatureExtractor 来提取梅尔特征，填充并转换为torch.FloatTensor类型的张量。请参阅 call() - head_mask (
torch.FloatTensor形状为(num_heads,)或(num_layers, num_heads)，可选) — 用于使自注意力模块中选定头部失效的掩码。掩码值选择在[0, 1]中：- 1 表示头部未被掩码
- 0 表示头部被掩码
- output_attentions (
bool，可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量中的attentions。 - output_hidden_states (
bool，可选) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量中的hidden_states。 - return_dict (
bool，可选) — 是否返回一个 ModelOutput 而不是一个简单的元组。
返回
transformers.modeling_outputs.BaseModelOutputWithPooling 或 tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.BaseModelOutputWithPooling 或一个 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含取决于配置（ASTConfig）和输入的各种元素。
-
last_hidden_state (
torch.FloatTensor形状为(batch_size, sequence_length, hidden_size)) — 模型最后一层的输出处的隐藏状态序列。 -
pooler_output (
torch.FloatTensor形状为(batch_size, hidden_size)) — 序列第一个标记（分类标记）的最后一层隐藏状态，在经过用于辅助预训练任务的层进一步处理后。例如，对于 BERT 类模型，这会返回经过线性层和 tanh 激活函数处理后的分类标记。线性层权重是在预训练期间从下一个句子预测（分类）目标中训练的。 -
hidden_states (
tuple(torch.FloatTensor)，可选，在传递output_hidden_states=True或当config.output_hidden_states=True时返回) —torch.FloatTensor元组（一个用于嵌入层的输出，如果模型具有嵌入层，+ 一个用于每一层的输出）形状为(batch_size, sequence_length, hidden_size)。模型在每一层的输出处的隐藏状态，加上可选的初始嵌入输出。
-
attentions (
tuple(torch.FloatTensor)，可选，在传递output_attentions=True或当config.output_attentions=True时返回) —torch.FloatTensor元组（每一层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。
The ASTModel 正向方法，覆盖了 __call__ 特殊方法。
虽然正向传递的配方需要在此函数内定义，但之后应该调用 Module 实例而不是它，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。
示例
>>> from transformers import AutoProcessor, ASTModel
>>> import torch
>>> from datasets import load_dataset
>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation", trust_remote_code=True)
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate
>>> processor = AutoProcessor.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593")
>>> model = ASTModel.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593")
>>> # audio file is decoded on the fly
>>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> with torch.no_grad():
... outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 1214, 768]ASTForAudioClassification
class transformers.ASTForAudioClassification
< source >( config: ASTConfig )
参数
- config (ASTConfig) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型关联的权重，只会加载配置。查看 from_pretrained() 方法以加载模型权重。
音频频谱图转换器模型，顶部带有一个音频分类头（在池化输出顶部的线性层），例如用于 AudioSet、Speech Commands v2 等数据集。
此模型是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以了解有关一般使用和行为的所有事项。
forward
< 源代码 >( input_values: Optional = None head_mask: Optional = None labels: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → transformers.modeling_outputs.SequenceClassifierOutput 或 tuple(torch.FloatTensor)
参数
- input_values (
torch.FloatTensor形状为(batch_size, max_length, num_mel_bins)) — 从原始音频波形中提取的浮点值梅尔特征。原始音频波形可以通过将.flac或.wav音频文件加载到List[float]类型数组或numpy.ndarray中来获取，例如通过 soundfile 库 (pip install soundfile)。要将数组准备成input_features，应使用 AutoFeatureExtractor 来提取梅尔特征、填充和转换为torch.FloatTensor类型的张量。查看 call() - head_mask (
torch.FloatTensor形状为(num_heads,)或(num_layers, num_heads)，可选) — 用于使自注意力模块中选定头部无效的掩码。掩码值在[0, 1]中选择：- 1 表示头部未被掩码，
- 0 表示头部被掩码。
- output_attentions (
bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请查看返回张量下的attentions。 - output_hidden_states (
bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请查看返回张量下的hidden_states。 - return_dict (
bool，可选) — 是否返回 ModelOutput 而不是普通元组。 - labels (
torch.LongTensor形状为(batch_size,)，可选) — 用于计算音频分类/回归损失的标签。索引应在[0, ..., config.num_labels - 1]中。如果config.num_labels == 1，则计算回归损失 (均方误差损失)，如果config.num_labels > 1，则计算分类损失 (交叉熵)。
返回
transformers.modeling_outputs.SequenceClassifierOutput 或 tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.SequenceClassifierOutput 或 torch.FloatTensor 的元组 (如果传递了 return_dict=False 或者当 config.return_dict=False 时)，包含取决于配置 (ASTConfig) 和输入的各种元素。
-
loss (
torch.FloatTensor形状为(1,)，可选，在提供labels时返回) — 分类 (或回归，如果 config.num_labels==1) 损失。 -
logits (
torch.FloatTensor形状为(batch_size, config.num_labels)) — 分类 (或回归，如果 config.num_labels==1) 分数 (在 SoftMax 之前)。 -
hidden_states (
tuple(torch.FloatTensor)，可选，在传递output_hidden_states=True或当config.output_hidden_states=True时返回) —torch.FloatTensor元组（一个用于嵌入层的输出，如果模型具有嵌入层，+ 一个用于每一层的输出）形状为(batch_size, sequence_length, hidden_size)。模型在每一层的输出处的隐藏状态，加上可选的初始嵌入输出。
-
attentions (
tuple(torch.FloatTensor)，可选，在传递output_attentions=True或当config.output_attentions=True时返回) —torch.FloatTensor元组（每一层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。
ASTForAudioClassification 正向方法覆盖了 __call__ 特殊方法。
虽然正向传递的配方需要在此函数内定义，但之后应该调用 Module 实例而不是它，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。
示例
>>> from transformers import AutoFeatureExtractor, ASTForAudioClassification
>>> from datasets import load_dataset
>>> import torch
>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation", trust_remote_code=True)
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate
>>> feature_extractor = AutoFeatureExtractor.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593")
>>> model = ASTForAudioClassification.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593")
>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> predicted_class_ids = torch.argmax(logits, dim=-1).item()
>>> predicted_label = model.config.id2label[predicted_class_ids]
>>> predicted_label
'Speech'
>>> # compute loss - target_label is e.g. "down"
>>> target_label = model.config.id2label[0]
>>> inputs["labels"] = torch.tensor([model.config.label2id[target_label]])
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
0.17