Transformers 文档

音频分类

Transformers

加入Hugging Face社区

并访问增强版文档体验

协作模型、数据集和空间

使用加速推理实现更快的示例

在文档主题之间切换

开始使用

音频分类

音频分类 - 就像文本一样 - 从输入数据中分配一个类别标签输出。唯一的区别是，除了文本输入外，您还有原始音频波形。音频分类的一些实际应用包括识别说话者意图、语言分类，甚至通过动物的声音识别动物物种。

本指南将向您展示如何

在 Wav2Vec2 上对 MInDS-14 数据集进行微调，以对说话者意图进行分类。
将您的微调模型用于推理。

要查看与此任务兼容的所有架构和检查点，我们建议您查看任务页面

在开始之前，请确保已安装所有必要的库

pip install transformers datasets evaluate

我们鼓励您登录您的 Hugging Face 帐户，以便您可以上传并与社区分享您的模型。出现提示时，输入您的令牌以登录

>>> from huggingface_hub import notebook_login

>>> notebook_login()

加载 MInDS-14 数据集

首先从 🤗 Datasets 库加载 MInDS-14 数据集

>>> from datasets import load_dataset, Audio

>>> minds = load_dataset("PolyAI/minds14", name="en-US", split="train")

使用 train_test_split 方法将数据集的 train 拆分拆分为较小的训练集和测试集。这将让您有机会进行实验并确保一切正常，然后再花费更多时间在完整的数据集上。

>>> minds = minds.train_test_split(test_size=0.2)

然后查看数据集

>>> minds
DatasetDict({
    train: Dataset({
        features: ['path', 'audio', 'transcription', 'english_transcription', 'intent_class', 'lang_id'],
        num_rows: 450
    })
    test: Dataset({
        features: ['path', 'audio', 'transcription', 'english_transcription', 'intent_class', 'lang_id'],
        num_rows: 113
    })
})

虽然数据集包含许多有用的信息，例如 lang_id 和 english_transcription，但您将在本指南中关注 audio 和 intent_class。使用 remove_columns 方法删除其他列

>>> minds = minds.remove_columns(["path", "transcription", "english_transcription", "lang_id"])

现在查看一个示例

>>> minds["train"][0]
{'audio': {'array': array([ 0.        ,  0.        ,  0.        , ..., -0.00048828,
         -0.00024414, -0.00024414], dtype=float32),
  'path': '/root/.cache/huggingface/datasets/downloads/extracted/f14948e0e84be638dd7943ac36518a4cf3324e8b7aa331c5ab11541518e9368c/en-US~APP_ERROR/602b9a5fbb1e6d0fbce91f52.wav',
  'sampling_rate': 8000},
 'intent_class': 2}

有两个字段

audio：必须调用以加载和重新采样音频文件的语音信号的 1 维 array。
intent_class：表示说话者意图的类 ID。

为了让模型更容易从标签 ID 获取标签名称，请创建一个字典，将标签名称映射到整数，反之亦然

>>> labels = minds["train"].features["intent_class"].names
>>> label2id, id2label = dict(), dict()
>>> for i, label in enumerate(labels):
...     label2id[label] = str(i)
...     id2label[str(i)] = label

现在您可以将标签 ID 转换为标签名称

>>> id2label[str(2)]
'app_error'

预处理

下一步是加载 Wav2Vec2 特征提取器来处理音频信号

>>> from transformers import AutoFeatureExtractor

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-base")

MInDS-14 数据集的采样率为 8000khz（您可以在其数据集卡中找到此信息），这意味着您需要将数据集重新采样到 16000kHz 以使用预训练的 Wav2Vec2 模型

>>> minds = minds.cast_column("audio", Audio(sampling_rate=16_000))
>>> minds["train"][0]
{'audio': {'array': array([ 2.2098757e-05,  4.6582241e-05, -2.2803260e-05, ...,
         -2.8419291e-04, -2.3305941e-04, -1.1425107e-04], dtype=float32),
  'path': '/root/.cache/huggingface/datasets/downloads/extracted/f14948e0e84be638dd7943ac36518a4cf3324e8b7aa331c5ab11541518e9368c/en-US~APP_ERROR/602b9a5fbb1e6d0fbce91f52.wav',
  'sampling_rate': 16000},
 'intent_class': 2}

现在创建一个预处理函数，该函数

调用 audio 列以加载，并在必要时重新采样音频文件。
检查音频文件的采样率是否与模型预训练的音频数据的采样率匹配。您可以在 Wav2Vec2 模型卡中找到此信息。
设置最大输入长度以批处理更长的输入，而不会截断它们。

>>> def preprocess_function(examples):
...     audio_arrays = [x["array"] for x in examples["audio"]]
...     inputs = feature_extractor(
...         audio_arrays, sampling_rate=feature_extractor.sampling_rate, max_length=16000, truncation=True
...     )
...     return inputs

要在整个数据集上应用预处理函数，请使用 🤗 Datasets map 函数。您可以通过设置 batched=True 以一次处理数据集的多个元素来加快 map 的速度。删除不需要的列，并将 intent_class 重命名为 label，因为这是模型期望的名称

>>> encoded_minds = minds.map(preprocess_function, remove_columns="audio", batched=True)
>>> encoded_minds = encoded_minds.rename_column("intent_class", "label")

评估

在训练期间包含指标通常有助于评估模型的性能。您可以使用 🤗 Evaluate 库快速加载评估方法。对于此任务，加载 accuracy 指标（查看 🤗 Evaluate 快速浏览了解有关如何加载和计算指标的更多信息）

>>> import evaluate

>>> accuracy = evaluate.load("accuracy")

然后创建一个函数，将您的预测和标签传递到 compute 以计算准确率

>>> import numpy as np


>>> def compute_metrics(eval_pred):
...     predictions = np.argmax(eval_pred.predictions, axis=1)
...     return accuracy.compute(predictions=predictions, references=eval_pred.label_ids)

您的 compute_metrics 函数现在已准备就绪，您将在设置训练时返回它。

训练

Pytorch

隐藏 Pytorch 内容

如果您不熟悉使用 Trainer 微调模型，请查看基本教程这里！

您现在准备开始训练您的模型！使用 AutoModelForAudioClassification 以及预期的标签数量和标签映射加载 Wav2Vec2

>>> from transformers import AutoModelForAudioClassification, TrainingArguments, Trainer

>>> num_labels = len(id2label)
>>> model = AutoModelForAudioClassification.from_pretrained(
...     "facebook/wav2vec2-base", num_labels=num_labels, label2id=label2id, id2label=id2label
... )

此时，只剩下三步

在 TrainingArguments 中定义您的训练超参数。唯一必需的参数是 output_dir，它指定保存模型的位置。您将通过设置 push_to_hub=True 将此模型推送到 Hub（您需要登录 Hugging Face 才能上传您的模型）。在每个 epoch 结束时，Trainer 将评估准确率并保存训练检查点。
将训练参数传递到 Trainer 以及模型、数据集、标记器、数据整理器和 compute_metrics 函数。
调用 train() 来微调您的模型。

>>> training_args = TrainingArguments(
...     output_dir="my_awesome_mind_model",
...     eval_strategy="epoch",
...     save_strategy="epoch",
...     learning_rate=3e-5,
...     per_device_train_batch_size=32,
...     gradient_accumulation_steps=4,
...     per_device_eval_batch_size=32,
...     num_train_epochs=10,
...     warmup_ratio=0.1,
...     logging_steps=10,
...     load_best_model_at_end=True,
...     metric_for_best_model="accuracy",
...     push_to_hub=True,
... )

>>> trainer = Trainer(
...     model=model,
...     args=training_args,
...     train_dataset=encoded_minds["train"],
...     eval_dataset=encoded_minds["test"],
...     tokenizer=feature_extractor,
...     compute_metrics=compute_metrics,
... )

>>> trainer.train()

训练完成后，使用 push_to_hub() 方法将您的模型共享到 Hub，以便每个人都可以使用您的模型

>>> trainer.push_to_hub()

有关如何微调音频分类模型的更深入示例，请查看相应的 PyTorch 笔记本。

推理

太好了，现在您已经微调了一个模型，您可以使用它进行推理！

加载您想运行推理的音频文件。请记住，如果需要，请将音频文件的采样率重新采样以匹配模型的采样率！

>>> from datasets import load_dataset, Audio

>>> dataset = load_dataset("PolyAI/minds14", name="en-US", split="train")
>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=16000))
>>> sampling_rate = dataset.features["audio"].sampling_rate
>>> audio_file = dataset[0]["audio"]["path"]

使用 pipeline() 尝试您的微调模型进行推理的最简单方法是在其中使用它。使用您的模型实例化一个 pipeline 进行音频分类，并将您的音频文件传递给它

>>> from transformers import pipeline

>>> classifier = pipeline("audio-classification", model="stevhliu/my_awesome_minds_model")
>>> classifier(audio_file)
[
    {'score': 0.09766869246959686, 'label': 'cash_deposit'},
    {'score': 0.07998877018690109, 'label': 'app_error'},
    {'score': 0.0781070664525032, 'label': 'joint_account'},
    {'score': 0.07667109370231628, 'label': 'pay_bill'},
    {'score': 0.0755252093076706, 'label': 'balance'}
]

如果您愿意，您也可以手动复制 pipeline 的结果

Pytorch

隐藏 Pytorch 内容

加载特征提取器以预处理音频文件并将 input 返回为 PyTorch 张量

>>> from transformers import AutoFeatureExtractor

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("stevhliu/my_awesome_minds_model")
>>> inputs = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")

将您的输入传递给模型并返回 logits

>>> from transformers import AutoModelForAudioClassification

>>> model = AutoModelForAudioClassification.from_pretrained("stevhliu/my_awesome_minds_model")
>>> with torch.no_grad():
...     logits = model(**inputs).logits

获取概率最高的类，并使用模型的 id2label 映射将其转换为标签

>>> import torch

>>> predicted_class_ids = torch.argmax(logits).item()
>>> predicted_label = model.config.id2label[predicted_class_ids]
>>> predicted_label
'cash_deposit'

< > 在 GitHub 上更新

←多项选择自动语音识别→