Wav2Vec2-BERT
概述
Wav2Vec2-BERT 模型由 Meta AI 的 Seamless Communication 团队在Seamless: Multilingual Expressive and Streaming Speech Translation 中提出。
该模型在超过 143 种语言的 450 万小时未标记音频数据上进行了预训练。它需要进行微调才能用于下游任务，例如自动语音识别 (ASR) 或音频分类。
该模型的官方结果可以在论文的第 3.2.1 节中找到。
该论文的摘要如下：
近期自动语音翻译的进步极大地扩展了语言覆盖范围，改进了多模态能力，并实现了广泛的任务和功能。 然而，与人与人之间的对话相比，当今的大规模自动语音翻译系统缺乏关键功能，这些功能有助于使机器介导的通信感觉无缝。 在这项工作中，我们介绍了一系列模型，这些模型能够在流式传输中实现端到端的富有表现力的多语言翻译。 首先，我们贡献了大规模多语言和多模态 SeamlessM4T 模型的改进版本——SeamlessM4T v2。 这个更新的模型采用了改进的 UnitY2 框架，并在更多低资源语言数据上进行了训练。 扩展版本的 SeamlessAlign 增加了 114,800 小时的自动对齐数据，总共涵盖 76 种语言。 SeamlessM4T v2 为我们最新的两个模型 SeamlessExpressive 和 SeamlessStreaming 的启动奠定了基础。 SeamlessExpressive 能够实现保留声音风格和韵律的翻译。 与之前在富有表现力的语音研究中所做的努力相比，我们的工作解决了韵律中某些未被充分探索的方面，例如语速和停顿，同时还保留了一个人的声音风格。 至于 SeamlessStreaming，我们的模型利用高效单调多头注意力 (EMMA) 机制来生成低延迟的目标翻译，而无需等待完整的源语句。 作为同类首创，SeamlessStreaming 能够为多种源语言和目标语言进行同步语音到语音/文本翻译。 为了解这些模型的性能，我们结合了新颖的和改进版本的现有自动指标来评估韵律、延迟和鲁棒性。 对于人工评估，我们调整了现有的协议，专门用于衡量意义、自然性和表现力保留中最相关的属性。 为了确保我们的模型能够安全且负责任地使用，我们首次对多模态机器翻译进行了红队测试，这是一个用于检测和减轻新增毒性的系统、对性别偏见的系统评估以及旨在减弱深度伪造影响的听不见的本地化水印机制。 因此，我们将 SeamlessExpressive 和 SeamlessStreaming 的主要组件结合在一起，形成了 Seamless，这是第一个公开可用的系统，可以实时解锁富有表现力的跨语言交流。 总之，Seamless 让我们对将通用语音翻译器从科幻概念转变为现实世界技术所需的技术基础有了关键的认识。 最后，这项工作的贡献——包括模型、代码和水印检测器——已公开并可在以下链接访问。
此模型由 ylacombe 贡献。 原始代码可以在这里找到。
使用技巧
- Wav2Vec2-BERT 遵循与 Wav2Vec2-Conformer 相同的架构，但采用因果深度卷积层，并使用音频的梅尔频谱图表示作为输入，而不是原始波形。
- 通过设置正确的
config.position_embeddings_type，Wav2Vec2-BERT 可以使用无相对位置嵌入、类似 Shaw 的位置嵌入、类似 Transformer-XL 的位置嵌入或旋转位置嵌入。 - Wav2Vec2-BERT 还引入了基于 Conformer 的适配器网络，而不是简单的卷积网络。
资源
- Wav2Vec2BertForCTC 由此示例脚本支持。
- 您还可以参考这些关于如何在英语中微调语音识别模型和如何在任何语言中微调语音识别模型的 notebook。
- Wav2Vec2BertForSequenceClassification 可以通过调整此示例脚本来使用。
- 另请参阅：音频分类任务指南
Wav2Vec2BertConfig
class transformers.Wav2Vec2BertConfig
< source >( vocab_size = None hidden_size = 1024 num_hidden_layers = 24 num_attention_heads = 16 intermediate_size = 4096 feature_projection_input_dim = 160 hidden_act = 'swish' hidden_dropout = 0.0 activation_dropout = 0.0 attention_dropout = 0.0 feat_proj_dropout = 0.0 final_dropout = 0.1 layerdrop = 0.1 initializer_range = 0.02 layer_norm_eps = 1e-05 apply_spec_augment = True mask_time_prob = 0.05 mask_time_length = 10 mask_time_min_masks = 2 mask_feature_prob = 0.0 mask_feature_length = 10 mask_feature_min_masks = 0 ctc_loss_reduction = 'sum' ctc_zero_infinity = False use_weighted_layer_sum = False classifier_proj_size = 768 tdnn_dim = (512, 512, 512, 512, 1500) tdnn_kernel = (5, 3, 3, 1, 1) tdnn_dilation = (1, 2, 3, 1, 1) xvector_output_dim = 512 pad_token_id = 0 bos_token_id = 1 eos_token_id = 2 add_adapter = False adapter_kernel_size = 3 adapter_stride = 2 num_adapter_layers = 1 adapter_act = 'relu' use_intermediate_ffn_before_adapter = False output_hidden_size = None position_embeddings_type = 'relative_key' rotary_embedding_base = 10000 max_source_positions = 5000 left_max_position_embeddings = 64 right_max_position_embeddings = 8 conv_depthwise_kernel_size = 31 conformer_conv_dropout = 0.1 **kwargs )
参数
- vocab_size (
int, 可选) — Wav2Vec2Bert 模型的词汇表大小。 定义了在调用 Wav2Vec2BertModel 时可以通过inputs_ids传递的不同 token 的数量。 模型的词汇表大小。 定义了可以由传递给 Wav2Vec2BertModel 的前向方法的 inputs_ids 表示的不同 token。 - hidden_size (
int, 可选, 默认为 1024) — 编码器层和池化器层的维度。 - num_hidden_layers (
int, 可选, 默认为 24) — Transformer 编码器中隐藏层的数量。 - num_attention_heads (
int, 可选, 默认为 16) — Transformer 编码器中每个注意力层的注意力头数。 - intermediate_size (
int, 可选, 默认为 4096) — Transformer 编码器中“中间”（即，前馈）层的维度。 - feature_projection_input_dim (
int, 可选, 默认为 160) — 此模型的输入维度，即使用 SeamlessM4TFeatureExtractor 或 Wav2Vec2BertProcessor 处理输入音频后的维度。 - hidden_act (
str或function, 可选, 默认为"swish") — 编码器和池化器中的非线性激活函数（函数或字符串）。 如果是字符串，则支持"gelu","relu","selu","swish"和"gelu_new"。 - hidden_dropout (
float, 可选, 默认为 0.0) — 嵌入层、编码器和池化器中所有全连接层的 dropout 概率。 - activation_dropout (
float, 可选, 默认为 0.0) — 全连接层内部激活的 dropout 比率。 - attention_dropout (
float, 可选, 默认为 0.0) — 注意力概率的 dropout 比率。 - feat_proj_dropout (
float, 可选, 默认为 0.0) — 特征投影的 dropout 概率。 - final_dropout (
float, 可选, 默认为 0.1) — Wav2Vec2BertForCTC 的最终投影层的 dropout 概率。 - layerdrop (
float, 可选, 默认为 0.1) — LayerDrop 概率。 有关更多详细信息，请参阅 [LayerDrop 论文](see https://arxiv.org/abs/1909.11556)。 - initializer_range (
float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。 - layer_norm_eps (
float, 可选, 默认为 1e-05) — 层归一化层使用的 epsilon 值。 - apply_spec_augment (
bool, 可选, 默认为True) — 是否将 SpecAugment 数据增强应用于特征编码器的输出。 有关参考，请参见 SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition。 - mask_time_prob (
float, optional, defaults to 0.05) — 沿时间轴所有特征向量中将被掩码的百分比（介于 0 和 1 之间）。掩码程序生成mask_time_prob*len(time_axis)/mask_time_length轴上的独立掩码。如果从每个特征向量被选为要掩码的向量跨度的起点的概率来推断，*mask_time_prob* 应为prob_vector_start*mask_time_length。 请注意，重叠可能会降低实际掩码向量的百分比。这仅在apply_spec_augment is True时相关。 - mask_time_length (
int, optional, defaults to 10) — 沿时间轴的向量跨度长度。 - mask_time_min_masks (
int, optional, defaults to 2) — 沿时间轴生成的长度为mask_feature_length的最小掩码数，每个时间步，与mask_feature_prob无关。仅在mask_time_prob*len(time_axis)/mask_time_length < mask_time_min_masks时相关。 - mask_feature_prob (
float, optional, defaults to 0.0) — 沿特征轴所有特征向量中将被掩码的百分比（介于 0 和 1 之间）。掩码程序生成mask_feature_prob*len(feature_axis)/mask_time_length轴上的独立掩码。如果从每个特征向量被选为要掩码的向量跨度的起点的概率来推断，*mask_feature_prob* 应为prob_vector_start*mask_feature_length。 请注意，重叠可能会降低实际掩码向量的百分比。这仅在apply_spec_augment is True时相关。 - mask_feature_length (
int, optional, defaults to 10) — 沿特征轴的向量跨度长度。 - mask_feature_min_masks (
int, optional, defaults to 0) — 沿特征轴生成的长度为mask_feature_length的最小掩码数，每个时间步，与mask_feature_prob无关。仅在mask_feature_prob*len(feature_axis)/mask_feature_length < mask_feature_min_masks时相关。 - ctc_loss_reduction (
str, optional, defaults to"sum") — 指定应用于torch.nn.CTCLoss输出的缩减方式。仅在训练 Wav2Vec2BertForCTC 实例时相关。 - ctc_zero_infinity (
bool, optional, defaults toFalse) — 是否将无限损失和torch.nn.CTCLoss的相关梯度归零。当输入太短而无法与目标对齐时，主要会发生无限损失。仅在训练 Wav2Vec2BertForCTC 实例时相关。 - use_weighted_layer_sum (
bool, optional, defaults toFalse) — 是否使用带有学习权重的层输出的加权平均值。仅在使用 Wav2Vec2BertForSequenceClassification 实例时相关。 - classifier_proj_size (
int, optional, defaults to 768) — 分类前标记均值池化的投影维度。 - tdnn_dim (
Tuple[int]orList[int], optional, defaults to(512, 512, 512, 512, 1500)) — 定义 XVector 模型的 TDNN 模块中每个 1D 卷积层输出通道数的整数元组。tdnn_dim 的长度定义了 TDNN 层的数量。 - tdnn_kernel (
Tuple[int]orList[int], optional, defaults to(5, 3, 3, 1, 1)) — 定义 XVector 模型的 TDNN 模块中每个 1D 卷积层内核大小的整数元组。tdnn_kernel 的长度必须与 tdnn_dim 的长度匹配。 - tdnn_dilation (
Tuple[int]orList[int], optional, defaults to(1, 2, 3, 1, 1)) — 定义 XVector 模型的 TDNN 模块中每个 1D 卷积层扩张因子的整数元组。tdnn_dilation 的长度必须与 tdnn_dim 的长度匹配。 - xvector_output_dim (
int, optional, defaults to 512) — XVector 嵌入向量的维度。 - pad_token_id (
int, optional, defaults to 0) — 流开始标记的 ID。 - bos_token_id (
int, optional, defaults to 1) — padding 标记的 ID。 - eos_token_id (
int, optional, defaults to 2) — 流结束标记的 ID。 - add_adapter (
bool, optional, defaults toFalse) — 是否应在 Wav2Vec2Bert 编码器之上堆叠卷积注意力网络。对于为 SpeechEncoderDecoder 模型热启动 Wav2Vec2Bert 非常有用。 - adapter_kernel_size (
int, optional, defaults to 3) — 适配器网络中卷积层的内核大小。仅在add_adapter is True时相关。 - adapter_stride (
int, optional, defaults to 2) — 适配器网络中卷积层的步幅。仅在add_adapter is True时相关。 - num_adapter_layers (
int, optional, defaults to 1) — 适配器网络中应使用的卷积层数。仅在add_adapter is True时相关。 - adapter_act (
strorfunction, optional, defaults to"relu") — 适配器层中的非线性激活函数（函数或字符串）。如果是字符串，则支持"gelu"、"relu"、"selu"、"swish"和"gelu_new"。 - use_intermediate_ffn_before_adapter (
bool, optional, defaults toFalse) — 是否应在 Wav2Vec2Bert 编码器之上和适配器网络之前堆叠中间前馈块。仅在add_adapter is True时相关。 - output_hidden_size (
int, optional) — 编码器输出层的维度。如果未定义，则默认为hidden-size。仅在add_adapter is True时相关。 - position_embeddings_type (
str, optional, defaults to"relative_key") — 可以指定为：rotary，用于旋转位置嵌入。relative，用于相对位置嵌入。relative_key，用于相对位置嵌入，如 Shaw 在 Self-Attention with Relative Position Representations (Shaw et al.) 中定义的那样。如果留为None，则不应用相对位置嵌入。
- rotary_embedding_base (
int, optional, defaults to 10000) — 如果使用"rotary"位置嵌入，则定义嵌入基的大小。 - max_source_positions (
int, optional, defaults to 5000) — 如果使用"relative"位置嵌入，则定义最大源输入位置。 - left_max_position_embeddings (
int, optional, defaults to 64) — 如果使用"relative_key"（又名 Shaw）位置嵌入，则定义相对位置的左裁剪值。 - right_max_position_embeddings (
int, optional, defaults to 8) — 如果使用"relative_key"（又名 Shaw）位置嵌入，则定义相对位置的右裁剪值。 - conv_depthwise_kernel_size (
int, optional, defaults to 31) — Conformer 模块中卷积深度 1D 层的内核大小。 - conformer_conv_dropout (
float, optional, defaults to 0.1) — Conformer 模块中所有卷积层的 dropout 概率。
这是用于存储 Wav2Vec2BertModel 配置的配置类。它用于根据指定的参数实例化 Wav2Vec2Bert 模型，定义模型架构。使用默认值实例化配置将产生与 Wav2Vec2Bert facebook/wav2vec2-bert-rel-pos-large 架构类似的配置。
配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请阅读 PretrainedConfig 的文档。
示例
>>> from transformers import Wav2Vec2BertConfig, Wav2Vec2BertModel
>>> # Initializing a Wav2Vec2Bert facebook/wav2vec2-bert-rel-pos-large style configuration
>>> configuration = Wav2Vec2BertConfig()
>>> # Initializing a model (with random weights) from the facebook/wav2vec2-bert-rel-pos-large style configuration
>>> model = Wav2Vec2BertModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configWav2Vec2BertProcessor
class transformers.Wav2Vec2BertProcessor
< source >( feature_extractor tokenizer )
参数
- feature_extractor (
SeamlessM4TFeatureExtractor) — SeamlessM4TFeatureExtractor 的实例。特征提取器是必需的输入。 - tokenizer (PreTrainedTokenizer) — PreTrainedTokenizer 的实例。分词器是必需的输入。
构建一个 Wav2Vec2-BERT processor，它将 Wav2Vec2-BERT 特征提取器和 Wav2Vec2 CTC 分词器包装到单个 processor 中。
Wav2Vec2Processor 提供了 SeamlessM4TFeatureExtractor 和 PreTrainedTokenizer 的所有功能。有关更多信息，请参阅 call() 和 decode() 的文档字符串。
__call__
< source >( audio = None text = None **kwargs ) → BatchEncoding
参数
- text (
str,List[str],List[List[str]]) — 要编码的序列或序列批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果序列以字符串列表（预分词）形式提供，则必须设置is_split_into_words=True（以消除与序列批次的歧义）。 - audio (
np.ndarray,torch.Tensor,List[np.ndarray],List[torch.Tensor]) — 要准备的音频或音频批次。每个音频可以是 NumPy 数组或 PyTorch 张量。在 NumPy 数组/PyTorch 张量的情况下，每个音频应具有形状 (C, T)，其中 C 是通道数，T 是音频的样本长度。 - kwargs (optional) — 将传递给特征提取器和/或分词器的剩余关键字参数字典。
返回值
具有以下字段的 BatchEncoding
- input_features — 要馈送到模型的音频输入特征。当
audio不是None时返回。 - attention_mask — 指定当
audio不是None时模型应关注哪些时间戳的索引列表。当仅指定text时，返回 token attention mask。 - labels — 要馈送到模型的 token ID 列表。当
text和audio都不是None时返回。 - input_ids — 要馈送到模型的 token ID 列表。当
text不是None且audio是None时返回。
用于为模型准备一个或多个序列和音频的主要方法。如果 audio 不是 None，此方法会将 audio 和 kwargs 参数转发到 SeamlessM4TFeatureExtractor 的 call() 以预处理音频。要准备目标序列，如果 text 不是 None，此方法会将 text 和 kwargs 参数转发到 PreTrainedTokenizer 的 call()。有关更多信息，请参阅上述两种方法的文档字符串。
如果 input_features 不是 None，此方法会将 input_features 和 kwargs 参数转发到 SeamlessM4TFeatureExtractor 的 pad() 以填充输入特征。如果 labels 不是 None，此方法会将 labels 和 kwargs 参数转发到 PreTrainedTokenizer 的 pad() 以填充标签。有关更多信息，请参阅上述两种方法的文档字符串。
save_pretrained
< source >( save_directory push_to_hub: bool = False **kwargs )
参数
- save_directory (
str或os.PathLike) — 将在其中保存特征提取器 JSON 文件和分词器文件的目录（如果目录不存在，则将创建该目录）。 - push_to_hub (
bool, optional, defaults toFalse) — 是否在保存模型后将其推送到 Hugging Face 模型中心。您可以指定要推送到带有repo_id的存储库（将默认为您命名空间中save_directory的名称）。 - kwargs (
Dict[str, Any], optional) — 传递给 push_to_hub() 方法的附加关键字参数。
将此 processor 的属性（特征提取器、分词器...）保存在指定的目录中，以便可以使用 from_pretrained() 方法重新加载它。
此类方法只是调用 save_pretrained() 和 save_pretrained()。有关更多信息，请参阅上述方法的文档字符串。
此方法将其所有参数转发到 PreTrainedTokenizer 的 batch_decode()。有关更多信息，请参阅此方法的文档字符串。
此方法将其所有参数转发到 PreTrainedTokenizer 的 decode()。有关更多信息，请参阅此方法的文档字符串。
Wav2Vec2BertModel
class transformers.Wav2Vec2BertModel
< source >( config: Wav2Vec2BertConfig )
参数
- config (Wav2Vec2BertConfig) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，仅加载配置。请查看 from_pretrained() 方法来加载模型权重。
裸机 Wav2Vec2Bert 模型，输出原始隐藏状态，顶部没有任何特定的 head。Wav2Vec2Bert 在 wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations 中被提出，作者是 Alexei Baevski, Henry Zhou, Abdelrahman Mohamed, Michael Auli。
此模型继承自 PreTrainedModel。查看超类文档以获取库为其所有模型实现的通用方法（例如下载或保存等）。
此模型是 PyTorch nn.Module 子类。像常规 PyTorch 模块一样使用它，并参阅 PyTorch 文档以了解所有与通用用法和行为相关的事项。
forward
< source >( input_features: Optional attention_mask: Optional = None mask_time_indices: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → transformers.modeling_outputs.Wav2Vec2BaseModelOutput 或 tuple(torch.FloatTensor)
参数
- input_features (
torch.FloatTensor，形状为(batch_size, sequence_length)) — 输入原始语音波形的浮点值。这些值可以通过将.flac或.wav音频文件加载到List[float]类型的数组或numpy.ndarray中获得，例如 通过 soundfile 库 (pip install soundfile)。为了将数组准备成input_features，应该使用 AutoProcessor 进行填充和转换为torch.FloatTensor类型的张量。 有关详细信息，请参阅 Wav2Vec2BertProcessor.call()。 - attention_mask (
torch.LongTensor，形状为(batch_size, sequence_length)，可选) — 用于避免在填充 token 索引上执行卷积和注意力的掩码。掩码值在[0, 1]中选择：- 1 表示 未被掩盖 的 token，
- 0 表示 被掩盖 的 token。
- output_attentions (
bool，可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参阅返回的张量下的attentions。 - output_hidden_states (
bool，可选) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参阅返回的张量下的hidden_states。 - return_dict (
bool，可选) — 是否返回 ModelOutput 而不是普通元组。
返回值
transformers.modeling_outputs.Wav2Vec2BaseModelOutput 或 tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.Wav2Vec2BaseModelOutput 或一个 torch.FloatTensor 元组（如果传递 return_dict=False 或当 config.return_dict=False 时），其中包含各种元素，具体取决于配置 (Wav2Vec2BertConfig) 和输入。
-
last_hidden_state (
torch.FloatTensor，形状为(batch_size, sequence_length, hidden_size)) — 模型最后一层的输出处的隐藏状态序列。 -
extract_features (
torch.FloatTensor，形状为(batch_size, sequence_length, conv_dim[-1])) — 模型最后一个卷积层的提取特征向量序列。 -
hidden_states (
tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或当config.output_hidden_states=True时返回) —torch.FloatTensor元组（每个嵌入输出一个 + 每层输出一个），形状为(batch_size, sequence_length, hidden_size)。模型在每一层输出以及初始嵌入输出处的隐藏状态。
-
attentions (
tuple(torch.FloatTensor)，可选，当传递output_attentions=True或当config.output_attentions=True时返回) —torch.FloatTensor元组（每层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。
Wav2Vec2BertModel forward 方法，覆盖了 __call__ 特殊方法。
尽管 forward 传递的配方需要在该函数中定义，但之后应该调用 Module 实例而不是此函数，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。
示例
>>> from transformers import AutoProcessor, Wav2Vec2BertModel
>>> import torch
>>> from datasets import load_dataset
>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation", trust_remote_code=True)
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate
>>> processor = AutoProcessor.from_pretrained("hf-audio/wav2vec2-bert-CV16-en")
>>> model = Wav2Vec2BertModel.from_pretrained("hf-audio/wav2vec2-bert-CV16-en")
>>> # audio file is decoded on the fly
>>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> with torch.no_grad():
... outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 146, 1024]Wav2Vec2BertForCTC
class transformers.Wav2Vec2BertForCTC
< source >( config target_lang: Optional = None )
参数
- config (Wav2Vec2BertConfig) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，仅加载配置。请查看 from_pretrained() 方法来加载模型权重。
Wav2Vec2Bert 模型，顶部带有一个用于连接时序分类 (CTC) 的 语言建模 head。Wav2Vec2Bert 在 wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations 中被提出，作者是 Alexei Baevski, Henry Zhou, Abdelrahman Mohamed, Michael Auli。
此模型继承自 PreTrainedModel。查看超类文档以获取库为其所有模型实现的通用方法（例如下载或保存等）。
此模型是 PyTorch nn.Module 子类。像常规 PyTorch 模块一样使用它，并参阅 PyTorch 文档以了解所有与通用用法和行为相关的事项。
forward
< source >( input_features: Optional attention_mask: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None labels: Optional = None ) → transformers.modeling_outputs.CausalLMOutput 或 tuple(torch.FloatTensor)
参数
- input_features (
torch.FloatTensor，形状为(batch_size, sequence_length)) — 输入原始语音波形的浮点值。这些值可以通过将.flac或.wav音频文件加载到List[float]类型的数组或numpy.ndarray中获得，例如 通过 soundfile 库 (pip install soundfile)。为了将数组准备成input_features，应该使用 AutoProcessor 进行填充和转换为torch.FloatTensor类型的张量。 有关详细信息，请参阅 Wav2Vec2BertProcessor.call()。 - attention_mask (
torch.LongTensor，形状为(batch_size, sequence_length)，可选) — 用于避免在填充 token 索引上执行卷积和注意力的掩码。掩码值在[0, 1]中选择：- 1 表示 未被掩盖 的 token，
- 0 表示 被掩盖 的 token。
- output_attentions (
bool，可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参阅返回的张量下的attentions。 - output_hidden_states (
bool，可选) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参阅返回的张量下的hidden_states。 - return_dict (
bool，可选) — 是否返回 ModelOutput 而不是普通元组。 - labels (
torch.LongTensor，形状为(batch_size, target_length)，可选) — 用于连接时序分类的标签。 请注意，target_length必须小于或等于输出 logits 的序列长度。 索引在[-100, 0, ..., config.vocab_size - 1]中选择。 所有设置为-100的标签都将被忽略（掩盖），损失仅针对[0, ..., config.vocab_size - 1]中的标签计算。
返回值
transformers.modeling_outputs.CausalLMOutput 或 tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.CausalLMOutput 或一个 torch.FloatTensor 元组（如果传递 return_dict=False 或当 config.return_dict=False 时），其中包含各种元素，具体取决于配置 (Wav2Vec2BertConfig) 和输入。
-
loss (
torch.FloatTensor，形状为(1,)，可选，当提供labels时返回) — 语言建模损失（用于下一个 token 预测）。 -
logits (
torch.FloatTensor，形状为(batch_size, sequence_length, config.vocab_size)) — 语言建模 head 的预测分数（SoftMax 之前每个词汇表 token 的分数）。 -
hidden_states (
tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或当config.output_hidden_states=True时返回) —torch.FloatTensor元组（每个嵌入输出一个，如果模型有嵌入层，+ 每层输出一个），形状为(batch_size, sequence_length, hidden_size)。模型在每一层输出处的隐藏状态，加上可选的初始嵌入输出。
-
attentions (
tuple(torch.FloatTensor)，可选，当传递output_attentions=True或当config.output_attentions=True时返回) —torch.FloatTensor元组（每层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。
Wav2Vec2BertForCTC forward 方法，覆盖了 __call__ 特殊方法。
尽管 forward 传递的配方需要在该函数中定义，但之后应该调用 Module 实例而不是此函数，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。
示例
>>> from transformers import AutoProcessor, Wav2Vec2BertForCTC
>>> from datasets import load_dataset
>>> import torch
>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation", trust_remote_code=True)
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate
>>> processor = AutoProcessor.from_pretrained("hf-audio/wav2vec2-bert-CV16-en")
>>> model = Wav2Vec2BertForCTC.from_pretrained("hf-audio/wav2vec2-bert-CV16-en")
>>> # audio file is decoded on the fly
>>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> predicted_ids = torch.argmax(logits, dim=-1)
>>> # transcribe speech
>>> transcription = processor.batch_decode(predicted_ids)
>>> transcription[0]
'mr quilter is the apostle of the middle classes and we are glad to welcome his gospel'
>>> inputs["labels"] = processor(text=dataset[0]["text"], return_tensors="pt").input_ids
>>> # compute loss
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
17.04Wav2Vec2BertForSequenceClassification
class transformers.Wav2Vec2BertForSequenceClassification
< source >( config )
参数
- config (Wav2Vec2BertConfig) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，仅加载配置。请查看 from_pretrained() 方法来加载模型权重。
Wav2Vec2Bert 模型，顶部带有一个序列分类 head（池化输出上的线性层），用于执行诸如 SUPERB 关键词识别之类的任务。
Wav2Vec2Bert 在 wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations 中被提出，作者是 Alexei Baevski, Henry Zhou, Abdelrahman Mohamed, Michael Auli。
此模型继承自 PreTrainedModel。查看超类文档以获取库为其所有模型实现的通用方法（例如下载或保存等）。
此模型是 PyTorch nn.Module 子类。像常规 PyTorch 模块一样使用它，并参阅 PyTorch 文档以了解所有与通用用法和行为相关的事项。
forward
< source >( input_features: Optional attention_mask: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None labels: Optional = None ) → transformers.modeling_outputs.SequenceClassifierOutput 或 tuple(torch.FloatTensor)
参数
- input_features (形状为
(batch_size, sequence_length)的torch.FloatTensor) — 输入原始语音波形的浮点值。值可以通过将.flac或.wav音频文件加载到List[float]类型的数组或numpy.ndarray中获得，例如 通过 soundfile 库 (pip install soundfile)。为了将数组准备为input_features，应该使用 AutoProcessor 进行填充和转换为torch.FloatTensor类型的张量。 有关详细信息，请参阅 Wav2Vec2BertProcessor.call()。 - attention_mask (形状为
(batch_size, sequence_length)的torch.LongTensor, 可选) — 掩码，以避免在填充 token 索引上执行卷积和注意力机制。掩码值在[0, 1]中选择：- 1 表示 未被掩盖 的 token，
- 0 表示 被掩盖 的 token。
- output_attentions (
bool, 可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参见返回张量下的attentions。 - output_hidden_states (
bool, 可选) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参见返回张量下的hidden_states。 - return_dict (
bool, 可选) — 是否返回 ModelOutput 而不是普通元组。 - labels (形状为
(batch_size,)的torch.LongTensor, 可选) — 用于计算序列分类/回归损失的标签。索引应在[0, ..., config.num_labels - 1]中。如果config.num_labels == 1，则计算回归损失（均方损失）。如果config.num_labels > 1，则计算分类损失（交叉熵损失）。
返回值
transformers.modeling_outputs.SequenceClassifierOutput 或 tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.SequenceClassifierOutput 或一个 torch.FloatTensor 的元组 (如果传递 return_dict=False 或当 config.return_dict=False 时)，包含各种元素，具体取决于配置 (Wav2Vec2BertConfig) 和输入。
-
loss (形状为
(1,)的torch.FloatTensor, 可选, 当提供labels时返回) — 分类（或如果 config.num_labels==1 则为回归）损失。 -
logits (形状为
(batch_size, config.num_labels)的torch.FloatTensor) — 分类（或如果 config.num_labels==1 则为回归）得分（在 SoftMax 之前）。 -
hidden_states (
tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或当config.output_hidden_states=True时返回) —torch.FloatTensor元组（每个嵌入输出一个，如果模型有嵌入层，+ 每层输出一个），形状为(batch_size, sequence_length, hidden_size)。模型在每一层输出处的隐藏状态，加上可选的初始嵌入输出。
-
attentions (
tuple(torch.FloatTensor)，可选，当传递output_attentions=True或当config.output_attentions=True时返回) —torch.FloatTensor元组（每层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。
Wav2Vec2BertForSequenceClassification 的 forward 方法，覆盖了 __call__ 特殊方法。
尽管 forward 传递的配方需要在该函数中定义，但之后应该调用 Module 实例而不是此函数，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。
示例
>>> from transformers import AutoFeatureExtractor, Wav2Vec2BertForSequenceClassification
>>> from datasets import load_dataset
>>> import torch
>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation", trust_remote_code=True)
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate
>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/w2v-bert-2.0")
>>> model = Wav2Vec2BertForSequenceClassification.from_pretrained("facebook/w2v-bert-2.0")
>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> predicted_class_ids = torch.argmax(logits, dim=-1).item()
>>> predicted_label = model.config.id2label[predicted_class_ids]
>>> # compute loss - target_label is e.g. "down"
>>> target_label = model.config.id2label[0]
>>> inputs["labels"] = torch.tensor([model.config.label2id[target_label]])
>>> loss = model(**inputs).lossWav2Vec2BertForAudioFrameClassification
class transformers.Wav2Vec2BertForAudioFrameClassification
< source >( config )
参数
- config (Wav2Vec2BertConfig) — 带有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。
带有音频帧分类头的 Wav2Vec2Bert 模型，用于诸如说话人日志之类的任务。
Wav2Vec2Bert 在 wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations 中被提出，作者是 Alexei Baevski, Henry Zhou, Abdelrahman Mohamed, Michael Auli。
此模型继承自 PreTrainedModel。查看超类文档以获取库为其所有模型实现的通用方法（例如下载或保存等）。
此模型是 PyTorch nn.Module 子类。像常规 PyTorch 模块一样使用它，并参阅 PyTorch 文档以了解所有与通用用法和行为相关的事项。
forward
< source >( input_features: Optional attention_mask: Optional = None labels: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → transformers.modeling_outputs.TokenClassifierOutput 或 tuple(torch.FloatTensor)
参数
- input_features (形状为
(batch_size, sequence_length)的torch.FloatTensor) — 输入原始语音波形的浮点值。值可以通过将.flac或.wav音频文件加载到List[float]类型的数组或numpy.ndarray中获得，例如 通过 soundfile 库 (pip install soundfile)。为了将数组准备为input_features，应该使用 AutoProcessor 进行填充和转换为torch.FloatTensor类型的张量。 有关详细信息，请参阅 Wav2Vec2BertProcessor.call()。 - attention_mask (形状为
(batch_size, sequence_length)的torch.LongTensor, 可选) — 掩码，以避免在填充 token 索引上执行卷积和注意力机制。掩码值在[0, 1]中选择：- 1 表示 未被掩盖 的 token，
- 0 表示 被掩盖 的 token。
- output_attentions (
bool, 可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参见返回张量下的attentions。 - output_hidden_states (
bool, 可选) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参见返回张量下的hidden_states。 - return_dict (
bool, 可选) — 是否返回 ModelOutput 而不是普通元组。 - labels (形状为
(batch_size,)的torch.LongTensor, 可选) — 用于计算序列分类/回归损失的标签。索引应在[0, ..., config.num_labels - 1]中。如果config.num_labels == 1，则计算回归损失（均方损失）。如果config.num_labels > 1，则计算分类损失（交叉熵损失）。
返回值
transformers.modeling_outputs.TokenClassifierOutput 或 tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.TokenClassifierOutput 或一个 torch.FloatTensor 的元组 (如果传递 return_dict=False 或当 config.return_dict=False 时)，包含各种元素，具体取决于配置 (Wav2Vec2BertConfig) 和输入。
-
loss (形状为
(1,)的torch.FloatTensor, 可选, 当提供labels时返回) — 分类损失。 -
logits (形状为
(batch_size, sequence_length, config.num_labels)的torch.FloatTensor) — 分类得分（在 SoftMax 之前）。 -
hidden_states (
tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或当config.output_hidden_states=True时返回) —torch.FloatTensor元组（每个嵌入输出一个，如果模型有嵌入层，+ 每层输出一个），形状为(batch_size, sequence_length, hidden_size)。模型在每一层输出处的隐藏状态，加上可选的初始嵌入输出。
-
attentions (
tuple(torch.FloatTensor)，可选，当传递output_attentions=True或当config.output_attentions=True时返回) —torch.FloatTensor元组（每层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。
Wav2Vec2BertForAudioFrameClassification 的 forward 方法，覆盖了 __call__ 特殊方法。
尽管 forward 传递的配方需要在该函数中定义，但之后应该调用 Module 实例而不是此函数，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。
示例
>>> from transformers import AutoFeatureExtractor, Wav2Vec2BertForAudioFrameClassification
>>> from datasets import load_dataset
>>> import torch
>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation", trust_remote_code=True)
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate
>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/w2v-bert-2.0")
>>> model = Wav2Vec2BertForAudioFrameClassification.from_pretrained("facebook/w2v-bert-2.0")
>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(dataset[0]["audio"]["array"], return_tensors="pt", sampling_rate=sampling_rate)
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> probabilities = torch.sigmoid(logits[0])
>>> # labels is a one-hot array of shape (num_frames, num_speakers)
>>> labels = (probabilities > 0.5).long()Wav2Vec2BertForXVector
class transformers.Wav2Vec2BertForXVector
< source >( config )
参数
- config (Wav2Vec2BertConfig) — 带有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。
带有 XVector 特征提取头的 Wav2Vec2Bert 模型，用于诸如说话人验证之类的任务。
Wav2Vec2Bert 在 wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations 中被提出，作者是 Alexei Baevski, Henry Zhou, Abdelrahman Mohamed, Michael Auli。
此模型继承自 PreTrainedModel。查看超类文档以获取库为其所有模型实现的通用方法（例如下载或保存等）。
此模型是 PyTorch nn.Module 子类。像常规 PyTorch 模块一样使用它，并参阅 PyTorch 文档以了解所有与通用用法和行为相关的事项。
forward
< source >( input_features: Optional attention_mask: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None labels: Optional = None ) → transformers.modeling_outputs.XVectorOutput 或 tuple(torch.FloatTensor)
参数
- input_features (形状为
(batch_size, sequence_length)的torch.FloatTensor) — 输入原始语音波形的浮点值。值可以通过将.flac或.wav音频文件加载到List[float]类型的数组或numpy.ndarray中获得，例如 通过 soundfile 库 (pip install soundfile)。为了将数组准备为input_features，应该使用 AutoProcessor 进行填充和转换为torch.FloatTensor类型的张量。 有关详细信息，请参阅 Wav2Vec2BertProcessor.call()。 - attention_mask (形状为
(batch_size, sequence_length)的torch.LongTensor, 可选) — 掩码，以避免在填充 token 索引上执行卷积和注意力机制。掩码值在[0, 1]中选择：- 1 表示 未被掩盖 的 token，
- 0 表示 被掩盖 的 token。
- output_attentions (
bool, 可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参见返回张量下的attentions。 - output_hidden_states (
bool, optional) — 是否返回所有层的隐藏状态。 更多细节请参阅返回张量下的hidden_states。 - return_dict (
bool, optional) — 是否返回 ModelOutput 对象而不是普通的元组。 - labels (
torch.LongTensorof shape(batch_size,), optional) — 用于计算序列分类/回归损失的标签。 索引应在[0, ..., config.num_labels - 1]中。 如果config.num_labels == 1，则计算回归损失（均方误差损失）；如果config.num_labels > 1，则计算分类损失（交叉熵损失）。
返回值
transformers.modeling_outputs.XVectorOutput or tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.XVectorOutput 对象，或一个 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），其中包含取决于配置 (Wav2Vec2BertConfig) 和输入的各种元素。
-
loss (形状为
(1,)的torch.FloatTensor, 可选, 当提供labels时返回) — 分类损失。 -
logits (
torch.FloatTensorof shape(batch_size, config.xvector_output_dim)) — AMSoftmax 之前的分类隐藏状态。 -
embeddings (
torch.FloatTensorof shape(batch_size, config.xvector_output_dim)) — 用于基于向量相似度检索的语句嵌入。 -
hidden_states (
tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True或当config.output_hidden_states=True时返回) —torch.FloatTensor元组（每个嵌入输出一个 + 每层输出一个），形状为(batch_size, sequence_length, hidden_size)。模型在每一层输出以及初始嵌入输出处的隐藏状态。
-
attentions (
tuple(torch.FloatTensor)，可选，当传递output_attentions=True或当config.output_attentions=True时返回) —torch.FloatTensor元组（每层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。
The Wav2Vec2BertForXVector forward 方法，覆盖了 __call__ 特殊方法。
尽管 forward 传递的配方需要在该函数中定义，但之后应该调用 Module 实例而不是此函数，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。
示例
>>> from transformers import AutoFeatureExtractor, Wav2Vec2BertForXVector
>>> from datasets import load_dataset
>>> import torch
>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation", trust_remote_code=True)
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate
>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/w2v-bert-2.0")
>>> model = Wav2Vec2BertForXVector.from_pretrained("facebook/w2v-bert-2.0")
>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(
... [d["array"] for d in dataset[:2]["audio"]], sampling_rate=sampling_rate, return_tensors="pt", padding=True
... )
>>> with torch.no_grad():
... embeddings = model(**inputs).embeddings
>>> embeddings = torch.nn.functional.normalize(embeddings, dim=-1).cpu()
>>> # the resulting embeddings can be used for cosine similarity-based retrieval
>>> cosine_sim = torch.nn.CosineSimilarity(dim=-1)
>>> similarity = cosine_sim(embeddings[0], embeddings[1])
>>> threshold = 0.7 # the optimal threshold is dataset-dependent
>>> if similarity < threshold:
... print("Speakers are not the same!")