Wav2Vec2-BERT
概述
Wav2Vec2-BERT 模型在 Meta AI 的 Seamless Communication 团队的 Seamless: Multilingual Expressive and Streaming Speech Translation 中提出。
该模型在涵盖 143 多种语言的 450 万小时未标记音频数据上进行了预训练。它需要微调才能用于下游任务，例如自动语音识别 (ASR) 或音频分类。
该模型的官方结果可以在论文的第 3.2.1 节中找到。
论文的摘要如下：
近年来，自动语音翻译技术的进步显著提升了语言覆盖范围、增强了多模态功能，并实现了广泛的任务和功能。尽管如此，当今的大规模自动语音翻译系统仍然缺乏一些关键功能，这些功能能够使机器介导的沟通与人与人之间的对话一样流畅无缝。在本研究中，我们介绍了一系列模型，这些模型能够以流式方式实现端到端的表达性和多语言翻译。首先，我们贡献了多语言和多模态无缝M4T模型（SeamlessM4T）的改进版本——SeamlessM4T v2。这个更新的模型采用了更新的UnitY2框架，并使用更多低资源语言数据进行训练。SeamlessAlign的扩展版本为总共 76 种语言添加了 114,800 小时的自动对齐数据。SeamlessM4T v2 为我们两个最新模型，SeamlessExpressive 和 SeamlessStreaming 的开发奠定了基础。SeamlessExpressive 能够实现保留语音风格和韵律的翻译。与以往的表达性语音研究相比，我们的工作重点关注了韵律中一些尚未充分探索的方面，例如语速和停顿，同时保留了说话人的语音风格。至于 SeamlessStreaming，我们的模型利用了高效单调多头注意力（EMMA）机制，可以在不等待完整源语句的情况下生成低延迟的目标翻译。作为首创，SeamlessStreaming 支持针对多种源语言和目标语言进行同步的语音到语音/文本翻译。为了了解这些模型的性能，我们结合了新颖和修改后的现有自动指标，以评估韵律、延迟和鲁棒性。对于人工评估，我们调整了现有的协议，专门用于衡量含义保留、自然度和表达性方面的最相关属性。为了确保我们的模型可以安全和负责任地使用，我们实施了首个已知的针对多模态机器翻译的红队攻击，这是一个用于检测和缓解新增毒性的系统，以及对性别偏见的系统性评估，以及旨在减轻深度伪造影响的不可感知的本地化水印机制。因此，我们将 SeamlessExpressive 和 SeamlessStreaming 中的主要组件整合在一起，形成了 Seamless，这是一个首个公开可用的系统，它能够实时实现表达性的跨语言沟通。总而言之，Seamless 为我们提供了一个关键的视角，让我们了解到将通用语音翻译从科幻概念转变为现实世界技术的所需技术基础。最后，本研究中的贡献——包括模型、代码和水印检测器——已公开发布，可以在以下链接处访问。
此模型由 ylacombe 贡献。原始代码可以在 此处 找到。
使用技巧
- Wav2Vec2-BERT 遵循与 Wav2Vec2-Conformer 相同的架构，但采用了因果深度卷积层，并使用音频的梅尔谱图表示作为输入，而不是原始波形。
- Wav2Vec2-BERT 可以通过设置正确的
config.position_embeddings_type来使用没有相对位置嵌入、类似 Shaw 的位置嵌入、类似 Transformer-XL 的位置嵌入或旋转位置嵌入。 - Wav2Vec2-BERT 还引入了基于 Conformer 的适配器网络，而不是简单的卷积网络。
资源
- Wav2Vec2BertForCTC 受此 示例脚本 支持。
- 您也可以调整这些笔记本，了解 如何在英语中微调语音识别模型 以及 如何在任何语言中微调语音识别模型。
- Wav2Vec2BertForSequenceClassification 可以通过调整此 示例脚本 来使用。
- 另请参见：音频分类任务指南
Wav2Vec2BertConfig
class transformers.Wav2Vec2BertConfig
< 源代码 >( vocab_size = None hidden_size = 1024 num_hidden_layers = 24 num_attention_heads = 16 intermediate_size = 4096 feature_projection_input_dim = 160 hidden_act = 'swish' hidden_dropout = 0.0 activation_dropout = 0.0 attention_dropout = 0.0 feat_proj_dropout = 0.0 final_dropout = 0.1 layerdrop = 0.1 initializer_range = 0.02 layer_norm_eps = 1e-05 apply_spec_augment = True mask_time_prob = 0.05 mask_time_length = 10 mask_time_min_masks = 2 mask_feature_prob = 0.0 mask_feature_length = 10 mask_feature_min_masks = 0 ctc_loss_reduction = 'sum' ctc_zero_infinity = False use_weighted_layer_sum = False classifier_proj_size = 768 tdnn_dim = (512, 512, 512, 512, 1500) tdnn_kernel = (5, 3, 3, 1, 1) tdnn_dilation = (1, 2, 3, 1, 1) xvector_output_dim = 512 pad_token_id = 0 bos_token_id = 1 eos_token_id = 2 add_adapter = False adapter_kernel_size = 3 adapter_stride = 2 num_adapter_layers = 1 adapter_act = 'relu' use_intermediate_ffn_before_adapter = False output_hidden_size = None position_embeddings_type = 'relative_key' rotary_embedding_base = 10000 max_source_positions = 5000 left_max_position_embeddings = 64 right_max_position_embeddings = 8 conv_depthwise_kernel_size = 31 conformer_conv_dropout = 0.1 **kwargs )
参数
- vocab_size (
int, 可选) — Wav2Vec2Bert 模型的词汇量大小。定义了调用 Wav2Vec2BertModel 时，可由inputs_ids表示的不同标记数量。模型的词汇量大小。定义了可以由传递给 Wav2Vec2BertModel 的 forward 方法的 inputs_ids 表示的不同标记。 - hidden_size (
int, 可选, 默认为 1024) — 编码器层和池化层的维度。 - num_hidden_layers (
int, 可选, 默认为 24) — Transformer 编码器中的隐藏层数。 - num_attention_heads (
int, 可选, 默认为 16) — Transformer 编码器中每个注意力层的注意力头数。 - 中间层大小 (
int, 可选, 默认值为 4096) — Transformer 编码器中“中间”(即前馈)层的维度。 - 特征投影输入维度 (
int, 可选, 默认值为 160) — 此模型的输入维度，即使用 SeamlessM4TFeatureExtractor 或 Wav2Vec2BertProcessor 处理输入音频后的维度。 - 隐藏激活函数 (
str或function, 可选, 默认值为"swish") — 编码器和池化器中的非线性激活函数(函数或字符串)。如果为字符串，则支持"gelu"、"relu"、"selu"、"swish"和"gelu_new"。 - 隐藏层丢弃率 (
float, 可选, 默认值为 0.0) — 嵌入层、编码器和池化器中所有全连接层的丢弃概率。 - 激活函数丢弃率 (
float, 可选, 默认值为 0.0) — 全连接层内部激活的丢弃率。 - 注意力丢弃率 (
float, 可选, 默认值为 0.0) — 注意力概率的丢弃率。 - 特征投影丢弃率 (
float, 可选, 默认值为 0.0) — 特征投影的丢弃概率。 - 最终丢弃率 (
float, 可选, 默认值为 0.1) — Wav2Vec2BertForCTC 的最终投影层的丢弃概率。 - 层丢弃率 (
float, 可选, 默认值为 0.1) — 层丢弃概率。有关详细信息，请参阅 [层丢弃论文](见 https://arxiv.org/abs/1909.11556)。 - 初始化范围 (
float, 可选, 默认值为 0.02) — 初始化所有权重矩阵的截断正态初始化的标准差。 - apply_spec_augment (
bool, optional, defaults toTrue) — 是否对特征编码器的输出应用SpecAugment 数据增强。 参见 SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition。 - mask_time_prob (
float, optional, defaults to 0.05) — 时间轴上所有特征向量的百分比（介于 0 到 1 之间），这些向量将被屏蔽。屏蔽过程在轴上生成mask_time_prob*len(time_axis)/mask_time_length个独立的屏蔽。如果从每个特征向量被选为要屏蔽的向量跨度开始的概率进行推理，mask_time_prob 应该为prob_vector_start*mask_time_length。请注意，重叠可能会降低实际被屏蔽向量的百分比。这仅在apply_spec_augment is True时才相关。 - mask_time_length (
int, optional, defaults to 10) — 沿时间轴的向量跨度长度。 - mask_time_min_masks (
int, optional, defaults to 2) — 沿时间轴生成的长度为mask_feature_length的屏蔽的最小数量，每次步骤，无论mask_feature_prob。仅在mask_time_prob*len(time_axis)/mask_time_length < mask_time_min_masks时才相关。 - mask_feature_prob (
float, optional, defaults to 0.0) — 沿特征轴上所有特征向量的百分比（介于 0 到 1 之间），这些向量将被屏蔽。屏蔽过程在轴上生成mask_feature_prob*len(feature_axis)/mask_time_length个独立的屏蔽。如果从每个特征向量被选为要屏蔽的向量跨度开始的概率进行推理，mask_feature_prob 应该为prob_vector_start*mask_feature_length。请注意，重叠可能会降低实际被屏蔽向量的百分比。这仅在apply_spec_augment is True时才相关。 - mask_feature_length (
int, optional, defaults to 10) — 沿特征轴的向量跨度长度。 - mask_feature_min_masks (
int, optional, defaults to 0) — 沿特征轴生成的长度为mask_feature_length的屏蔽的最小数量，每次步骤，无论mask_feature_prob。仅在mask_feature_prob*len(feature_axis)/mask_feature_length < mask_feature_min_masks时才相关。 - ctc_loss_reduction (
str, optional, defaults to"sum") — 指定要应用于torch.nn.CTCLoss输出的缩减。仅在训练 Wav2Vec2BertForCTC 的实例时才相关。 - ctc_zero_infinity (
bool, optional, defaults toFalse) — 是否将torch.nn.CTCLoss的无穷大损失和关联的梯度归零。无穷大损失主要发生在输入过短而无法与目标对齐时。仅在训练 Wav2Vec2BertForCTC 的实例时才相关。 - tdnn_dim (
Tuple[int]或List[int], 可选, 默认为(512, 512, 512, 512, 1500)) — 定义 XVector 模型 TDNN 模块中每个 1D 卷积层的输出通道数的整数元组。tdnn_dim 的长度定义了 TDNN 层的数量。 - tdnn_kernel (
Tuple[int]或List[int], 可选, 默认为(5, 3, 3, 1, 1)) — 定义 XVector 模型 TDNN 模块中每个 1D 卷积层的核大小的整数元组。tdnn_kernel 的长度必须与 tdnn_dim 的长度匹配。 - tdnn_dilation (
Tuple[int]或List[int], 可选, 默认为(1, 2, 3, 1, 1)) — 定义 XVector 模型 TDNN 模块中每个 1D 卷积层的膨胀系数的整数元组。tdnn_dilation 的长度必须与 tdnn_dim 的长度匹配。 - xvector_output_dim (
int, 可选, 默认为 512) — XVector 嵌入向量的维数。 - 填充标记 ID (
int, 可选, 默认为 0) — 流开头 标记的 ID。 - 开始标记 ID (
int, 可选, 默认为 1) — 填充 标记的 ID。 - 结束标记 ID (
int, 可选, 默认为 2) — 流结尾 标记的 ID。 - 添加适配器 (
bool, 可选, 默认为False) — 是否应在 Wav2Vec2Bert 编码器之上叠加一个卷积注意网络。对于为 SpeechEncoderDecoder 模型预热 Wav2Vec2Bert 非常有用。 - 适配器核大小 (
int, 可选, 默认为 3) — 适配器网络中卷积层的核大小。仅当add_adapter 为 True时才相关。 - adapter_act (
str或function, 可选, 默认值为"relu") — 适配器层中的非线性激活函数（函数或字符串）。如果是字符串，则支持"gelu"、"relu"、"selu"、"swish"和"gelu_new"。 - use_intermediate_ffn_before_adapter (
bool, 可选, 默认值为False) — 是否应在 Wav2Vec2Bert 编码器之上以及适配器网络之前堆叠一个中间前馈块。仅在add_adapter 为 True时有效。 - output_hidden_size (
int, 可选) — 编码器输出层的维数。如果未定义，则默认为 hidden-size。仅在add_adapter 为 True时有效。 - position_embeddings_type (
str, 可选, 默认值为"relative_key") — 可以指定为：rotary，用于旋转位置嵌入。relative，用于相对位置嵌入。relative_key，用于 Shaw 在 Self-Attention with Relative Position Representations (Shaw et al.) 中定义的相对位置嵌入。如果保留为None，则不应用相对位置嵌入。
- rotary_embedding_base (
int, 可选, 默认值为 10000) — 如果使用"rotary"位置嵌入，则定义嵌入基的大小。 - max_source_positions (
int, 可选, 默认值为 5000) — 如果使用"relative"位置嵌入，则定义最大源输入位置。 - left_max_position_embeddings (
int, 可选, 默认值为 64) — 如果使用"relative_key"（又名 Shaw）位置嵌入，则定义相对位置的左侧剪切值。 - right_max_position_embeddings (
int, 可选, 默认值为 8) — 如果使用"relative_key"（又名 Shaw）位置嵌入，则定义相对位置的右侧剪切值。 - conv_depthwise_kernel_size (
int, 可选, 默认值为 31) — Conformer 块中卷积深度 1D 层的内核大小。 - 这是一个配置类，用于存储 Wav2Vec2BertModel 的配置。它用于根据指定的参数实例化一个 Wav2Vec2Bert 模型，定义模型的架构。使用默认值实例化配置将生成与 Wav2Vec2Bert facebook/wav2vec2-bert-rel-pos-large 架构类似的配置。
配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请阅读 PretrainedConfig 的文档。
示例
>>> from transformers import Wav2Vec2BertConfig, Wav2Vec2BertModel >>> # Initializing a Wav2Vec2Bert facebook/wav2vec2-bert-rel-pos-large style configuration >>> configuration = Wav2Vec2BertConfig() >>> # Initializing a model (with random weights) from the facebook/wav2vec2-bert-rel-pos-large style configuration >>> model = Wav2Vec2BertModel(configuration) >>> # Accessing the model configuration >>> configuration = model.config
Wav2Vec2BertProcessor
class transformers.Wav2Vec2BertProcessor
< source >( feature_extractor tokenizer )
参数
- feature_extractor (
SeamlessM4TFeatureExtractor) — SeamlessM4TFeatureExtractor 的实例。特征提取器是必需的输入。 - tokenizer (PreTrainedTokenizer) — PreTrainedTokenizer 的实例。分词器是必需的输入。
构造一个 Wav2Vec2-BERT 处理器，它将 Wav2Vec2-BERT 特征提取器和 Wav2Vec2 CTC 分词器包装到一个处理器中。
Wav2Vec2Processor 提供了 SeamlessM4TFeatureExtractor 和 PreTrainedTokenizer 的所有功能。有关更多信息，请参阅 call() 和 decode() 的文档字符串。
__call__
< source >( audio = None text = None **kwargs ) → BatchEncoding
参数
- text (
str,List[str],List[List[str]]) — 要编码的序列或序列批次。每个序列可以是字符串或字符串列表（预标记字符串）。如果序列以字符串列表（预标记）的形式提供，则必须设置is_split_into_words=True（以消除与序列批次的歧义）。 - audio (
np.ndarray,torch.Tensor,List[np.ndarray],List[torch.Tensor]) — 要准备的音频或音频批次。每个音频可以是 NumPy 数组或 PyTorch 张量。在 NumPy 数组/PyTorch 张量的情况下，每个音频的形状应为 (C, T)，其中 C 是通道数，T 是音频的样本长度。 - kwargs (可选) — 将传递给特征提取器和/或分词器的剩余关键字参数字典。
返回值
一个带有以下字段的 BatchEncoding
- input_features — 要馈送到模型的音频输入特征。当
audio不为None时返回。 - attention_mask — 指示模型在
audio不为None时应注意哪些时间戳的索引列表。当仅指定text时，返回令牌注意力掩码。 - labels — 要馈送到模型的令牌 ID 列表。当
text和audio均不为None时返回。 - input_ids — 要馈送到模型的令牌 ID 列表。当
text不为None且audio为None时返回。
此方法用于准备模型的单个或多个序列和音频。如果 audio 不为 None，该方法会将 audio 和 kwargs 参数转发给 SeamlessM4TFeatureExtractor 的 call() 预处理音频。要准备目标序列，如果 text 不为 None，该方法会将 text 和 kwargs 参数转发给 PreTrainedTokenizer 的 call()。有关更多信息，请参阅上述两种方法的文档说明。
如果 input_features 不为 None，该方法会将 input_features 和 kwargs 参数转发给 SeamlessM4TFeatureExtractor 的 pad() 填充输入特征。如果 labels 不为 None，该方法会将 labels 和 kwargs 参数转发给 PreTrainedTokenizer 的 pad() 填充标签。有关更多信息，请参阅上述两种方法的文档说明。
保存预训练模型
< 源代码 >( save_directory push_to_hub: bool = False **kwargs )
参数
- save_directory (
str或os.PathLike) — 保存特征提取器 JSON 文件和词法分析器文件的目录（如果目录不存在，则会创建该目录）。 - push_to_hub (
bool, 可选, 默认值:False) — 是否在保存模型后将其推送到 Hugging Face 模型中心。您可以使用repo_id指定要推送到哪个存储库（默认情况下将使用您的命名空间中的save_directory的名称）。 - kwargs (
Dict[str, Any], 可选) — 传递给 push_to_hub() 方法的其他关键字参数。
将此处理器的属性（特征提取器、词法分析器等）保存在指定的目录中，以便可以使用 from_pretrained() 方法重新加载它们。
此类方法只是调用了 save_pretrained() 和 save_pretrained()。有关更多信息，请参阅上述方法的文档说明。
此方法会将所有参数转发给 PreTrainedTokenizer 的 batch_decode()。有关更多信息，请参阅此方法的文档说明。
Wav2Vec2BertModel
class transformers.Wav2Vec2BertModel
< source >( config: Wav2Vec2BertConfig )
参数
- config (Wav2Vec2BertConfig) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型相关的权重，只会加载配置。请查看 from_pretrained() 方法加载模型权重。
Wav2Vec2Bert 模型的基本 Transformer，输出原始隐藏状态，没有特定的头部。Wav2Vec2Bert 由 Alexei Baevski、Henry Zhou、Abdelrahman Mohamed 和 Michael Auli 在 wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations 中提出。
此模型继承自 PreTrainedModel。请查看父类文档以了解库为所有模型实现的通用方法（如下载或保存等）。
此模型是 PyTorch nn.Module 子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档了解所有与通用用法和行为相关的事项。
forward
< source >( input_features: Optional attention_mask: Optional = None mask_time_indices: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → transformers.modeling_outputs.Wav2Vec2BaseModelOutput or tuple(torch.FloatTensor)
参数
- input_features (
torch.FloatTensorof shape(batch_size, sequence_length)) — 输入原始语音波形的浮点值。值可以通过将.flac或.wav音频文件加载到List[float]或numpy.ndarray类型的数组中来获取，例如，通过 soundfile 库（pip install soundfile）。要将数组准备为input_features，应使用 AutoProcessor 进行填充并转换为torch.FloatTensor类型的张量。有关详细信息，请参见 Wav2Vec2BertProcessor.call()。 - attention_mask (
torch.LongTensorof shape(batch_size, sequence_length), optional) — 避免对填充令牌索引执行卷积和注意的掩码。在[0, 1]中选择掩码值：- 1 表示 **未掩码** 的令牌，
- 0 表示 **掩码** 的令牌。
- output_attentions (
bool, optional) — 是否返回所有注意力层的注意力张量。有关详细信息，请参见返回张量中的attentions。 - output_hidden_states (
bool, optional) — 是否返回所有层的隐藏状态。有关详细信息，请参见返回张量中的hidden_states。 - return_dict (
bool, 可选) — 是否返回一个 ModelOutput 而不是一个简单的元组。
返回值
transformers.modeling_outputs.Wav2Vec2BaseModelOutput 或 tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.Wav2Vec2BaseModelOutput 或一个 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含根据配置 (Wav2Vec2BertConfig) 和输入的不同元素。
-
last_hidden_state (
torch.FloatTensor形状为(batch_size, sequence_length, hidden_size)) — 模型最后一层的输出隐藏状态序列。 -
extract_features (
torch.FloatTensor形状为(batch_size, sequence_length, conv_dim[-1])) — 模型最后一个卷积层的提取特征向量序列。 -
hidden_states (
tuple(torch.FloatTensor), 可选，当传递output_hidden_states=True或当config.output_hidden_states=True时返回) —torch.FloatTensor元组（一个用于嵌入的输出，一个用于每一层的输出），形状为(batch_size, sequence_length, hidden_size)。模型在每一层输出处的隐藏状态加上初始嵌入输出。
-
attentions (
tuple(torch.FloatTensor), 可选，当传递output_attentions=True或当config.output_attentions=True时返回) —torch.FloatTensor元组（每一层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。自注意力头中用于计算加权平均的自注意力 softmax 后的注意力权重。
The Wav2Vec2BertModel 正向方法，覆盖了 __call__ 特殊方法。
虽然正向传递的配方需要在此函数中定义，但应该随后调用 Module 实例而不是此方法，因为前者负责运行前处理和后处理步骤，而后者会静默地忽略它们。
示例
>>> from transformers import AutoProcessor, Wav2Vec2BertModel
>>> import torch
>>> from datasets import load_dataset
>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation", trust_remote_code=True)
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate
>>> processor = AutoProcessor.from_pretrained("hf-audio/wav2vec2-bert-CV16-en")
>>> model = Wav2Vec2BertModel.from_pretrained("hf-audio/wav2vec2-bert-CV16-en")
>>> # audio file is decoded on the fly
>>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> with torch.no_grad():
... outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 146, 1024]Wav2Vec2BertForCTC
class transformers.Wav2Vec2BertForCTC
< 源代码 >( config target_lang: Optional = None )
参数
- config (Wav2Vec2BertConfig) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型关联的权重，只会加载配置。查看 from_pretrained() 方法来加载模型权重。
在顶部具有 语言建模 头的 Wav2Vec2Bert 模型，用于连接主义时序分类 (CTC)。Wav2Vec2Bert 在 wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations 中提出，作者为 Alexei Baevski、Henry Zhou、Abdelrahman Mohamed 和 Michael Auli。
此模型继承自 PreTrainedModel。请查看父类文档以了解库为所有模型实现的通用方法（如下载或保存等）。
此模型是 PyTorch nn.Module 子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档了解所有与通用用法和行为相关的事项。
forward
< 源代码 >( input_features: Optional attention_mask: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None labels: Optional = None ) → transformers.modeling_outputs.CausalLMOutput or tuple(torch.FloatTensor)
参数
- input_features (
torch.FloatTensor形状为(batch_size, sequence_length)) — 输入原始语音波形的浮点值。可以通过将.flac或.wav音频文件加载到List[float]或numpy.ndarray类型的数组中来获取值，例如 通过 soundfile 库 (pip install soundfile)。要将数组准备成input_features，应该使用 AutoProcessor 进行填充和转换为torch.FloatTensor类型的张量。查看 Wav2Vec2BertProcessor.call() 以了解详细信息。 - attention_mask (
torch.LongTensor形状为(batch_size, sequence_length)，可选) — 用于避免在填充令牌索引上执行卷积和注意力的掩码。掩码值在[0, 1]中选择：- 1 表示未掩码的令牌，
- 0 表示掩码的令牌。
- output_attentions (
bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量中的attentions。 - output_hidden_states (
bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量中的hidden_states。 - return_dict (
bool，可选) — 是否返回 ModelOutput 而不是普通元组。 - labels (
torch.LongTensor形状为(batch_size, target_length)，可选) — 连接主义时序分类的标签。请注意，target_length必须小于或等于输出 logits 的序列长度。索引在[-100, 0, ..., config.vocab_size - 1]中选择。所有设置为-100的标签都被忽略（掩码），损失仅针对[0, ..., config.vocab_size - 1]中的标签计算。
返回值
transformers.modeling_outputs.CausalLMOutput 或 tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.CausalLMOutput 或一个 torch.FloatTensor 元组（如果传递 return_dict=False 或 config.return_dict=False 时），包含取决于配置 (Wav2Vec2BertConfig) 和输入的各种元素。
-
loss (
torch.FloatTensor形状为(1,)，可选，在提供labels时返回) — 语言建模损失（用于下一个令牌预测）。 -
logits (
torch.FloatTensor形状为(batch_size, sequence_length, config.vocab_size)) — 语言建模头的预测分数（在 SoftMax 之前的每个词汇表令牌的分数）。 -
hidden_states (
tuple(torch.FloatTensor)，可选，在传递output_hidden_states=True或config.output_hidden_states=True时返回) —torch.FloatTensor元组（一个用于嵌入的输出，如果模型具有嵌入层，再加上每个层的输出），形状为(batch_size, sequence_length, hidden_size)。模型在每一层输出处的隐藏状态加上可选的初始嵌入输出。
-
attentions (
tuple(torch.FloatTensor), 可选，当传递output_attentions=True或当config.output_attentions=True时返回) —torch.FloatTensor元组（每一层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。自注意力头中用于计算加权平均的自注意力 softmax 后的注意力权重。
Wav2Vec2BertForCTC 正向方法覆盖了 __call__ 特殊方法。
虽然正向传递的配方需要在此函数中定义，但应该随后调用 Module 实例而不是此方法，因为前者负责运行前处理和后处理步骤，而后者会静默地忽略它们。
示例
>>> from transformers import AutoProcessor, Wav2Vec2BertForCTC
>>> from datasets import load_dataset
>>> import torch
>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation", trust_remote_code=True)
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate
>>> processor = AutoProcessor.from_pretrained("hf-audio/wav2vec2-bert-CV16-en")
>>> model = Wav2Vec2BertForCTC.from_pretrained("hf-audio/wav2vec2-bert-CV16-en")
>>> # audio file is decoded on the fly
>>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> predicted_ids = torch.argmax(logits, dim=-1)
>>> # transcribe speech
>>> transcription = processor.batch_decode(predicted_ids)
>>> transcription[0]
'mr quilter is the apostle of the middle classes and we are glad to welcome his gospel'
>>> inputs["labels"] = processor(text=dataset[0]["text"], return_tensors="pt").input_ids
>>> # compute loss
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
17.04Wav2Vec2BertForSequenceClassification
class transformers.Wav2Vec2BertForSequenceClassification
< source >( config )
参数
- config (Wav2Vec2BertConfig) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型关联的权重，只会加载配置。查看 from_pretrained() 方法加载模型权重。
Wav2Vec2Bert 模型，顶部有一个序列分类头（在汇聚的输出上进行线性层），用于 SUPERB 关键词识别等任务。
Wav2Vec2Bert 由 Alexei Baevski、Henry Zhou、Abdelrahman Mohamed 和 Michael Auli 在 wav2vec 2.0：一种用于语音表示的自监督学习框架 中提出。
此模型继承自 PreTrainedModel。请查看父类文档以了解库为所有模型实现的通用方法（如下载或保存等）。
此模型是 PyTorch nn.Module 子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档了解所有与通用用法和行为相关的事项。
forward
< 源代码 >( input_features: Optional attention_mask: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None labels: Optional = None ) → transformers.modeling_outputs.SequenceClassifierOutput 或 tuple(torch.FloatTensor)
参数
- input_features (
torch.FloatTensor形状为(batch_size, sequence_length)) — 输入原始语音波形的浮点值。值可以通过将.flac或.wav音频文件加载到List[float]或numpy.ndarray类型数组中获得，例如 通过 soundfile 库 (pip install soundfile)。为了将数组准备成input_features，应该使用 AutoProcessor 进行填充和转换为torch.FloatTensor类型的张量。有关详细信息，请参阅 Wav2Vec2BertProcessor.call()。 - attention_mask (
torch.LongTensor形状为(batch_size, sequence_length), 可选) — 掩码以避免对填充令牌索引执行卷积和注意力。掩码值在[0, 1]中选择：- 1 表示未屏蔽的令牌，
- 0 表示屏蔽的令牌。
- output_attentions (
bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量中的attentions。 - output_hidden_states (
bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量中的hidden_states。 - return_dict (
bool, 可选) — 是否返回 ModelOutput 而不是普通元组。 - labels (
torch.LongTensor形状为(batch_size,), 可选) — 用于计算序列分类/回归损失的标签。索引应在[0, ..., config.num_labels - 1]中。如果config.num_labels == 1，则计算回归损失（均方损失），如果config.num_labels > 1，则计算分类损失（交叉熵）。
返回值
transformers.modeling_outputs.SequenceClassifierOutput 或 tuple(torch.FloatTensor)
A transformers.modeling_outputs.SequenceClassifierOutput 或 torch.FloatTensor 的元组（如果传递 return_dict=False 或 config.return_dict=False 时），包含根据配置 (Wav2Vec2BertConfig) 和输入的不同元素。
-
loss (
torch.FloatTensor形状为(1,), 可选, 当提供labels时返回) — 分类（或回归，如果 config.num_labels==1）损失。 -
logits (
torch.FloatTensor形状为(batch_size, config.num_labels)) — 分类（或回归，如果 config.num_labels==1）分数（在 SoftMax 之前）。 -
hidden_states (
tuple(torch.FloatTensor)，可选，在传递output_hidden_states=True或config.output_hidden_states=True时返回) —torch.FloatTensor元组（一个用于嵌入的输出，如果模型具有嵌入层，再加上每个层的输出），形状为(batch_size, sequence_length, hidden_size)。模型在每一层输出处的隐藏状态加上可选的初始嵌入输出。
-
attentions (
tuple(torch.FloatTensor), 可选，当传递output_attentions=True或当config.output_attentions=True时返回) —torch.FloatTensor元组（每一层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。自注意力头中用于计算加权平均的自注意力 softmax 后的注意力权重。
Wav2Vec2BertForSequenceClassification 正向方法，覆盖 __call__ 特殊方法。
虽然正向传递的配方需要在此函数中定义，但应该随后调用 Module 实例而不是此方法，因为前者负责运行前处理和后处理步骤，而后者会静默地忽略它们。
示例
>>> from transformers import AutoFeatureExtractor, Wav2Vec2BertForSequenceClassification
>>> from datasets import load_dataset
>>> import torch
>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation", trust_remote_code=True)
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate
>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/w2v-bert-2.0")
>>> model = Wav2Vec2BertForSequenceClassification.from_pretrained("facebook/w2v-bert-2.0")
>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> predicted_class_ids = torch.argmax(logits, dim=-1).item()
>>> predicted_label = model.config.id2label[predicted_class_ids]
>>> # compute loss - target_label is e.g. "down"
>>> target_label = model.config.id2label[0]
>>> inputs["labels"] = torch.tensor([model.config.label2id[target_label]])
>>> loss = model(**inputs).lossWav2Vec2BertForAudioFrameClassification
class transformers.Wav2Vec2BertForAudioFrameClassification
< 源代码 >( config )
参数
- config (Wav2Vec2BertConfig) — 模型配置类，包含模型的所有参数。用配置文件初始化不会加载与模型相关的权重，只会加载配置。查看 from_pretrained() 方法来加载模型权重。
在 Wav2Vec2Bert 模型之上添加一个帧分类头，用于说话人分离等任务。
Wav2Vec2Bert 由 Alexei Baevski、Henry Zhou、Abdelrahman Mohamed 和 Michael Auli 在 wav2vec 2.0：一种用于语音表示的自监督学习框架 中提出。
此模型继承自 PreTrainedModel。请查看父类文档以了解库为所有模型实现的通用方法（如下载或保存等）。
此模型是 PyTorch nn.Module 子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档了解所有与通用用法和行为相关的事项。
forward
< 源代码 >( input_features: 可选 attention_mask: 可选 = None labels: 可选 = None output_attentions: 可选 = None output_hidden_states: 可选 = None return_dict: 可选 = None ) → transformers.modeling_outputs.TokenClassifierOutput 或 tuple(torch.FloatTensor)
参数
- input_features (
torch.FloatTensor形状为(batch_size, sequence_length)) — 输入原始语音波形的浮点值。可以通过将.flac或.wav音频文件加载到List[float]或numpy.ndarray类型的数组中来获得值，例如 通过 soundfile 库（pip install soundfile）。要将数组准备成input_features，应使用 AutoProcessor 进行填充并转换为torch.FloatTensor类型的张量。有关详细信息，请参见 Wav2Vec2BertProcessor.call()。 - attention_mask (
torch.LongTensor形状为(batch_size, sequence_length), 可选) — 掩码，用于避免对填充令牌索引执行卷积和注意力。掩码值选择[0, 1]中的值：- 1 表示未掩码的令牌
- 0 表示掩码的令牌
- output_attentions (
bool, 可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参见返回张量中的attentions。 - output_hidden_states (
bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参见返回张量中的hidden_states。 - return_dict (
bool, 可选) — 是否返回 ModelOutput 而不是普通元组。 - 标签 (
torch.LongTensor形状为(batch_size,), 可选) — 用于计算序列分类/回归损失的标签。索引应在[0, ..., config.num_labels - 1]范围内。如果config.num_labels == 1，则计算回归损失（均方误差损失），如果config.num_labels > 1，则计算分类损失（交叉熵）。
返回值
transformers.modeling_outputs.TokenClassifierOutput 或 tuple(torch.FloatTensor)
A transformers.modeling_outputs.TokenClassifierOutput 或一组 torch.FloatTensor（如果传递了 return_dict=False 或者 config.return_dict=False 时），包含根据配置 (Wav2Vec2BertConfig) 和输入的不同元素。
-
损失 (
torch.FloatTensor形状为(1,), 可选, 当提供labels时返回) — 分类损失。 -
logits (
torch.FloatTensor形状为(batch_size, sequence_length, config.num_labels)) — 分类分数（在 SoftMax 之前）。 -
hidden_states (
tuple(torch.FloatTensor)，可选，在传递output_hidden_states=True或config.output_hidden_states=True时返回) —torch.FloatTensor元组（一个用于嵌入的输出，如果模型具有嵌入层，再加上每个层的输出），形状为(batch_size, sequence_length, hidden_size)。模型在每一层输出处的隐藏状态加上可选的初始嵌入输出。
-
attentions (
tuple(torch.FloatTensor), 可选，当传递output_attentions=True或当config.output_attentions=True时返回) —torch.FloatTensor元组（每一层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。自注意力头中用于计算加权平均的自注意力 softmax 后的注意力权重。
The Wav2Vec2BertForAudioFrameClassification 前向方法，重写了 __call__ 特殊方法。
虽然正向传递的配方需要在此函数中定义，但应该随后调用 Module 实例而不是此方法，因为前者负责运行前处理和后处理步骤，而后者会静默地忽略它们。
示例
>>> from transformers import AutoFeatureExtractor, Wav2Vec2BertForAudioFrameClassification
>>> from datasets import load_dataset
>>> import torch
>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation", trust_remote_code=True)
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate
>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/w2v-bert-2.0")
>>> model = Wav2Vec2BertForAudioFrameClassification.from_pretrained("facebook/w2v-bert-2.0")
>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(dataset[0]["audio"]["array"], return_tensors="pt", sampling_rate=sampling_rate)
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> probabilities = torch.sigmoid(logits[0])
>>> # labels is a one-hot array of shape (num_frames, num_speakers)
>>> labels = (probabilities > 0.5).long()Wav2Vec2BertForXVector
class transformers.Wav2Vec2BertForXVector
< 源代码 >( config )
参数
- 配置 (Wav2Vec2BertConfig) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型关联的权重，只会加载配置。查看 from_pretrained() 方法来加载模型权重。
Wav2Vec2Bert 模型，在顶部有一个 XVector 特征提取头，用于诸如说话人验证之类的任务。
Wav2Vec2Bert 由 Alexei Baevski、Henry Zhou、Abdelrahman Mohamed 和 Michael Auli 在 wav2vec 2.0：一种用于语音表示的自监督学习框架 中提出。
此模型继承自 PreTrainedModel。请查看父类文档以了解库为所有模型实现的通用方法（如下载或保存等）。
此模型是 PyTorch nn.Module 子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档了解所有与通用用法和行为相关的事项。
forward
< 源代码 >( 输入特征: 可选 注意力掩码: 可选 = None 输出注意力: 可选 = None 输出隐藏状态: 可选 = None 返回字典: 可选 = None 标签: 可选 = None ) → transformers.modeling_outputs.XVectorOutput 或 tuple(torch.FloatTensor)
参数
- 输入特征 (
torch.FloatTensor形状为(batch_size, sequence_length)) — 输入原始语音波形的浮点值。值可以通过将.flac或.wav音频文件加载到List[float]或numpy.ndarray类型数组中获得，例如 通过 soundfile 库 (pip install soundfile)。为了将数组准备成input_features，应使用 AutoProcessor 进行填充并转换为torch.FloatTensor类型的张量。有关详细信息，请参见 Wav2Vec2BertProcessor.call()。 - 注意力掩码 (
torch.LongTensor形状为(batch_size, sequence_length), 可选) — 掩码用于避免对填充令牌索引执行卷积和注意力。掩码值选择在[0, 1]范围内：- 1 表示未屏蔽的令牌，
- 0 表示屏蔽的令牌。
- 输出注意力 (
bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参见返回张量下的attentions。 - output_hidden_states (
bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量中的hidden_states。 - return_dict (
bool, 可选) — 是否返回一个ModelOutput，而不是一个简单的元组。 - labels (
torch.LongTensor形状为(batch_size,), 可选) — 用于计算序列分类/回归损失的标签。索引应在[0, ..., config.num_labels - 1]中。如果config.num_labels == 1，则计算回归损失（均方误差损失），如果config.num_labels > 1，则计算分类损失（交叉熵）。
返回值
transformers.modeling_outputs.XVectorOutput 或 tuple(torch.FloatTensor)
一个transformers.modeling_outputs.XVectorOutput 或 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含根据配置 (Wav2Vec2BertConfig) 和输入的不同元素。
-
损失 (
torch.FloatTensor形状为(1,), 可选, 当提供labels时返回) — 分类损失。 -
logits (
torch.FloatTensor形状为(batch_size, config.xvector_output_dim)) — AMSoftmax 之前的分类隐藏状态。 -
embeddings (
torch.FloatTensor形状为(batch_size, config.xvector_output_dim)) — 用于基于向量相似性的检索的语句嵌入。 -
hidden_states (
tuple(torch.FloatTensor), 可选，当传递output_hidden_states=True或当config.output_hidden_states=True时返回) —torch.FloatTensor元组（一个用于嵌入的输出，一个用于每一层的输出），形状为(batch_size, sequence_length, hidden_size)。模型在每一层输出处的隐藏状态加上初始嵌入输出。
-
attentions (
tuple(torch.FloatTensor), 可选，当传递output_attentions=True或当config.output_attentions=True时返回) —torch.FloatTensor元组（每一层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。自注意力头中用于计算加权平均的自注意力 softmax 后的注意力权重。
The Wav2Vec2BertForXVector 前向方法，覆盖了 __call__ 特殊方法。
虽然正向传递的配方需要在此函数中定义，但应该随后调用 Module 实例而不是此方法，因为前者负责运行前处理和后处理步骤，而后者会静默地忽略它们。
示例
>>> from transformers import AutoFeatureExtractor, Wav2Vec2BertForXVector
>>> from datasets import load_dataset
>>> import torch
>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation", trust_remote_code=True)
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate
>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/w2v-bert-2.0")
>>> model = Wav2Vec2BertForXVector.from_pretrained("facebook/w2v-bert-2.0")
>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(
... [d["array"] for d in dataset[:2]["audio"]], sampling_rate=sampling_rate, return_tensors="pt", padding=True
... )
>>> with torch.no_grad():
... embeddings = model(**inputs).embeddings
>>> embeddings = torch.nn.functional.normalize(embeddings, dim=-1).cpu()
>>> # the resulting embeddings can be used for cosine similarity-based retrieval
>>> cosine_sim = torch.nn.CosineSimilarity(dim=-1)
>>> similarity = cosine_sim(embeddings[0], embeddings[1])
>>> threshold = 0.7 # the optimal threshold is dataset-dependent
>>> if similarity < threshold:
... print("Speakers are not the same!")