参数

• input_values (torch.FloatTensor 的形状为 (batch_size, sequence_length)) - 输入原始语音波形的浮点值。值可以通过将 .flac 或 .wav 音频文件加载到一个 List[float] 或 numpy.ndarray 类型的数组中来获得，例如使用 soundfile 库（pip install soundfile）。要将数组准备为 input_values，应使用 AutoProcessor 进行填充并将其转换为类型为 torch.FloatTensor 的张量。有关详细信息，请参阅 Wav2Vec2Processor.call()。
• attention_mask （torch.LongTensor 形状为 (batch_size, sequence_length)，可选）—— 避免对填充标记索引执行卷积和注意力的掩码。掩码值选择在 [0, 1]：
  • 对于未掩码的标记，值为 1，
  • 对于掩码的标记，值为 0。

  什么是注意力掩码？

  attention_mask 应仅在对应的处理器有 config.return_attention_mask == True 时传递。对于所有处理器 config.return_attention_mask == False 的模型，例如 wav2vec2-base，attention_mask 应**不**传递，避免批量推理时性能下降。对于此类模型，应仅用 0 进行填充的 input_values 并传递，无需传递 attention_mask。请注意，这些模型根据 input_values 是否填充也会得出略微不同的结果。

• output_attentions （bool，可选）—— 是否返回所有注意力层的注意力张量。有关更多细节，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。详见返回的张量中的 hidden_states 的更多细节。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通的元组。

A transformers.modeling_outputs.Wav2Vec2BaseModelOutput 或一个字典（如果 return_dict=False 传递或当 config.return_dict=False）包含各种元素，这取决于配置（Wav2Vec2Config）和输入。

• last_hidden_state (torch.FloatTensor 的形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

• extract_features (torch.FloatTensor 的形状为 (batch_size, sequence_length, conv_dim[-1])) — 模型最后一层卷积层的提取特征向量序列。

• hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时不返回) — 张量元组 torch.FloatTensor（一个用于嵌入层的输出，一个用于每一层的输出）的形状为 (batch_size, sequence_length, hidden_size)。

  每层输出的隐藏状态以及初始嵌入输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时不返回) — 每一层的 torch.FloatTensor 元组（形状为 (batch_size, num_heads, sequence_length, sequence_length)）。

  注意力 softmax 后的注意力权重，用于在自注意力头中计算加权平均。

参数

• input_values (torch.FloatTensor of shape (batch_size, sequence_length)) — 输入原始语音波形浮点值。值可以通过将flac 或 wav 音频文件加载到类型为 List[float] 或 numpy.ndarray 的数组中获得，例如 通过 soundfile 库（pip install soundfile）。要将数组准备为 input_values，应使用 AutoProcessor 进行填充和转换为类型为 torch.FloatTensor 的张量。有关详细信息，请参见 Wav2Vec2Processor.call()。
• attention_mask (形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选) — 用于避免对填充标记索引执行卷积和注意力的掩码。选定的掩码值在 [0, 1] 范围内：
  • 1 表示 未掩码 的标记；
  • 0 表示 掩码 的标记。

  注意掩码是什么？

  只有当相应的处理器具有 config.return_attention_mask == True 时，才应传递 attention_mask。对于所有处理器具有 config.return_attention_mask == False 的模型，例如 wav2vec2-base，进行批量推理时，不应传递 attention_mask 以避免性能下降。对于此类模型，应简单地用 0 填充 input_values 并不带 attention_mask 传入。请注意，这些模型在不同 input_values 是否填充的情况下也会产生略有不同的结果。

• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关返回张量中的 attentions 的更多详细信息，请参阅。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通的元组。
• labels (torch.LongTensor 的形状为 (batch_size,)，可选) — 用于计算序列分类/回归损失的标签。索引应在 [0, ..., config.num_labels - 1] 范围内。如果 config.num_labels == 1，则计算回归损失（均方损失），如果 config.num_labels > 1，则计算分类损失（交叉熵）。

一个 transformers.modeling_outputs.SequenceClassifierOutput 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含各种元素，具体取决于配置和输入。

• loss (torch.FloatTensor 的形状为 (1,)，可选，在提供 labels 时返回) — 分类（或如果 config.num_labels==1则为回归）损失。

• logits (torch.FloatTensor 的形状为 (batch_size, config.num_labels)） — 分类（或如果 config.num_labels==1则为回归）分数（在 SoftMax 之前）。

• hidden_states (tuple(torch.FloatTensor), optional, returned when output_hidden_states=True is passed or when config.output_hidden_states=True) — 如果模型有嵌入层，则为 torch.FloatTensor 的元组（一个用于嵌入层的输出，+ 一个用于每层的输出）的形状为 (batch_size, sequence_length, hidden_size)。

  每个层输出的模型隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时不返回) — 每一层的 torch.FloatTensor 元组（形状为 (batch_size, num_heads, sequence_length, sequence_length)）。

  注意力 softmax 后的注意力权重，用于在自注意力头中计算加权平均。

参数

• attention_mask (torch.LongTensor 的形状为 (batch_size, sequence_length), 可选) — 用于避免在填充标记索引上执行卷积和注意力的掩码。选定的掩码值在 [0, 1] 范围内:
  • 1 表示 未掩码 的标记,
  • 0 表示 掩码 的标记。

  什么是注意掩码？

  attention_mask 只应在没有 config.return_attention_mask == True 的处理器的对应情况下传递。对于所有处理器具有 config.return_attention_mask == False 的模型，如 wav2vec2-base，应不传递 attention_mask 以避免批量推理时性能下降。对于此类模型，input_values 应仅用 0 填充，并通过不带 attention_mask 传递。请注意，这些模型的结果也会根据是否对 input_values 进行填充而略有不同。

• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多细节请参考返回的张量中的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 对象而不是普通元组。
• labels (torch.LongTensor of shape (batch_size,), 可选) — 用于计算序列分类/回归损失的标签。索引应在 [0, ..., config.num_labels - 1] 范围内。如果 config.num_labels == 1，则计算回归损失（均方 loss），如果 config.num_labels > 1，则计算分类损失（交叉熵）。

A transformers.modeling_outputs.TokenClassifierOutput 或一个由 torch.FloatTensor 组成的元组（如果传递了 return_dict=False 或当 config.return_dict=False），其包含根据配置（Wav2Vec2Config）和输入而变化的各种元素。

• loss (torch.FloatTensor of shape (1,), 可选, 当提供 labels 时返回) — 分类 loss。

• logits (torch.FloatTensor of shape (batch_size, sequence_length, config.num_labels)) — 分类得分（SoftMax 之前）。

• hidden_states (tuple(torch.FloatTensor), optional, returned when output_hidden_states=True is passed or when config.output_hidden_states=True) — 如果模型有嵌入层，则为 torch.FloatTensor 的元组（一个用于嵌入层的输出，+ 一个用于每层的输出）的形状为 (batch_size, sequence_length, hidden_size)。

  每个层输出的模型隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时不返回) — 每一层的 torch.FloatTensor 元组（形状为 (batch_size, num_heads, sequence_length, sequence_length)）。

  注意力 softmax 后的注意力权重，用于在自注意力头中计算加权平均。

参数

• input_values (torch.FloatTensor of shape (batch_size, sequence_length)) — 输入原始语音波形的浮点值。这些值可以通过将 .flac 或 .wav 音频文件加载到类型为 List[float] 或 numpy.ndarray 的数组中获取，例如通过 soundfile 库（pip install soundfile）。要将数组准备成 input_values，应使用 AutoProcessor 进行填充和转换为类型为 torch.FloatTensor 的张量。有关详情，请参阅 Wav2Vec2Processor.call()。
• attention_mask (torch.LongTensor of shape (batch_size, sequence_length), 可选) — 避免在填充标记索引上执行卷积和注意力操作的掩码。选取的掩码值在 [0, 1]:
  • 1 表示 未屏蔽 的标记，
  • 0 表示 屏蔽 的标记。

  什么是注意力屏蔽？

  attention_mask 只应在其对应的处理器有 config.return_attention_mask == True 时传递。对于所有其处理器有 config.return_attention_mask == False 的模型，例如 wav2vec2-base，应 不 传递 attention_mask 以避免批推理时的性能下降。对于此类模型，应仅将 input_values 填充为 0 并传递，无需 attention_mask。请注意，这些模型的结果也略有所不同，取决于 input_values 是否被填充。

• output_attentions (bool, 可选) — 是否要返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回的 attentions 张量。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。请参考返回的tensor中关于hidden_states的更多详细信息。
• return_dict (bool, 可选) — 是否返回ModelOutput而不是一个普通的元组。
• labels (torch.LongTensor of shape (batch_size,), 可选) — 计算序列分类/回归损失的标签。索引应该在[0, ..., config.num_labels - 1]范围内。如果config.num_labels == 1，则计算回归损失（均方损失），如果config.num_labels > 1，则计算分类损失（交叉熵）。

一个transformers.modeling_outputs.XVectorOutput或一个torch.FloatTensor的元组（如果传递了return_dict=False或当config.return_dict=False时） encompasses various elements depending on the configuration (Wav2Vec2Config) and inputs.

• loss (torch.FloatTensor of shape (1,), 可选, 当提供 labels 时返回) — 分类 loss。

• logits (torch.FloatTensor of shape (batch_size, config.xvector_output_dim)) — 在AMSoftmax之前的分类隐藏状态。

• embeddings (torch.FloatTensor of shape (batch_size, config.xvector_output_dim)) — 用于基于向量相似度检索的说话人嵌入。

• hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时不返回) — 张量元组 torch.FloatTensor（一个用于嵌入层的输出，一个用于每一层的输出）的形状为 (batch_size, sequence_length, hidden_size)。

  每层输出的隐藏状态以及初始嵌入输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时不返回) — 每一层的 torch.FloatTensor 元组（形状为 (batch_size, num_heads, sequence_length, sequence_length)）。

  注意力 softmax 后的注意力权重，用于在自注意力头中计算加权平均。

参数

• input_values (torch.FloatTensor of shape (batch_size, sequence_length)) — 输入原始语音波形浮点值。值可以通过将.flac或.wav音频文件加载到类型为List[float]或numpy.ndarray的数组中来获得，例如通过soundfile库实现的（pip install soundfile）。为了将数组准备成input_values，应该使用AutoProcessor进行填充并将类型转换为torch.FloatTensor张量。请参见Wav2Vec2Processor.call()以了解详细信息。
• attention_mask（torch.LongTensor 形状为 (batch_size, sequence_length)，可选） — 用于避免在填充令牌索引处执行卷积和注意力操作的掩码。掩码值选择在 [0, 1]：
  • 1 表示 未掩码 令牌，
  • 0 表示 掩码 令牌。

  什么是注意力掩码？

  attention_mask 仅当相应的处理器有 config.return_attention_mask == True 时才应传递。对于所有处理器配置为 config.return_attention_mask == False 的模型，例如 wav2vec2-base，attention_mask 应 不 传递，以避免在批量推理时性能下降。对于此类模型，应直接使用 0 进行填充的 input_values 并传递，而不使用 attention_mask。请注意，这些模型的结果也会因是否填充 input_values 而略有不同。

• output_attentions（bool，可选） — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (布尔值, 可选) — 是否返回所有层的隐藏状态。有关更多信息，请参阅返回的标量下的 hidden_states。
• return_dict (布尔值, 可选) — 是否返回一个ModelOutput而非纯元组。
• mask_time_indices (torch.BoolTensor of shape (batch_size, sequence_length), 可选) — 用于对比损失的提取特征的网络索引。在训练模式下，模型学习在config.proj_codevector_dim空间中预测被掩码的提取特征。
• sampled_negative_indices (torch.BoolTensor 形状为 (batch_size, sequence_length, num_negatives)，可选) — 指示哪些量化目标向量被用作对比损失中的负样本向量的索引。是预训练所需的输入。

A transformers.models.wav2vec2.modeling_wav2vec2.Wav2Vec2ForPreTrainingOutput 或一个包含多个元素的元组，具体取决于配置（Wav2Vec2Config）和输入的 torch.FloatTensor（如果传递了 return_dict=False 或当 config.return_dict=False）。

• loss （可选，当传递 sample_negative_indices 时返回，形状为 (1,) 的 torch.FloatTensor）— 总损失，作为对比损失 (L_m) 和多样性损失 (L_d) 之和，如所述在 官方论文 中。（分类）损失。

• projected_states （形状为 (batch_size, sequence_length, config.proj_codevector_dim) 的 torch.FloatTensor）— 模型的隐藏状态，投影到 config.proj_codevector_dim，可用于预测掩盖的投影量化状态。

• projected_quantized_states （形状为 (batch_size, sequence_length, config.proj_codevector_dim) 的 torch.FloatTensor）— 投影到 config.proj_codevector_dim 的量化提取特征向量，代表对比损失中的正目标向量。

• hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时不返回) — 张量元组 torch.FloatTensor（一个用于嵌入层的输出，一个用于每一层的输出）的形状为 (batch_size, sequence_length, hidden_size)。

  每层输出的隐藏状态以及初始嵌入输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时不返回) — 每一层的 torch.FloatTensor 元组（形状为 (batch_size, num_heads, sequence_length, sequence_length)）。

  注意力 softmax 后的注意力权重，用于在自注意力头中计算加权平均。

• contrastive_loss （可选，当传递 sample_negative_indices 时返回，形状为 (1,) 的 torch.FloatTensor）— 如所述在 官方论文 中的对比损失 (L_m)。

• diversity_loss （可选，当传递 sample_negative_indices 时返回，形状为 (1,) 的 torch.FloatTensor）— 如所述在 官方论文 中的多样性损失 (L_d)。