Hugging Face 的徽标

Transformers 文档

语音转文本

Hugging Face's logo
加入 Hugging Face 社区

并获取增强文档体验

开始使用

语音转文本

概述

Speech2Text 模型由 Changhan Wang、Yun Tang、Xutai Ma、Anne Wu、Dmytro Okhonko 和 Juan Pino 在 fairseq S2T：使用 fairseq 进行快速语音到文本建模 中提出。它是一个基于 Transformer 的 seq2seq（编码器-解码器）模型，专为端到端自动语音识别 (ASR) 和语音翻译 (ST) 而设计。它使用卷积下采样器将语音输入的长度减少 3/4，然后再将其馈送到编码器。该模型使用标准的自回归交叉熵损失进行训练，并自回归生成转录文本/翻译结果。Speech2Text 已在多个数据集上针对 ASR 和 ST 进行了微调：LibriSpeech、CoVoST 2、MuST-C。

此模型由 valhalla 提供。原始代码可以在这里找到 这里。

推理

Speech2Text 是一种语音模型，它接受从语音信号中提取的对数梅尔滤波器组特征的浮点张量。它是一个基于 Transformer 的 seq2seq 模型，因此转录文本/翻译结果是自回归生成的。generate() 方法可用于推理。

Speech2TextFeatureExtractor 类负责提取对数梅尔滤波器组特征。 Speech2TextProcessor 将 Speech2TextFeatureExtractor 和 Speech2TextTokenizer 包装到一个实例中，以同时提取输入特征并解码预测的标记 ID。

特征提取器依赖于 torchaudio，分词器依赖于 sentencepiece，因此请确保在运行示例之前安装这些软件包。您可以使用 pip install transformers"[speech, sentencepiece]" 作为额外的语音依赖项安装这些软件包，或者使用 pip install torchaudio sentencepiece 单独安装这些软件包。此外，torchaudio 需要 libsndfile 软件包的开发版本，可以通过系统包管理器安装。在 Ubuntu 上，可以按如下方式安装：apt install libsndfile1-dev

  • ASR 和语音翻译
>>> import torch
>>> from transformers import Speech2TextProcessor, Speech2TextForConditionalGeneration
>>> from datasets import load_dataset

>>> model = Speech2TextForConditionalGeneration.from_pretrained("facebook/s2t-small-librispeech-asr")
>>> processor = Speech2TextProcessor.from_pretrained("facebook/s2t-small-librispeech-asr")


>>> ds = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")

>>> inputs = processor(ds[0]["audio"]["array"], sampling_rate=ds[0]["audio"]["sampling_rate"], return_tensors="pt")
>>> generated_ids = model.generate(inputs["input_features"], attention_mask=inputs["attention_mask"])

>>> transcription = processor.batch_decode(generated_ids, skip_special_tokens=True)
>>> transcription
['mister quilter is the apostle of the middle classes and we are glad to welcome his gospel']

  • 多语言语音翻译

    对于多语言语音翻译模型，eos_token_id 用作 decoder_start_token_id，目标语言 ID 被强制为第一个生成的标记。要将目标语言 ID 强制为第一个生成的标记，请将 forced_bos_token_id 参数传递给 generate() 方法。以下示例演示了如何使用 facebook/s2t-medium-mustc-multilingual-st 检查点将英语语音翻译成法语文本。

>>> import torch
>>> from transformers import Speech2TextProcessor, Speech2TextForConditionalGeneration
>>> from datasets import load_dataset

>>> model = Speech2TextForConditionalGeneration.from_pretrained("facebook/s2t-medium-mustc-multilingual-st")
>>> processor = Speech2TextProcessor.from_pretrained("facebook/s2t-medium-mustc-multilingual-st")

>>> ds = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")

>>> inputs = processor(ds[0]["audio"]["array"], sampling_rate=ds[0]["audio"]["sampling_rate"], return_tensors="pt")
>>> generated_ids = model.generate(
...     inputs["input_features"],
...     attention_mask=inputs["attention_mask"],
...     forced_bos_token_id=processor.tokenizer.lang_code_to_id["fr"],
... )

>>> translation = processor.batch_decode(generated_ids, skip_special_tokens=True)
>>> translation
["(Vidéo) Si M. Kilder est l'apossible des classes moyennes, et nous sommes heureux d'être accueillis dans son évangile."]

请参阅 模型中心 以查找 Speech2Text 检查点。

Speech2TextConfig

类 transformers.Speech2TextConfig

< >

( vocab_size = 10000 encoder_layers = 12 encoder_ffn_dim = 2048 encoder_attention_heads = 4 decoder_layers = 6 decoder_ffn_dim = 2048 decoder_attention_heads = 4 encoder_layerdrop = 0.0 decoder_layerdrop = 0.0 use_cache = True is_encoder_decoder = True activation_function = 'relu' d_model = 256 dropout = 0.1 attention_dropout = 0.0 activation_dropout = 0.0 init_std = 0.02 decoder_start_token_id = 2 scale_embedding = True pad_token_id = 1 bos_token_id = 0 eos_token_id = 2 max_source_positions = 6000 max_target_positions = 1024 num_conv_layers = 2 conv_kernel_sizes = (5, 5) conv_channels = 1024 input_feat_per_channel = 80 input_channels = 1 **kwargs )

参数

  • vocab_size (int, 可选, 默认为 10000) — Speech2Text 模型的词汇量大小。定义了调用 Speech2TextModel 时传递的 inputs_ids 可以表示的不同标记的数量。
  • encoder_layers (int, 可选, 默认为 12) — 编码器层的数量。
  • encoder_ffn_dim (int, 可选, 默认为 2048) — 编码器中“中间”（通常称为前馈）层的维度。
  • encoder_attention_heads (int, 可选, 默认为 4) — Transformer 编码器中每个注意力层的注意力头的数量。
  • decoder_layers (int, 可选, 默认为 6) — 解码器层的数量。
  • decoder_ffn_dim (int, 可选, 默认为 2048) — 解码器中“中间”（通常称为前馈）层的维度。
  • decoder_attention_heads (int，可选，默认为 4) — Transformer 解码器中每个注意力层的注意力头数量。
  • encoder_layerdrop (float，可选，默认为 0.0) — 编码器的 LayerDrop 概率。有关更多详细信息，请参阅 LayerDrop 论文。
  • decoder_layerdrop (float，可选，默认为 0.0) — 解码器的 LayerDrop 概率。有关更多详细信息，请参阅 LayerDrop 论文。
  • use_cache (bool，可选，默认为 True) — 模型是否应该返回最后的键/值注意力（并非所有模型都使用）。
  • is_encoder_decoder (bool，可选，默认为 True) — 模型是否设置为用于序列到序列任务的编码器-解码器架构。
  • activation_function (str 或 function，可选，默认为 "relu") — 编码器和池化器中的非线性激活函数（函数或字符串）。如果为字符串，则支持 "gelu"、"relu"、"silu" 和 "gelu_new"。
  • d_model (int，可选，默认为 256) — 层和池化层的大小。
  • dropout (float，可选，默认为 0.1) — 嵌入、编码器和池化器中所有全连接层的 dropout 概率。
  • attention_dropout (float，可选，默认为 0.0) — 注意力概率的 dropout 比率。
  • activation_dropout (float，可选，默认为 0.0) — 全连接层内部激活的 dropout 比率。
  • decoder_start_token_id (int，可选，默认为 2) — 解码序列时解码器的初始 token ID。
  • scale_embedding (bool，可选，默认为 True) — 是否将嵌入按 d_model 的平方根进行缩放。
  • pad_token_id (int，可选，默认为 1) — 填充 token ID。
  • bos_token_id (int，可选，默认为 0) — 序列开始标记的 ID。
  • eos_token_id (int，可选，默认为 2) — 序列结束标记的 ID。
  • max_source_positions (int，可选，默认为 6000) — 此模型可能使用的对数梅尔滤波器组特征的最大序列长度。
  • max_target_positions (int，可选，默认为 1024) — 此模型可能使用的最大序列长度。通常，将其设置为一个较大的值以防万一（例如，512 或 1024 或 2048）。
  • num_conv_layers (int，可选，默认为 2) — 卷积模块中一维卷积层的数量。
  • conv_kernel_sizes (Tuple[int]，可选，默认为 (5, 5)) — 定义卷积模块中每个一维卷积层内核大小的整数元组。conv_kernel_sizes 的长度必须与 num_conv_layers 相匹配。
  • conv_channels (int，可选，默认为 1024) — 定义卷积模块中除最后一个之外每个卷积层的输出通道数的整数。
  • input_channels (int，可选，默认为 1) — 指定输入特征向量输入通道数的整数。

这是一个用于存储 Speech2TextModel 配置的配置类。它用于根据指定的参数实例化 Speech2Text 模型，定义模型架构。使用默认值实例化配置将产生与 Speech2Text facebook/s2t-small-librispeech-asr 架构类似的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 中的文档以获取更多信息。

示例

>>> from transformers import Speech2TextConfig, Speech2TextModel

>>> # Initializing a Speech2Text s2t_transformer_s style configuration
>>> configuration = Speech2TextConfig()

>>> # Initializing a model (with random weights) from the s2t_transformer_s style configuration
>>> model = Speech2TextModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

Speech2TextTokenizer

类 transformers.Speech2TextTokenizer

< >

( vocab_file spm_file bos_token = '<s>' eos_token = '</s>' pad_token = '<pad>' unk_token = '<unk>' do_upper_case = False do_lower_case = False tgt_lang = None lang_codes = None additional_special_tokens = None sp_model_kwargs: Optional = None **kwargs )

参数

  • vocab_file (str) — 包含词汇表的的文件。
  • spm_file (str) — 指向 SentencePiece 模型文件的路径
  • bos_token (str，可选，默认为 "<s>") — 句子的开始标记。
  • eos_token (str，可选，默认为 "</s>") — 句子的结束标记。
  • unk_token (str，可选，默认为 "<unk>") — 未知标记。不在词汇表中的标记无法转换为 ID，而是设置为此标记。
  • pad_token (str，可选，默认为 "<pad>") — 用于填充的标记，例如在批处理不同长度的序列时。
  • do_upper_case (bool，可选，默认为 False) — 解码时是否将输出转换为大写。
  • do_lower_case (bool，可选，默认为 False) — 分词时是否将输入转换为小写。
  • tgt_lang (str，可选) — 表示目标语言的字符串。
  • sp_model_kwargs (dict，可选) — 将传递给 SentencePieceProcessor.__init__() 方法。 SentencePiece 的 Python 包装器 可以用于设置：

    • enable_sampling：启用子词正则化。

    • nbest_size：一元语法采样参数。对于 BPE-Dropout 无效。

      • nbest_size = {0,1}：不执行采样。
      • nbest_size > 1：从 nbest_size 个结果中进行采样。
      • nbest_size < 0：假设 nbest_size 为无限大，并使用前向过滤和后向采样算法从所有假设（格）中进行采样。

    • alpha：一元语法采样的平滑参数，以及 BPE-dropout 的合并操作的 dropout 概率。

    **kwargs — 传递给 PreTrainedTokenizer 的其他关键字参数

构建一个 Speech2Text 分词器。

此分词器继承自 PreTrainedTokenizer，其中包含一些主要方法。用户应参考超类以获取有关此类方法的更多信息。

build_inputs_with_special_tokens

< >

( token_ids_0 token_ids_1 = None )

通过附加 eos_token_id 从序列构建模型输入。

get_special_tokens_mask

< >

( token_ids_0: List token_ids_1: Optional = None already_has_special_tokens: bool = False ) → List[int]

参数

  • token_ids_0 (List[int]) — ID 列表。
  • token_ids_1 (List[int]，可选) — 序列对的可选第二个 ID 列表。
  • already_has_special_tokens (bool，可选，默认为 False) — 令牌列表是否已使用模型的特殊令牌进行格式化。

返回值

List[int]

范围在 [0, 1] 内的整数列表：1 表示特殊令牌，0 表示序列令牌。

从没有添加特殊令牌的令牌列表中检索序列 ID。当使用分词器 prepare_for_model 方法添加特殊令牌时，会调用此方法。

create_token_type_ids_from_sequences

  • token_ids_0 (List[int]) — 第一个分词后的序列。
  • token_ids_1 (List[int], 可选) — 第二个分词后的序列。

返回值

List[int]

标记类型 ID。

创建与传递的序列相对应的标记类型 ID。 什么是标记类型 ID？

如果模型有特殊构建这些 ID 的方法，则应在子类中重写。

保存词表

< >

( save_directory: 字符串 filename_prefix: 可选 = None )

Speech2TextFeatureExtractor

类 transformers.Speech2TextFeatureExtractor

< >

( feature_size = 80 sampling_rate = 16000 num_mel_bins = 80 padding_value = 0.0 do_ceptral_normalize = True normalize_means = True normalize_vars = True **kwargs )

参数

  • feature_size (int, 可选, 默认为 80) — 提取特征的特征维度。
  • sampling_rate (int, 可选, 默认为 16000) — 音频文件应以赫兹 (Hz) 表示的数字化采样率。
  • num_mel_bins (int, 可选, 默认为 80) — 梅尔频率滤波器组的数量。
  • padding_value (float, 可选, 默认为 0.0) — 用于填充填充向量的值。
  • do_ceptral_normalize (bool, 可选, 默认为 True) — 是否对提取的特征应用语句级倒谱均值和方差归一化。
  • normalize_means (bool, 可选, 默认为 True) — 是否对提取的特征进行零均值归一化。
  • normalize_vars (bool, 可选, 默认为 True) — 是否对提取的特征进行单位方差归一化。

构建语音到文本特征提取器。

此特征提取器继承自 Speech2TextFeatureExtractor，其中包含大部分主要方法。用户应参考此超类以获取有关这些方法的更多信息。

此类使用 TorchAudio（如果已安装）或 numpy 提取原始语音的梅尔滤波器组特征，并对提取的特征应用语句级倒谱均值和方差归一化。

__call__

< >

( raw_speech: Union padding: Union = False max_length: Optional = None truncation: bool = False pad_to_multiple_of: Optional = None return_tensors: Union = None sampling_rate: Optional = None return_attention_mask: Optional = None **kwargs )

参数

  • raw_speech (np.ndarray, List[float], List[np.ndarray], List[List[float]]) — 要填充的序列或序列批次。每个序列可以是 numpy 数组、浮点值列表、numpy 数组列表或浮点值列表列表。必须是单声道音频，而不是立体声，即每个时间步长一个浮点数。
  • padding (bool, str 或 PaddingStrategy, 可选, 默认为 True) — 在以下选项中选择一种策略来填充返回的序列（根据模型的填充侧和填充索引）：

    • True 或 'longest'：填充到批次中最长的序列（如果只提供单个序列，则不填充）。
    • 'max_length'：填充到使用参数 max_length 指定的最大长度，或者如果未提供该参数，则填充到模型可接受的最大输入长度。
    • False 或 'do_not_pad'（默认）：不填充（即，可以输出具有不同长度序列的批次）。
  • max_length (int, 可选) — 返回列表的最大长度，以及可选的填充长度（见上文）。
  • truncation (bool) — 激活截断，将长度超过 max_length 的输入序列截断到 max_length。
  • pad_to_multiple_of (int, 可选) — 如果设置，则将序列填充到提供的值的倍数。

    这对于在具有计算能力 >= 7.5（Volta）的 NVIDIA 硬件上启用 Tensor Core 的使用，或者在受益于序列长度为 128 的倍数的 TPU 上特别有用。

  • return_attention_mask (bool, 可选) — 是否返回注意力掩码。如果保留默认值，将根据特定特征提取器的默认值返回注意力掩码。

    什么是注意力掩码？

    对于 Speech2TextTransformer 模型，attention_mask 应始终用于批量推理，以避免细微的错误。
  • return_tensors (str 或 TensorType, 可选) — 如果设置，将返回张量而不是 Python 整数列表。可接受的值为：

    • 'tf': 返回 TensorFlow tf.constant 对象。
    • 'pt': 返回 PyTorch torch.Tensor 对象。
    • 'np': 返回 Numpy np.ndarray 对象。
  • sampling_rate (int, 可选) — raw_speech 输入采样的采样率。强烈建议在正向调用时传递 sampling_rate 以防止静默错误。
  • padding_value (float, 可选, 默认为 0.0) — 用于填充填充值/向量的值。

将一个或多个序列特征化并为模型准备的主要方法。

Speech2TextProcessor

类 transformers.Speech2TextProcessor

< >

( feature_extractor tokenizer )

参数

构建一个 Speech2Text 处理器，它将 Speech2Text 特征提取器和 Speech2Text 分词器封装到单个处理器中。

Speech2TextProcessor 提供了 Speech2TextFeatureExtractor 和 Speech2TextTokenizer 的所有功能。请参阅 call() 和 decode() 以获取更多信息。

__call__

< >

( *args **kwargs )

在正常模式下使用时，此方法将其所有参数转发到 Speech2TextFeatureExtractor 的 call() 并返回其输出。如果在 as_target_processor() 上下文中使用，此方法会将其所有参数转发到 Speech2TextTokenizer 的 call()。请参阅上述两种方法的文档字符串以获取更多信息。

from_pretrained

< >

( pretrained_model_name_or_path: Union cache_dir: Union = None force_download: bool = False local_files_only: bool = False token: Union = None revision: str = 'main' **kwargs )

参数

  • pretrained_model_name_or_path (str 或 os.PathLike) — 可以是以下之一：

    • 一个字符串，表示托管在 huggingface.co 上模型仓库中的预训练特征提取器的模型 ID。
    • 保存使用 save_pretrained() 方法保存的特征提取器文件的目录的路径，例如 ./my_model_directory/。
    • 保存的特征提取器 JSON 文件的路径或 URL，例如 ./my_model_directory/preprocessor_config.json。 **kwargs — 传递给 from_pretrained() 和 ~tokenization_utils_base.PreTrainedTokenizer.from_pretrained 的其他关键字参数。

实例化与预训练模型关联的处理器。

此类方法只是调用特征提取器 from_pretrained()、图像处理器 ImageProcessingMixin 和分词器 ~tokenization_utils_base.PreTrainedTokenizer.from_pretrained 方法。有关更多信息，请参阅上述方法的文档字符串。

save_pretrained

< >

( save_directory push_to_hub: bool = False **kwargs )

参数

  • save_directory (str 或 os.PathLike) — 将保存特征提取器 JSON 文件和分词器文件的目录（如果目录不存在，则会创建）。
  • push_to_hub (bool, 可选，默认为 False) — 保存模型后是否将其推送到 Hugging Face 模型中心。您可以使用 repo_id 指定要推送到哪个存储库（默认为您命名空间中 save_directory 的名称）。
  • kwargs (Dict[str, Any], 可选) — 传递给 push_to_hub() 方法的其他关键字参数。

将此处理器的属性（特征提取器、分词器等）保存到指定的目录中，以便可以使用 from_pretrained() 方法重新加载。

此类方法只是调用 save_pretrained() 和 save_pretrained()。有关更多信息，请参阅上述方法的文档字符串。

batch_decode

< >

( *args **kwargs )

此方法将其所有参数转发给 Speech2TextTokenizer 的 batch_decode()。有关更多信息，请参阅此方法的文档字符串。

decode

< >

( *args **kwargs )

此方法将其所有参数转发给 Speech2TextTokenizer 的 decode()。有关更多信息，请参阅此方法的文档字符串。

Pytorch
隐藏 Pytorch 内容

Speech2TextModel

类 transformers.Speech2TextModel

< >

( config: Speech2TextConfig )

参数

  • config (Speech2TextConfig) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型相关的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。

基本的 Speech2Text 模型，输出原始隐藏状态，没有任何特定的头部。此模型继承自 PreTrainedModel。查看超类文档以了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入的大小、修剪头部等）。

此模型也是 PyTorch torch.nn.Module 的子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以了解与一般用法和行为相关的所有事项。

forward

< >

( input_features: Optional = None attention_mask: Optional = None decoder_input_ids: Optional = None decoder_attention_mask: Optional = None head_mask: Optional = None decoder_head_mask: Optional = None cross_attn_head_mask: Optional = None encoder_outputs: Optional = None past_key_values: Optional = None decoder_inputs_embeds: Optional = None use_cache: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → transformers.modeling_outputs.Seq2SeqLMOutput 或 tuple(torch.FloatTensor)

参数

  • input_features (torch.FloatTensor 形状为 (batch_size, sequence_length, feature_size)) — 从原始语音波形提取的 fbank 特征的浮点值。可以通过将 .flac 或 .wav 音频文件加载到 List[float] 或 numpy.ndarray 类型的数组中获得原始语音波形，例如通过 soundfile 库（pip install soundfile）。为了将数组准备成 input_features，应使用 AutoFeatureExtractor 来提取 fbank 特征、填充并转换为 torch.FloatTensor 类型的张量。参见 call()
  • attention_mask (torch.Tensor 形状为 (batch_size, sequence_length)，可选) — 用于避免对填充标记索引执行卷积和注意力的掩码。掩码值选择在 [0, 1] 中：

    • 1 表示未掩盖的标记，
    • 0 表示掩盖的标记。

    什么是注意力掩码？

  • decoder_input_ids (torch.LongTensor 形状为 (batch_size, target_sequence_length)，可选) — 词汇表中解码器输入序列标记的索引。

    可以使用 SpeechToTextTokenizer 获取索引。有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

    什么是解码器输入 ID？

    SpeechToText 使用 eos_token_id 作为 decoder_input_ids 生成开始标记。如果使用 past_key_values，则可以选择仅输入最后一个 decoder_input_ids（参见 past_key_values）。

  • decoder_attention_mask (torch.LongTensor 形状为 (batch_size, target_sequence_length)，可选) — 默认行为：生成一个张量，忽略 decoder_input_ids 中的填充标记。默认情况下还会使用因果掩码。

    如果要更改填充行为，应阅读 modeling_speech_to_text._prepare_decoder_attention_mask 并根据需要修改。有关默认策略的更多信息，请参阅 论文 中的图 1。

  • head_mask (torch.Tensor 形状为 (encoder_layers, encoder_attention_heads)，可选) — 用于使编码器中注意力模块的选定头部无效的掩码。掩码值选择在 [0, 1] 中：

    • 1 表示头部未被掩盖，
    • 0 表示头部被掩盖。
  • decoder_head_mask (torch.Tensor 形状为 (decoder_layers, decoder_attention_heads)，可选) — 用于使解码器中注意力模块的选定头部无效的掩码。掩码值选择在 [0, 1] 中：

    • 1 表示头部未被掩盖，
    • 0 表示头部被掩盖。
  • cross_attn_head_mask (torch.Tensor 形状为 (decoder_layers, decoder_attention_heads)，可选) — 用于使交叉注意力模块的选定头部无效的掩码。掩码值选择在 [0, 1] 中：

    • 1 表示头部未被掩盖，
    • 0 表示头部被掩盖。
  • encoder_outputs (tuple(tuple(torch.FloatTensor)，可选) — 元组包含 (last_hidden_state，可选: hidden_states，可选: attentions) last_hidden_state 形状为 (batch_size, sequence_length, hidden_size)，可选) 是编码器最后一层输出的一系列隐藏状态。用于解码器的交叉注意力。
  • past_key_values (tuple(tuple(torch.FloatTensor))，可选，在传递 use_cache=True 或 config.use_cache=True 时返回) — 长度为 config.n_layers 的 tuple(tuple(torch.FloatTensor)) 元组，每个元组具有 2 个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量) 和 2 个形状为 (batch_size, num_heads, encoder_sequence_length, embed_size_per_head) 的附加张量。

    包含预计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于（参见 past_key_values 输入）加快顺序解码速度。

    如果使用 past_key_values，则用户可以选择仅输入形状为 (batch_size, 1) 的最后一个 decoder_input_ids（那些没有将其过去的键值状态提供给此模型的），而不是形状为 (batch_size, sequence_length) 的所有 decoder_input_ids。

  • decoder_inputs_embeds (torch.FloatTensor 形状为 (batch_size, target_sequence_length, hidden_size)，可选) — 可选地，您可以选择直接传递嵌入表示，而不是传递 decoder_input_ids。如果使用 past_key_values，则可以选择仅输入最后一个 decoder_inputs_embeds（参见 past_key_values）。如果您希望对如何将 decoder_input_ids 索引转换为关联向量进行更多控制，而不是模型的内部嵌入查找矩阵，这将很有用。
  • use_cache (bool，可选) — 如果设置为 True，则返回 past_key_values 键值状态，可用于加速解码（参见 past_key_values）。
  • output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
  • return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个简单的元组。

返回值

transformers.modeling_outputs.Seq2SeqLMOutput 或 tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.Seq2SeqLMOutput 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含根据配置 (Speech2TextConfig) 和输入而变化的各种元素。

  • loss (torch.FloatTensor 形状为 (1,)，可选，当提供 labels 时返回) — 语言建模损失。

  • logits (torch.FloatTensor 形状为 (batch_size, sequence_length, config.vocab_size)) — 语言建模头的预测分数（SoftMax 之前的每个词汇标记的分数）。

  • past_key_values (tuple(tuple(torch.FloatTensor)), 可选, 当传递 use_cache=True 或当 config.use_cache=True 时返回) — 长度为 config.n_layers 的 tuple(torch.FloatTensor) 元组，每个元组具有 2 个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量，以及 2 个形状为 (batch_size, num_heads, encoder_sequence_length, embed_size_per_head) 的附加张量。

    包含预计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于（参见 past_key_values 输入）加速顺序解码。

  • decoder_hidden_states (tuple(torch.FloatTensor), 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入的输出，如果模型具有嵌入层，加上每个层的输出）形状为 (batch_size, sequence_length, hidden_size)。

    解码器在每一层输出处的隐藏状态加上初始嵌入输出。

  • decoder_attentions (tuple(torch.FloatTensor), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每一层一个）形状为 (batch_size, num_heads, sequence_length, sequence_length)。

    解码器的注意力权重，在注意力 SoftMax 之后，用于计算自注意力头中的加权平均值。

  • cross_attentions (tuple(torch.FloatTensor), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每一层一个）形状为 (batch_size, num_heads, sequence_length, sequence_length)。

    解码器交叉注意力层的注意力权重，在注意力 SoftMax 之后，用于计算交叉注意力头中的加权平均值。

  • encoder_last_hidden_state (torch.FloatTensor 形状为 (batch_size, sequence_length, hidden_size)，可选) — 模型编码器最后一层输出处的隐藏状态序列。

  • encoder_hidden_states (tuple(torch.FloatTensor), 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入的输出，如果模型具有嵌入层，加上每个层的输出）形状为 (batch_size, sequence_length, hidden_size)。

    编码器在每一层输出处的隐藏状态加上初始嵌入输出。

  • encoder_attentions (tuple(torch.FloatTensor), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每一层一个）形状为 (batch_size, num_heads, sequence_length, sequence_length)。

    编码器的注意力权重，在注意力 SoftMax 之后，用于计算自注意力头中的加权平均值。

Speech2TextModel 的前向方法，覆盖了 __call__ 特殊方法。

虽然前向传递的配方需要在此函数中定义，但此后应该调用 Module 实例，而不是这个，因为前者负责运行预处理和后处理步骤，而后者则会默默忽略它们。

示例

>>> import torch
>>> from transformers import Speech2TextModel, AutoFeatureExtractor
>>> from datasets import load_dataset

>>> model = Speech2TextModel.from_pretrained("facebook/s2t-small-librispeech-asr")
>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/s2t-small-librispeech-asr")
>>> ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> inputs = feature_extractor(
...     ds[0]["audio"]["array"], sampling_rate=ds[0]["audio"]["sampling_rate"], return_tensors="pt"
... )
>>> input_features = inputs.input_features
>>> decoder_input_ids = torch.tensor([[1, 1]]) * model.config.decoder_start_token_id
>>> last_hidden_state = model(input_features, decoder_input_ids=decoder_input_ids).last_hidden_state
>>> list(last_hidden_state.shape)
[1, 2, 256]

Speech2TextForConditionalGeneration

class transformers.Speech2TextForConditionalGeneration

< >

( config: Speech2TextConfig )

参数

  • config (Speech2TextConfig) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型关联的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。

带有语言建模头的 Speech2Text 模型。可用于摘要。此模型继承自 PreTrainedModel。查看超类文档以了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入的大小、剪枝头等）。

此模型也是 PyTorch torch.nn.Module 的子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以了解与一般用法和行为相关的所有事项。

forward

< >

( input_features: Optional = None attention_mask: Optional = None decoder_input_ids: Optional = None decoder_attention_mask: Optional = None head_mask: Optional = None decoder_head_mask: Optional = None cross_attn_head_mask: Optional = None encoder_outputs: Optional = None past_key_values: Optional = None decoder_inputs_embeds: Optional = None labels: Optional = None use_cache: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → transformers.modeling_outputs.Seq2SeqLMOutput 或 tuple(torch.FloatTensor)

参数

  • input_features (torch.FloatTensor 形状为 (batch_size, sequence_length, feature_size)) — 从原始语音波形提取的 fbank 特征的浮点值。原始语音波形可以通过将 .flac 或 .wav 音频文件加载到 List[float] 或 numpy.ndarray 类型的数组中获得，例如通过 soundfile 库 (pip install soundfile)。为了将数组准备成 input_features，应使用 AutoFeatureExtractor 来提取 fbank 特征，填充并转换为 torch.FloatTensor 类型的张量。请参阅 call()
  • attention_mask (torch.Tensor 形状为 (batch_size, sequence_length), 可选) — 用于避免对填充标记索引执行卷积和注意力的掩码。掩码值选择在 [0, 1] 中：

    • 1 表示未掩码的标记，
    • 0 表示已掩码的标记。

    什么是注意力掩码？

  • decoder_input_ids (torch.LongTensor 形状为 (batch_size, target_sequence_length), 可选) — 词汇表中解码器输入序列标记的索引。

    可以使用 SpeechToTextTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

    什么是解码器输入 ID？

    SpeechToText 使用 eos_token_id 作为 decoder_input_ids 生成起始标记。如果使用 past_key_values，则可以选择仅输入最后一个 decoder_input_ids（请参阅 past_key_values）。

  • decoder_attention_mask (torch.LongTensor 形状为 (batch_size, target_sequence_length), 可选) — 默认行为：生成一个忽略 decoder_input_ids 中填充标记的张量。因果掩码也将默认使用。

    如果要更改填充行为，则应阅读 modeling_speech_to_text._prepare_decoder_attention_mask 并根据您的需要进行修改。有关默认策略的更多信息，请参阅 论文 中的图 1。

  • head_mask (torch.Tensor 形状为 (encoder_layers, encoder_attention_heads), 可选) — 用于使编码器中注意力模块的选定头部无效的掩码。掩码值选择在 [0, 1] 中：

    • 1 表示头部未掩码，
    • 0 表示头部已掩码。
  • decoder_head_mask (torch.Tensor 形状为 (decoder_layers, decoder_attention_heads), 可选) — 用于使解码器中注意力模块的选定头部无效的掩码。掩码值选择在 [0, 1] 中：

    • 1 表示头部未掩码，
    • 0 表示头部已掩码。
  • cross_attn_head_mask (torch.Tensor 形状为 (decoder_layers, decoder_attention_heads), 可选) — 用于使交叉注意力模块的选定头部无效的掩码。掩码值选择在 [0, 1] 中：

    • 1 表示头部未掩码，
    • 0 表示头部已掩码。
  • encoder_outputs (tuple(tuple(torch.FloatTensor)，可选) — 元组包含 (last_hidden_state，可选: hidden_states，可选: attentions) last_hidden_state 的形状为 (batch_size, sequence_length, hidden_size)，可选) 是编码器最后一层输出的一系列隐藏状态。用于解码器的交叉注意力。
  • past_key_values (tuple(tuple(torch.FloatTensor))，可选，当传递 use_cache=True 或 config.use_cache=True 时返回) — 长度为 config.n_layers 的 tuple(torch.FloatTensor) 元组，每个元组包含 2 个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量) 以及 2 个形状为 (batch_size, num_heads, encoder_sequence_length, embed_size_per_head) 的附加张量。

    包含预计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于（参见 past_key_values 输入）加速顺序解码。

    如果使用 past_key_values，则用户可以选择仅输入形状为 (batch_size, 1) 的最后一个 decoder_input_ids（其过去键值状态未提供给此模型），而不是形状为 (batch_size, sequence_length) 的所有 decoder_input_ids。

  • decoder_inputs_embeds (torch.FloatTensor 形状为 (batch_size, target_sequence_length, hidden_size)，可选) — 可选地，而不是传递 decoder_input_ids，您可以选择直接传递嵌入表示。如果使用 past_key_values，则可以选择仅输入最后一个 decoder_inputs_embeds（参见 past_key_values）。如果您希望对如何将 decoder_input_ids 索引转换为关联向量进行比模型内部嵌入查找矩阵更多的控制，这将很有用。
  • use_cache (bool，可选) — 如果设置为 True，则返回 past_key_values 键值状态，可用于加速解码（参见 past_key_values）。
  • output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
  • output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
  • return_dict (bool，可选) — 是否返回 ModelOutput 而不是普通元组。
  • labels (torch.LongTensor 形状为 (batch_size, sequence_length)，可选) — 用于计算语言建模损失的标签。索引应为 [0, ..., config.vocab_size] 或 -100（参见 input_ids 文档字符串）。索引设置为 -100 的标记将被忽略（屏蔽），仅针对 [0, ..., config.vocab_size] 中的标签标记计算损失。

返回值

transformers.modeling_outputs.Seq2SeqLMOutput 或 tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.Seq2SeqLMOutput 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含根据配置 (Speech2TextConfig) 和输入而变化的各种元素。

  • loss (torch.FloatTensor 形状为 (1,)，可选，当提供 labels 时返回) — 语言建模损失。

  • logits (torch.FloatTensor 形状为 (batch_size, sequence_length, config.vocab_size)) — 语言建模头的预测分数（SoftMax 之前的每个词汇标记的分数）。

  • past_key_values (tuple(tuple(torch.FloatTensor)), 可选, 当传递 use_cache=True 或当 config.use_cache=True 时返回) — 长度为 config.n_layers 的 tuple(torch.FloatTensor) 元组，每个元组具有 2 个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量，以及 2 个形状为 (batch_size, num_heads, encoder_sequence_length, embed_size_per_head) 的附加张量。

    包含预计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于（参见 past_key_values 输入）加速顺序解码。

  • decoder_hidden_states (tuple(torch.FloatTensor), 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入的输出，如果模型具有嵌入层，加上每个层的输出）形状为 (batch_size, sequence_length, hidden_size)。

    解码器在每一层输出处的隐藏状态加上初始嵌入输出。

  • decoder_attentions (tuple(torch.FloatTensor), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每一层一个）形状为 (batch_size, num_heads, sequence_length, sequence_length)。

    解码器的注意力权重，在注意力 SoftMax 之后，用于计算自注意力头中的加权平均值。

  • cross_attentions (tuple(torch.FloatTensor), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每一层一个）形状为 (batch_size, num_heads, sequence_length, sequence_length)。

    解码器交叉注意力层的注意力权重，在注意力 SoftMax 之后，用于计算交叉注意力头中的加权平均值。

  • encoder_last_hidden_state (torch.FloatTensor 形状为 (batch_size, sequence_length, hidden_size)，可选) — 模型编码器最后一层输出处的隐藏状态序列。

  • encoder_hidden_states (tuple(torch.FloatTensor), 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入的输出，如果模型具有嵌入层，加上每个层的输出）形状为 (batch_size, sequence_length, hidden_size)。

    编码器在每一层输出处的隐藏状态加上初始嵌入输出。

  • encoder_attentions (tuple(torch.FloatTensor), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每一层一个）形状为 (batch_size, num_heads, sequence_length, sequence_length)。

    编码器的注意力权重，在注意力 SoftMax 之后，用于计算自注意力头中的加权平均值。

Speech2TextForConditionalGeneration 的前向方法覆盖了 __call__ 特殊方法。

虽然前向传递的配方需要在此函数中定义，但此后应该调用 Module 实例，而不是这个，因为前者负责运行预处理和后处理步骤，而后者则会默默忽略它们。

示例

>>> import torch
>>> from transformers import Speech2TextProcessor, Speech2TextForConditionalGeneration
>>> from datasets import load_dataset

>>> model = Speech2TextForConditionalGeneration.from_pretrained("facebook/s2t-small-librispeech-asr")
>>> processor = Speech2TextProcessor.from_pretrained("facebook/s2t-small-librispeech-asr")


>>> ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")

>>> inputs = processor(
...     ds[0]["audio"]["array"], sampling_rate=ds[0]["audio"]["sampling_rate"], return_tensors="pt"
... )
>>> input_features = inputs.input_features

>>> generated_ids = model.generate(inputs=input_features)

>>> transcription = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
>>> transcription
'mister quilter is the apostle of the middle classes and we are glad to welcome his gospel'
TensorFlow
隐藏 TensorFlow 内容

TFSpeech2TextModel

类 transformers.TFSpeech2TextModel

< >

( config: Speech2TextConfig *inputs **kwargs )

参数

  • config (Speech2TextConfig) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型关联的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。

基本的 Speech2Text 模型，输出原始隐藏状态，没有任何特定的头部。此模型继承自 TFPreTrainedModel。查看超类文档以了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入的大小、修剪头部等）。

此模型也是 keras.Model 的子类。将其用作常规的 TF 2.0 Keras 模型，并参考 TF 2.0 文档以了解与一般用法和行为相关的所有事项。

transformers 中的 TensorFlow 模型和层接受两种格式作为输入

  • 将所有输入作为关键字参数（如 PyTorch 模型），或
  • 将所有输入作为列表、元组或字典放在第一个位置参数中。

支持第二种格式的原因是 Keras 方法在将输入传递给模型和层时更喜欢这种格式。由于这种支持，在使用 model.fit() 等方法时，事情应该“正常工作” - 只需以 model.fit() 支持的任何格式传递您的输入和标签即可！但是，如果您想在 Keras 方法（如 fit() 和 predict()）之外使用第二种格式，例如在使用 Keras Functional API 创建您自己的层或模型时，您可以使用三种可能性将所有输入张量收集到第一个位置参数中

  • 仅使用 input_ids 的单个张量，没有其他任何内容：model(input_ids)
  • 具有一个或多个输入张量的可变长度列表，按照文档字符串中给出的顺序：model([input_ids, attention_mask]) 或 model([input_ids, attention_mask, token_type_ids])
  • 具有一个或多个输入张量的字典，与文档字符串中给出的输入名称相关联：model({"input_ids": input_ids, "token_type_ids": token_type_ids})

请注意，当使用 子类化 创建模型和层时，您无需担心任何这些问题，因为您可以像对任何其他 Python 函数一样传递输入！

调用

< >

( input_features: TFModelInputType | None = None attention_mask: np.ndarray | tf.Tensor | None = None decoder_input_ids: np.ndarray | tf.Tensor | None = None decoder_attention_mask: np.ndarray | tf.Tensor | None = None head_mask: np.ndarray | tf.Tensor | None = None decoder_head_mask: np.ndarray | tf.Tensor | None = None cross_attn_head_mask: np.ndarray | tf.Tensor | None = None encoder_outputs: np.ndarray | tf.Tensor | None = None past_key_values: Optional[Tuple[Tuple[Union[np.ndarray, tf.Tensor]]]] = None decoder_inputs_embeds: np.ndarray | tf.Tensor | None = None use_cache: Optional[bool] = None output_attentions: Optional[bool] = None output_hidden_states: Optional[bool] = None return_dict: Optional[bool] = None training: bool = False **kwargs ) → transformers.modeling_tf_outputs.TFSeq2SeqModelOutput 或 tuple(tf.Tensor)

参数

  • input_features (tf.Tensor 形状为 (batch_size, sequence_length, feature_size)) — 从原始语音波形中提取的 fbank 特征的浮点值。可以通过将 .flac 或 .wav 音频文件加载到 List[float] 或 numpy.ndarray 类型的数组中来获取原始语音波形，例如通过 soundfile 库 (pip install soundfile)。为了将数组准备成 input_features，应使用 AutoFeatureExtractor 来提取 fbank 特征、填充并转换为浮点数张量。参见 call()
  • attention_mask (tf.Tensor 形状为 ({0})，可选) — 用于避免对填充标记索引执行注意力操作的掩码。掩码值选择在 [0, 1] 中：

    • 1 表示未掩码的标记，
    • 0 表示已掩码的标记。

    什么是注意力掩码？

  • decoder_input_ids (tf.Tensor 形状为 (batch_size, target_sequence_length)，可选) — 词表中解码器输入序列标记的索引。

    可以使用 Speech2TextTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

    什么是解码器输入 ID？

    SpeechToText 使用 eos_token_id 作为 decoder_input_ids 生成起始标记。如果使用 past_key_values，则可以选择仅输入最后一个 decoder_input_ids（参见 past_key_values）。

    对于翻译和摘要训练，应提供 decoder_input_ids。如果未提供 decoder_input_ids，则模型将通过将 input_ids 向右移动来创建此张量，以便根据论文进行去噪预训练。

  • decoder_attention_mask (tf.Tensor 形状为 (batch_size, target_sequence_length)，可选) — 将默认生成并忽略填充标记。对于大多数用例，不建议设置此值。
  • head_mask (tf.Tensor 形状为 (encoder_layers, encoder_attention_heads)，可选) — 用于使编码器中注意力模块的选定头部无效的掩码。掩码值选择在 [0, 1] 中：

    • 1 表示头部未被掩码，
    • 0 表示头部被掩码。
  • decoder_head_mask (tf.Tensor 形状为 (decoder_layers, decoder_attention_heads)，可选) — 用于使解码器中注意力模块的选定头部无效的掩码。掩码值选择在 [0, 1] 中：

    • 1 表示头部未被掩码，
    • 0 表示头部被掩码。
  • cross_attn_head_mask (tf.Tensor 形状为 (decoder_layers, decoder_attention_heads)，可选) — 用于使交叉注意力模块的选定头部无效的掩码。掩码值选择在 [0, 1] 中：

    • 1 表示头部未被掩码，
    • 0 表示头部被掩码。
  • encoder_outputs (tf.FloatTensor，可选) — 编码器最后一层的输出处的隐藏状态。用于解码器的交叉注意力。形状为 (batch_size, sequence_length, hidden_size) 的序列
  • past_key_values (长度为 config.n_layers 的 Tuple[Tuple[tf.Tensor]]) — 包含注意力块的预计算键和值隐藏状态。可用于加速解码。如果使用 past_key_values，则用户可以选择仅输入最后一个 decoder_input_ids（那些没有提供给此模型的过去键值状态的）形状为 (batch_size, 1)，而不是所有 decoder_input_ids 形状为 (batch_size, sequence_length)。
  • decoder_inputs_embeds (tf.FloatTensor 形状为 (batch_size, target_sequence_length, hidden_size)，可选) — 可选地，您可以选择直接传递嵌入表示，而不是传递 decoder_input_ids。如果使用 past_key_values，则可以选择仅输入最后一个 decoder_inputs_embeds（参见 past_key_values）。如果您希望对如何将 decoder_input_ids 索引转换为关联向量比模型的内部嵌入查找矩阵有更多控制权，这将非常有用。
  • use_cache (bool，可选) — 如果设置为 True，则返回 past_key_values 键值状态，可用于加速解码（参见 past_key_values）。
  • output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量中的attentions。此参数仅可在急切模式下使用，在图模式下，将使用配置中的值。
  • output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量中的hidden_states。此参数仅可在急切模式下使用，在图模式下，将使用配置中的值。
  • return_dict (bool, 可选) — 是否返回ModelOutput而不是普通元组。此参数可在急切模式下使用，在图模式下，该值将始终设置为True。
  • training (bool, 可选, 默认为 False) — 是否以训练模式使用模型（某些模块，如 dropout 模块，在训练和评估之间具有不同的行为）。

返回值

transformers.modeling_tf_outputs.TFSeq2SeqModelOutput 或 tuple(tf.Tensor)

一个transformers.modeling_tf_outputs.TFSeq2SeqModelOutput或tf.Tensor的元组（如果传递了return_dict=False或当config.return_dict=False时），包含根据配置(Speech2TextConfig)和输入的不同元素。

  • last_hidden_state (tf.Tensor 形状为 (batch_size, sequence_length, hidden_size)) — 模型解码器最后一层输出的隐藏状态序列。

    如果使用了past_key_values，则仅输出形状为(batch_size, 1, hidden_size)的序列的最后一个隐藏状态。

  • past_key_values (List[tf.Tensor], 可选, 当传递use_cache=True或当config.use_cache=True时返回) — 长度为config.n_layers的tf.Tensor列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head))。

    包含解码器中预先计算的隐藏状态（注意力块中的键和值），可用于（参见past_key_values输入）加速顺序解码。

  • decoder_hidden_states (tuple(tf.Tensor), 可选, 当传递output_hidden_states=True或当config.output_hidden_states=True时返回) — tf.Tensor的元组（一个用于嵌入的输出 + 一个用于每一层的输出），形状为(batch_size, sequence_length, hidden_size)。

    解码器在每一层输出处的隐藏状态加上初始嵌入输出。

  • decoder_attentions (tuple(tf.Tensor), 可选, 当传递output_attentions=True或当config.output_attentions=True时返回) — tf.Tensor的元组（每一层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。

    解码器的注意力权重，在注意力 SoftMax 之后，用于计算自注意力头中的加权平均值。

  • cross_attentions (tuple(tf.Tensor), 可选, 当传递output_attentions=True或当config.output_attentions=True时返回) — tf.Tensor的元组（每一层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。

    解码器交叉注意力层的注意力权重，在注意力 SoftMax 之后，用于计算交叉注意力头中的加权平均值。

  • encoder_last_hidden_state (tf.Tensor 形状为 (batch_size, sequence_length, hidden_size), 可选) — 模型编码器最后一层输出的隐藏状态序列。

  • encoder_hidden_states (tuple(tf.Tensor), 可选, 当传递output_hidden_states=True或当config.output_hidden_states=True时返回) — tf.Tensor的元组（一个用于嵌入的输出 + 一个用于每一层的输出），形状为(batch_size, sequence_length, hidden_size)。

    编码器在每一层输出处的隐藏状态加上初始嵌入输出。

  • encoder_attentions (tuple(tf.Tensor), 可选, 当传递output_attentions=True或当config.output_attentions=True时返回) — tf.Tensor的元组（每一层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。

    编码器的注意力权重，在注意力 SoftMax 之后，用于计算自注意力头中的加权平均值。

TFSpeech2TextModel 的前向方法，覆盖了__call__特殊方法。

虽然前向传递的配方需要在此函数中定义，但此后应该调用 Module 实例，而不是这个，因为前者负责运行预处理和后处理步骤，而后者则会默默忽略它们。

示例

>>> from transformers import AutoTokenizer, TFSpeech2TextModel
>>> import tensorflow as tf

>>> tokenizer = AutoTokenizer.from_pretrained("facebook/s2t-small-librispeech-asr")
>>> model = TFSpeech2TextModel.from_pretrained("facebook/s2t-small-librispeech-asr")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="tf")
>>> outputs = model(inputs)

>>> last_hidden_states = outputs.last_hidden_state

TFSpeech2TextForConditionalGeneration

类 transformers.TFSpeech2TextForConditionalGeneration

< >

( config: Speech2TextConfig )

参数

  • config (Speech2TextConfig) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型关联的权重，仅加载配置。查看from_pretrained()方法以加载模型权重。

带有语言建模头的 Speech2Text 模型。可用于摘要。此模型继承自TFPreTrainedModel。查看超类文档以了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入的大小、修剪 head 等）。

此模型也是 keras.Model 的子类。将其用作常规的 TF 2.0 Keras 模型，并参考 TF 2.0 文档以了解与一般用法和行为相关的所有事项。

transformers 中的 TensorFlow 模型和层接受两种格式作为输入

  • 将所有输入作为关键字参数（如 PyTorch 模型），或
  • 将所有输入作为列表、元组或字典放在第一个位置参数中。

支持第二种格式的原因是 Keras 方法在将输入传递给模型和层时更喜欢这种格式。由于这种支持，在使用 model.fit() 等方法时，事情应该“正常工作” - 只需以 model.fit() 支持的任何格式传递您的输入和标签即可！但是，如果您想在 Keras 方法（如 fit() 和 predict()）之外使用第二种格式，例如在使用 Keras Functional API 创建您自己的层或模型时，您可以使用三种可能性将所有输入张量收集到第一个位置参数中

  • 仅使用 input_ids 的单个张量，没有其他任何内容：model(input_ids)
  • 具有一个或多个输入张量的可变长度列表，按照文档字符串中给出的顺序：model([input_ids, attention_mask]) 或 model([input_ids, attention_mask, token_type_ids])
  • 具有一个或多个输入张量的字典，与文档字符串中给出的输入名称相关联：model({"input_ids": input_ids, "token_type_ids": token_type_ids})

请注意，当使用 子类化 创建模型和层时，您无需担心任何这些问题，因为您可以像对任何其他 Python 函数一样传递输入！

调用

< >

( input_features: TFModelInputType | None = None attention_mask: np.ndarray | tf.Tensor | None = None decoder_input_ids: np.ndarray | tf.Tensor | None = None decoder_attention_mask: np.ndarray | tf.Tensor | None = None head_mask: np.ndarray | tf.Tensor | None = None decoder_head_mask: np.ndarray | tf.Tensor | None = None cross_attn_head_mask: np.ndarray | tf.Tensor | None = None encoder_outputs: np.ndarray | tf.Tensor | None = None past_key_values: Optional[Tuple[Tuple[Union[np.ndarray, tf.Tensor]]]] = None decoder_inputs_embeds: np.ndarray | tf.Tensor | None = None labels: np.ndarray | tf.Tensor | None = None use_cache: Optional[bool] = None output_attentions: Optional[bool] = None output_hidden_states: Optional[bool] = None return_dict: Optional[bool] = None training: Optional[bool] = False **kwargs ) → transformers.modeling_tf_outputs.TFSeq2SeqLMOutput 或 tuple(tf.Tensor)

参数

  • input_features (tf.Tensor 形状为 (batch_size, sequence_length, feature_size)) — 从原始语音波形提取的 fbank 特征的浮点值。可以通过将 .flac 或 .wav 音频文件加载到 List[float] 或 numpy.ndarray 类型的数组中来获取原始语音波形，例如通过 soundfile 库 (pip install soundfile)。要将数组准备成 input_features，应使用 AutoFeatureExtractor 来提取 fbank 特征，进行填充并转换为浮点数张量。请参阅 call()
  • attention_mask (tf.Tensor 形状为 ({0})，可选) — 用于避免对填充标记索引执行注意力的掩码。掩码值选择在 [0, 1] 中：

    • 1 表示未掩码的标记，
    • 0 表示已掩码的标记。

    什么是注意力掩码？

  • decoder_input_ids (tf.Tensor 形状为 (batch_size, target_sequence_length)，可选) — 词汇表中解码器输入序列标记的索引。

    可以使用 Speech2TextTokenizer 获取索引。请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call() 以了解详细信息。

    什么是解码器输入 ID？

    SpeechToText 使用 eos_token_id 作为 decoder_input_ids 生成开始标记。如果使用 past_key_values，则可以选择仅输入最后一个 decoder_input_ids（请参阅 past_key_values）。

    对于翻译和摘要训练，应提供 decoder_input_ids。如果未提供 decoder_input_ids，则模型将通过将 input_ids 向右移动来创建此张量，以根据论文进行去噪预训练。

  • decoder_attention_mask (tf.Tensor 形状为 (batch_size, target_sequence_length)，可选) — 将默认创建并忽略填充标记。对于大多数用例，不建议设置此值。
  • head_mask (tf.Tensor 形状为 (encoder_layers, encoder_attention_heads)，可选) — 用于使编码器中注意力模块的选定头部无效的掩码。掩码值选择在 [0, 1] 中：

    • 1 表示头部未掩码，
    • 0 表示头部已掩码。
  • decoder_head_mask (tf.Tensor 形状为 (decoder_layers, decoder_attention_heads)，可选) — 用于使解码器中注意力模块的选定头部无效的掩码。掩码值选择在 [0, 1] 中：

    • 1 表示头部未掩码，
    • 0 表示头部已掩码。
  • cross_attn_head_mask (tf.Tensor 形状为 (decoder_layers, decoder_attention_heads)，可选) — 用于使交叉注意力模块中选定的注意力头无效的掩码。掩码值选择在 [0, 1] 中：

    • 1 表示注意力头 **未被掩码**，
    • 0 表示注意力头 **被掩码**。
  • encoder_outputs (tf.FloatTensor，可选) — 编码器最后一层的输出处的隐藏状态。用于解码器的交叉注意力。形状为 (batch_size, sequence_length, hidden_size) 是一个序列
  • past_key_values (Tuple[Tuple[tf.Tensor]] 长度为 config.n_layers) — 包含注意力块的预计算键和值隐藏状态。可用于加速解码。如果使用 past_key_values，用户可以选择仅输入最后一个 decoder_input_ids（那些没有提供给此模型的过去键值状态的）形状为 (batch_size, 1)，而不是所有 decoder_input_ids 形状为 (batch_size, sequence_length)。
  • decoder_inputs_embeds (tf.FloatTensor 形状为 (batch_size, target_sequence_length, hidden_size)，可选) — 可选地，而不是传递 decoder_input_ids，您可以选择直接传递嵌入表示。如果使用 past_key_values，则可以选择仅输入最后一个 decoder_inputs_embeds（参见 past_key_values）。如果您希望对如何将 decoder_input_ids 索引转换为关联向量进行比模型内部嵌入查找矩阵更多的控制，这将很有用。
  • use_cache (bool，可选) — 如果设置为 True，则返回 past_key_values 键值状态，可用于加速解码（参见 past_key_values）。
  • output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参见返回张量下的 attentions。此参数只能在急切模式下使用，在图形模式下，将使用配置中的值。
  • output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参见返回张量下的 hidden_states。此参数只能在急切模式下使用，在图形模式下，将使用配置中的值。
  • return_dict (bool，可选) — 是否返回 ModelOutput 而不是普通元组。此参数可在急切模式下使用，在图形模式下，该值将始终设置为 True。
  • training (bool，可选，默认为 False) — 是否以训练模式使用模型（某些模块，如 dropout 模块，在训练和评估之间具有不同的行为）。
  • labels (tf.Tensor 形状为 (batch_size, sequence_length)，可选) — 用于计算掩码语言建模损失的标签。索引应在 [0, ..., config.vocab_size] 或 -100 之间（参见 input_ids 文档字符串）。索引设置为 -100 的标记将被忽略（掩码），损失仅针对标签在 [0, ..., config.vocab_size] 之间的标记计算。

返回值

transformers.modeling_tf_outputs.TFSeq2SeqLMOutput 或 tuple(tf.Tensor)

一个 transformers.modeling_tf_outputs.TFSeq2SeqLMOutput 或一个 tf.Tensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含取决于配置 (Speech2TextConfig) 和输入的各种元素。

  • loss (tf.Tensor 形状为 (n,)，可选，其中 n 是非掩码标签的数量，在提供 labels 时返回) — 语言建模损失。

  • logits (tf.Tensor 形状为 (batch_size, sequence_length, config.vocab_size)) — 语言建模头的预测分数（SoftMax 之前的每个词汇标记的分数）。

  • past_key_values (List[tf.Tensor], 可选, 当传递use_cache=True或当config.use_cache=True时返回) — 长度为config.n_layers的tf.Tensor列表，每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head))。

    包含解码器中预先计算的隐藏状态（注意力块中的键和值），可用于（参见past_key_values输入）加速顺序解码。

  • decoder_hidden_states (tuple(tf.Tensor), 可选, 当传递output_hidden_states=True或当config.output_hidden_states=True时返回) — tf.Tensor的元组（一个用于嵌入的输出 + 一个用于每一层的输出），形状为(batch_size, sequence_length, hidden_size)。

    解码器在每一层输出处的隐藏状态加上初始嵌入输出。

  • decoder_attentions (tuple(tf.Tensor), 可选, 当传递output_attentions=True或当config.output_attentions=True时返回) — tf.Tensor的元组（每一层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。

    解码器的注意力权重，在注意力 SoftMax 之后，用于计算自注意力头中的加权平均值。

  • cross_attentions (tuple(tf.Tensor), 可选, 当传递output_attentions=True或当config.output_attentions=True时返回) — tf.Tensor的元组（每一层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。

    解码器交叉注意力层的注意力权重，在注意力 SoftMax 之后，用于计算交叉注意力头中的加权平均值。

  • encoder_last_hidden_state (tf.Tensor 形状为 (batch_size, sequence_length, hidden_size), 可选) — 模型编码器最后一层输出的隐藏状态序列。

  • encoder_hidden_states (tuple(tf.Tensor), 可选, 当传递output_hidden_states=True或当config.output_hidden_states=True时返回) — tf.Tensor的元组（一个用于嵌入的输出 + 一个用于每一层的输出），形状为(batch_size, sequence_length, hidden_size)。

    编码器在每一层输出处的隐藏状态加上初始嵌入输出。

  • encoder_attentions (tuple(tf.Tensor), 可选, 当传递output_attentions=True或当config.output_attentions=True时返回) — tf.Tensor的元组（每一层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。

    编码器的注意力权重，在注意力 SoftMax 之后，用于计算自注意力头中的加权平均值。

The TFSpeech2TextForConditionalGeneration 前向方法，覆盖了 __call__ 特殊方法。

虽然前向传递的配方需要在此函数中定义，但此后应该调用 Module 实例，而不是这个，因为前者负责运行预处理和后处理步骤，而后者则会默默忽略它们。

示例

>>> import tensorflow as tf
>>> from transformers import Speech2TextProcessor, TFSpeech2TextForConditionalGeneration
>>> from datasets import load_dataset
>>> import soundfile as sf

>>> model = TFSpeech2TextForConditionalGeneration.from_pretrained(
...     "facebook/s2t-small-librispeech-asr", from_pt=True
... )
>>> processor = Speech2TextProcessor.from_pretrained("facebook/s2t-small-librispeech-asr")


>>> def map_to_array(batch):
...     speech, _ = sf.read(batch["file"])
...     batch["speech"] = speech
...     return batch


>>> ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> ds = ds.map(map_to_array)
>>> ds.set_format(type="tf")

>>> input_features = processor(
...     ds["speech"][0], sampling_rate=16000, return_tensors="tf"
... ).input_features  # Batch size 1
>>> generated_ids = model.generate(input_features)

>>> transcription = processor.batch_decode(generated_ids)
< > 在 GitHub 上更新

←SEW-D Speech2Text2→