Transformers 文档
语音转文本(Speech2Text)
并获得增强的文档体验
开始使用
语音转文本(Speech2Text)
概述
Speech2Text 模型由 Changhan Wang、Yun Tang、Xutai Ma、Anne Wu、Dmytro Okhonko、Juan Pino 在 fairseq S2T:使用 fairseq 进行快速语音到文本建模 中提出。它是一个基于 Transformer 的 seq2seq(编码器-解码器)模型,专为端到端自动语音识别(ASR)和语音翻译(ST)设计。它使用一个卷积下采样器,将语音输入的长度减少 3/4,然后将其送入编码器。该模型通过标准自回归交叉熵损失进行训练,并自回归地生成文本/翻译。Speech2Text 已在多个数据集上进行 ASR 和 ST 的微调:LibriSpeech、CoVoST 2、MuST-C。
此模型由 valhalla 贡献。原始代码可在 此处 找到。
推理
Speech2Text 是一个语音模型,它接受从语音信号中提取的对数梅尔滤波器组特征的浮点张量。它是一个基于 Transformer 的 seq2seq 模型,因此文本/翻译是自回归生成的。generate()
方法可用于推理。
Speech2TextFeatureExtractor 类负责提取对数梅尔滤波器组特征。Speech2TextProcessor 将 Speech2TextFeatureExtractor 和 Speech2TextTokenizer 封装到一个实例中,以同时提取输入特征和解码预测的 token ID。
特征提取器依赖于 torchaudio
,分词器依赖于 sentencepiece
,因此在运行示例之前务必安装这些包。您可以选择使用 pip install transformers"[speech, sentencepiece]"
安装额外的语音依赖项,或者使用 pip install torchaudio sentencepiece
单独安装这些包。此外,torchaudio
需要 libsndfile 包的开发版本,可以通过系统包管理器安装。在 Ubuntu 上,可以按如下方式安装:apt install libsndfile1-dev
- ASR 和语音翻译
>>> import torch
>>> from transformers import Speech2TextProcessor, Speech2TextForConditionalGeneration
>>> from datasets import load_dataset
>>> model = Speech2TextForConditionalGeneration.from_pretrained("facebook/s2t-small-librispeech-asr")
>>> processor = Speech2TextProcessor.from_pretrained("facebook/s2t-small-librispeech-asr")
>>> ds = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> inputs = processor(ds[0]["audio"]["array"], sampling_rate=ds[0]["audio"]["sampling_rate"], return_tensors="pt")
>>> generated_ids = model.generate(inputs["input_features"], attention_mask=inputs["attention_mask"])
>>> transcription = processor.batch_decode(generated_ids, skip_special_tokens=True)
>>> transcription
['mister quilter is the apostle of the middle classes and we are glad to welcome his gospel']
多语言语音翻译
对于多语言语音翻译模型,
eos_token_id
用作decoder_start_token_id
,并且目标语言 ID 被强制作为第一个生成的 token。要强制目标语言 ID 作为第一个生成的 token,请将forced_bos_token_id
参数传递给generate()
方法。以下示例展示了如何使用 facebook/s2t-medium-mustc-multilingual-st 检查点将英语语音翻译为法语文本。
>>> import torch
>>> from transformers import Speech2TextProcessor, Speech2TextForConditionalGeneration
>>> from datasets import load_dataset
>>> model = Speech2TextForConditionalGeneration.from_pretrained("facebook/s2t-medium-mustc-multilingual-st")
>>> processor = Speech2TextProcessor.from_pretrained("facebook/s2t-medium-mustc-multilingual-st")
>>> ds = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> inputs = processor(ds[0]["audio"]["array"], sampling_rate=ds[0]["audio"]["sampling_rate"], return_tensors="pt")
>>> generated_ids = model.generate(
... inputs["input_features"],
... attention_mask=inputs["attention_mask"],
... forced_bos_token_id=processor.tokenizer.lang_code_to_id["fr"],
... )
>>> translation = processor.batch_decode(generated_ids, skip_special_tokens=True)
>>> translation
["(Vidéo) Si M. Kilder est l'apossible des classes moyennes, et nous sommes heureux d'être accueillis dans son évangile."]
请访问模型中心查找 Speech2Text 检查点。
Speech2TextConfig
class transformers.Speech2TextConfig
< 源 >( vocab_size
= 10000 encoder_layers
= 12 encoder_ffn_dim
= 2048 encoder_attention_heads
= 4 decoder_layers
= 6 decoder_ffn_dim
= 2048 decoder_attention_heads
= 4 encoder_layerdrop
= 0.0 decoder_layerdrop
= 0.0 use_cache
= True is_encoder_decoder
= True activation_function
= 'relu' d_model
= 256 dropout
= 0.1 attention_dropout
= 0.0 activation_dropout
= 0.0 init_std
= 0.02 decoder_start_token_id
= 2 scale_embedding
= True pad_token_id
= 1 bos_token_id
= 0 eos_token_id
= 2 max_source_positions
= 6000 max_target_positions
= 1024 num_conv_layers
= 2 conv_kernel_sizes
= (5, 5) conv_channels
= 1024 input_feat_per_channel
= 80 input_channels
= 1 **kwargs
)
参数
- vocab_size (
int
, 可选, 默认为 10000) — Speech2Text 模型的词汇表大小。定义了调用 Speech2TextModel 时传入的inputs_ids
可以表示的不同 token 的数量。 - encoder_layers (
int
, 可选, 默认为 12) — 编码器层数。 - encoder_ffn_dim (
int
, 可选, 默认为 2048) — 编码器中“中间”(通常称为前馈)层的维度。 - encoder_attention_heads (
int
, 可选, 默认为 4) — Transformer 编码器中每个注意力层的注意力头数量。 - decoder_layers (
int
, 可选, 默认为 6) — 解码器层数。 - decoder_ffn_dim (
int
, 可选, 默认为 2048) — 解码器中“中间”(通常称为前馈)层的维度。 - decoder_attention_heads (
int
, 可选, 默认为 4) — Transformer 解码器中每个注意力层的注意力头数量。 - encoder_layerdrop (
float
, 可选, 默认为 0.0) — 编码器的 LayerDrop 概率。有关更多详细信息,请参阅 LayerDrop 论文。 - decoder_layerdrop (
float
, 可选, 默认为 0.0) — 解码器的 LayerDrop 概率。有关更多详细信息,请参阅 LayerDrop 论文。 - use_cache (
bool
, 可选, 默认为True
) — 模型是否应返回最后一个键/值注意力(并非所有模型都使用)。 - is_encoder_decoder (
bool
, 可选, 默认为True
) — 模型是否设置为用于序列到序列任务的编码器-解码器架构。 - activation_function (
str
或function
, 可选, 默认为"relu"
) — 编码器和池化层中的非线性激活函数(函数或字符串)。如果是字符串,则支持"gelu"
、"relu"
、"silu"
和"gelu_new"
。 - d_model (
int
, 可选, 默认为 256) — 层和池化层的维度。 - dropout (
float
, 可选, 默认为 0.1) — 嵌入、编码器和池化器中所有全连接层的 dropout 概率。 - attention_dropout (
float
, 可选, 默认为 0.0) — 注意力概率的 dropout 比率。 - activation_dropout (
float
, 可选, 默认为 0.0) — 全连接层内部激活的 dropout 比率。 - init_std (
float
, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。 - decoder_start_token_id (
int
, 可选, 默认为 2) — 解码序列时解码器的初始 token ID。 - scale_embedding (
bool
, 可选, 默认为True
) — 嵌入是否按d_model
的平方根进行缩放。 - pad_token_id (
int
, 可选, 默认为 1) — 填充 token ID。 - bos_token_id (
int
, 可选, 默认为 0) — 序列开始 token 的 ID。 - eos_token_id (
int
, 可选, 默认为 2) — 序列结束 token 的 ID。 - max_source_positions (
int
, 可选, 默认为 6000) — 此模型可能使用的对数梅尔滤波器组特征的最大序列长度。 - max_target_positions (
int
, 可选, 默认为 1024) — 此模型可能使用的最大序列长度。通常,为以防万一设置为较大值(例如,512、1024 或 2048)。 - num_conv_layers (
int
, 可选, 默认为 2) — 卷积模块中一维卷积层的数量。 - conv_kernel_sizes (
tuple[int]
, 可选, 默认为(5, 5)
) — 定义卷积模块中每个一维卷积层核大小的整数元组。conv_kernel_sizes
的长度必须与num_conv_layers
匹配。 - conv_channels (
int
, 可选, 默认为 1024) — 定义卷积模块中除最后一层外每个卷积层的输出通道数的整数。 - input_feat_per_channel (
int
, 可选, 默认为 80) — 指定特征向量大小的整数。这也是对数梅尔滤波器组特征的维度。 - input_channels (
int
, 可选, 默认为 1) — 指定输入特征向量的输入通道数的整数。
这是用于存储 Speech2TextModel 配置的配置类。它用于根据指定的参数实例化 Speech2Text 模型,定义模型架构。使用默认值实例化配置将产生类似于 Speech2Text facebook/s2t-small-librispeech-asr 架构的配置。
配置对象继承自 PretrainedConfig,可用于控制模型输出。有关更多信息,请阅读 PretrainedConfig 的文档。
示例
>>> from transformers import Speech2TextConfig, Speech2TextModel
>>> # Initializing a Speech2Text s2t_transformer_s style configuration
>>> configuration = Speech2TextConfig()
>>> # Initializing a model (with random weights) from the s2t_transformer_s style configuration
>>> model = Speech2TextModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config
Speech2TextTokenizer
class transformers.Speech2TextTokenizer
< 源 >( vocab_file
spm_file
bos_token
= '<s>' eos_token
= '</s>' pad_token
= '<pad>' unk_token
= '<unk>' do_upper_case
= False do_lower_case
= False tgt_lang
= None lang_codes
= None additional_special_tokens
= None sp_model_kwargs
: typing.Optional[dict[str, typing.Any]] = None **kwargs
)
参数
- vocab_file (
str
) — 包含词汇表的文件。 - spm_file (
str
) — SentencePiece 模型文件的路径 - bos_token (
str
, 可选, 默认为"<s>"
) — 句子开始 token。 - eos_token (
str
, 可选, 默认为"</s>"
) — 句子结束 token。 - unk_token (
str
, 可选, 默认为"<unk>"
) — 未知 token。词汇表中不存在的 token 无法转换为 ID,而是设置为此 token。 - pad_token (
str
, 可选, 默认为"<pad>"
) — 用于填充的 token,例如在批处理不同长度的序列时。 - do_upper_case (
bool
, 可选, 默认为False
) — 解码时是否将输出转换为大写。 - do_lower_case (
bool
, 可选, 默认为False
) — 分词时是否将输入转换为小写。 - tgt_lang (
str
, 可选) — 表示目标语言的字符串。 - sp_model_kwargs (
dict
, 可选) — 将传递给SentencePieceProcessor.__init__()
方法。 SentencePiece 的 Python 封装 可用于设置以下内容:-
enable_sampling
: 启用子词正则化。 -
nbest_size
: Unigram 的采样参数。对于 BPE-Dropout 无效。nbest_size = {0,1}
: 不执行采样。nbest_size > 1
: 从 nbest_size 结果中采样。nbest_size < 0
: 假设 nbest_size 是无限的,并使用前向滤波和后向采样算法从所有假设(格子)中采样。
-
alpha
: Unigram 采样的平滑参数,以及 BPE-dropout 合并操作的 dropout 概率。
-
- **kwargs — 传递给 PreTrainedTokenizer 的其他关键字参数
构建 Speech2Text 分词器。
此分词器继承自 PreTrainedTokenizer,其中包含一些主要方法。用户应参阅此超类以获取有关此类方法的更多信息。
通过追加 eos_token_id 从序列构建模型输入。
get_special_tokens_mask
< 源 >( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None already_has_special_tokens: bool = False ) → list[int]
从没有添加特殊标记的标记列表中检索序列ID。此方法在使用分词器prepare_for_model
方法添加特殊标记时调用。
create_token_type_ids_from_sequences
< 源 >( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) → list[int]
创建与传入序列对应的标记类型 ID。什么是标记类型 ID?
如果模型有特殊的构建方式,应在子类中重写此方法。
Speech2TextFeatureExtractor
class transformers.Speech2TextFeatureExtractor
< 源 >( feature_size = 80 sampling_rate = 16000 num_mel_bins = 80 padding_value = 0.0 dither = 0.0 do_ceptral_normalize = True normalize_means = True normalize_vars = True **kwargs )
参数
- feature_size (
int
, 可选, 默认为 80) — 提取特征的特征维度。 - sampling_rate (
int
, 可选, 默认为 16000) — 音频文件数字化的采样率,以赫兹 (Hz) 表示。 - num_mel_bins (
int
, 可选, 默认为 80) — Mel 频率 bin 的数量。 - padding_value (
float
, 可选, 默认为 0.0) — 用于填充填充向量的值。 - dither (
float
, 可选, 默认为 0.0) — 添加抖动。换句话说,为每个帧添加一个小的高斯噪声。例如,使用 4.0 将抖动与以 0.0 为中心、标准差为 4.0 的正态分布(假设 kaldi 波形范围为 [-32k,+32k])添加到信号中。值 0.0 表示不抖动。抖动与mel_floor
具有类似的效果。当信号中存在 VAD 截止时,它会降低具有硬零部分的信号的高 log_mel_fbank 值。 - do_ceptral_normalize (
bool
, 可选, 默认为True
) — 是否对提取的特征应用语音级倒谱均值和方差归一化。 - normalize_means (
bool
, 可选, 默认为True
) — 是否对提取的特征进行零均值归一化。 - normalize_vars (
bool
, 可选, 默认为True
) — 是否对提取的特征进行单位方差归一化。
构建 Speech2Text 特征提取器。
此特征提取器继承自 Speech2TextFeatureExtractor,其中包含大部分主要方法。用户应参阅此超类以获取有关这些方法的更多信息。
此类别使用 TorchAudio(如果已安装)或 Numpy(否则)从原始语音中提取 Mel 滤波器组特征,并对提取的特征应用语音级倒谱均值和方差归一化。
__call__
< 源 >( raw_speech: typing.Union[numpy.ndarray, list[float], list[numpy.ndarray], list[list[float]]] padding: typing.Union[bool, str, transformers.utils.generic.PaddingStrategy] = False max_length: typing.Optional[int] = None truncation: bool = False pad_to_multiple_of: typing.Optional[int] = None return_tensors: typing.Union[str, transformers.utils.generic.TensorType, NoneType] = None sampling_rate: typing.Optional[int] = None return_attention_mask: typing.Optional[bool] = None **kwargs )
参数
- raw_speech (
np.ndarray
,list[float]
,list[np.ndarray]
,list[list[float]]
) — 要填充的序列或序列批次。每个序列可以是 numpy 数组、浮点值列表、numpy 数组列表或浮点值列表的列表。必须是单声道音频,而不是立体声,即每个时间步长一个浮点数。 - padding (
bool
,str
或 PaddingStrategy, 可选, 默认为True
) — 从以下策略中选择一种来填充返回的序列(根据模型的填充侧和填充索引):True
或'longest'
:填充到批次中最长的序列(如果只提供一个序列,则不填充)。'max_length'
:填充到由参数max_length
指定的最大长度,如果未提供该参数,则填充到模型可接受的最大输入长度。False
或'do_not_pad'
(默认):不填充(即可以输出具有不同长度序列的批次)。
- max_length (
int
, 可选) — 返回列表的最大长度和可选的填充长度(见上文)。 - truncation (
bool
) — 激活截断,将长于 max_length 的输入序列截断为 max_length。 - pad_to_multiple_of (
int
, 可选) — 如果设置,将序列填充为所提供值的倍数。这对于在计算能力
>= 7.5
(Volta) 的 NVIDIA 硬件上启用 Tensor Core 的使用特别有用,或者在 TPU 上,这些 TPU 受益于序列长度为 128 的倍数。 - return_attention_mask (
bool
, 可选) — 是否返回注意力掩码。如果保留默认值,将根据特定 feature_extractor 的默认值返回注意力掩码。对于 Speech2TextTransformer 模型,在批量推理时应始终传递
attention_mask
,以避免细微错误。 - return_tensors (
str
或 TensorType, 可选) — 如果设置,将返回张量而不是 Python 整数列表。可接受的值为:'tf'
:返回 TensorFlowtf.constant
对象。'pt'
:返回 PyTorchtorch.Tensor
对象。'np'
:返回 Numpynp.ndarray
对象。
- sampling_rate (
int
, 可选) —raw_speech
输入的采样率。强烈建议在转发调用时传递sampling_rate
以防止静默错误。 - padding_value (
float
, 可选, 默认为 0.0) — 用于填充填充值/向量的值。
对一个或多个序列进行特征化并为模型准备的主方法。
Speech2TextProcessor
class transformers.Speech2TextProcessor
< 源 >( feature_extractor tokenizer )
参数
- feature_extractor (
Speech2TextFeatureExtractor
) — Speech2TextFeatureExtractor 的实例。特征提取器是必需输入。 - tokenizer (
Speech2TextTokenizer
) — Speech2TextTokenizer 的实例。分词器是必需输入。
构建 Speech2Text 处理器,它将 Speech2Text 特征提取器和 Speech2Text 分词器封装到一个处理器中。
Speech2TextProcessor 提供了 Speech2TextFeatureExtractor 和 Speech2TextTokenizer 的所有功能。有关更多信息,请参阅 call() 和 decode() 的文档字符串。
在正常模式下使用时,此方法将其所有参数转发给 Speech2TextFeatureExtractor 的 call() 并返回其输出。如果在 as_target_processor()
上下文中使用,此方法将其所有参数转发给 Speech2TextTokenizer 的 call()。有关更多信息,请参阅上述两种方法的文档字符串。
from_pretrained
< 源 >( pretrained_model_name_or_path: typing.Union[str, os.PathLike] cache_dir: typing.Union[str, os.PathLike, NoneType] = None force_download: bool = False local_files_only: bool = False token: typing.Union[str, bool, NoneType] = None revision: str = 'main' **kwargs )
参数
- pretrained_model_name_or_path (
str
或os.PathLike
) — 这可以是以下之一:- 一个字符串,huggingface.co 上模型仓库中托管的预训练特征提取器的 模型 ID。
- 包含使用 save_pretrained() 方法保存的特征提取器文件的 目录 路径,例如
./my_model_directory/
。 - 已保存的特征提取器 JSON 文件 的路径或 URL,例如
./my_model_directory/preprocessor_config.json
。
- **kwargs — 额外关键字参数,同时传递给 from_pretrained() 和
~tokenization_utils_base.PreTrainedTokenizer.from_pretrained
。
实例化与预训练模型关联的处理器。
此类方法只是调用特征提取器 from_pretrained()、图像处理器 ImageProcessingMixin 和分词器 ~tokenization_utils_base.PreTrainedTokenizer.from_pretrained
方法。有关更多信息,请参阅上述方法的文档字符串。
save_pretrained
< 源 >( save_directory push_to_hub: bool = False **kwargs )
参数
- save_directory (
str
或os.PathLike
) — 特征提取器 JSON 文件和分词器文件将保存到的目录(如果目录不存在,则会创建)。 - push_to_hub (
bool
, 可选, 默认为False
) — 是否在保存模型后将其推送到 Hugging Face 模型中心。你可以使用repo_id
指定要推送到的仓库(默认为你命名空间中的save_directory
名称)。 - kwargs (
dict[str, Any]
, 可选) — 传递给 push_to_hub() 方法的额外关键字参数。
将此处理器的属性(特征提取器、分词器…)保存到指定目录,以便可以使用 from_pretrained() 方法重新加载。
此类别方法只是调用 save_pretrained() 和 save_pretrained()。有关更多信息,请参阅上述方法的文档字符串。
此方法将其所有参数转发给 Speech2TextTokenizer 的 batch_decode()。有关更多信息,请参阅此方法的文档字符串。
Speech2TextModel
class transformers.Speech2TextModel
< source >( config: Speech2TextConfig )
参数
- config (Speech2TextConfig) — 模型配置类,包含模型的所有参数。用配置文件初始化不会加载与模型相关的权重,只加载配置。请查看 from_pretrained() 方法来加载模型权重。
裸 Speech To Text 模型,直接输出原始隐藏状态,不带任何特定头部。
此模型继承自 PreTrainedModel。请查看超类文档,了解库为其所有模型实现的通用方法(如下载或保存、调整输入嵌入大小、修剪头部等)。
此模型也是 PyTorch torch.nn.Module 的子类。将其作为常规 PyTorch 模块使用,并参考 PyTorch 文档中所有与一般用法和行为相关的事项。
正向传播
< source >( input_features: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None decoder_input_ids: typing.Optional[torch.LongTensor] = None decoder_attention_mask: typing.Optional[torch.LongTensor] = None head_mask: typing.Optional[torch.Tensor] = None decoder_head_mask: typing.Optional[torch.Tensor] = None cross_attn_head_mask: typing.Optional[torch.Tensor] = None encoder_outputs: typing.Optional[tuple[tuple[torch.FloatTensor]]] = None past_key_values: typing.Optional[tuple[tuple[torch.FloatTensor]]] = None decoder_inputs_embeds: typing.Optional[torch.FloatTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.Seq2SeqLMOutput 或 tuple(torch.FloatTensor)
参数
- input_features (
torch.FloatTensor
,形状为(batch_size, sequence_length, feature_size)
) — 从原始语音波形中提取的 fbank 特征的浮点值。原始语音波形可以通过加载.flac
或.wav
音频文件到list[float]
类型数组或numpy.ndarray
(例如,通过 soundfile 库pip install soundfile
)获得。要将数组准备为input_features
,应使用 AutoFeatureExtractor 来提取 fbank 特征、填充并转换为torch.FloatTensor
类型的张量。参阅 call() - attention_mask (
torch.Tensor
,形状为(batch_size, sequence_length)
,可选) — 用于避免在填充标记索引上执行注意力操作的掩码。掩码值选择范围为[0, 1]
:- 1 表示标记未被掩码,
- 0 表示标记已被掩码。
- decoder_input_ids (
torch.LongTensor
,形状为(batch_size, target_sequence_length)
,可选) — 词汇表中解码器输入序列标记的索引。可以使用
SpeechToTextTokenizer
获取索引。有关详细信息,请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。SpeechToText 使用
eos_token_id
作为decoder_input_ids
生成的起始标记。如果使用past_key_values
,则可选地只需输入最后一个decoder_input_ids
(那些没有将其过去的键值状态提供给此模型的标记)(请参阅past_key_values
)。 - decoder_attention_mask (
torch.LongTensor
,形状为(batch_size, target_sequence_length)
,可选) — 默认行为:生成一个忽略decoder_input_ids
中填充标记的张量。默认情况下也会使用因果掩码。如果您想更改填充行为,应阅读
modeling_speech_to_text._prepare_decoder_attention_mask
并根据您的需要进行修改。有关默认策略的更多信息,请参阅 论文 中的图 1。 - head_mask (
torch.Tensor
,形状为(num_heads,)
或(num_layers, num_heads)
,可选) — 用于使自注意力模块中的选定头部无效的掩码。掩码值选择范围为[0, 1]
:- 1 表示头部未被掩码,
- 0 表示头部已被掩码。
- decoder_head_mask (
torch.Tensor
,形状为(decoder_layers, decoder_attention_heads)
,可选) — 用于使解码器中注意力模块的选定头部无效的掩码。掩码值选择范围为[0, 1]
:- 1 表示头部未被掩码,
- 0 表示头部已被掩码。
- cross_attn_head_mask (
torch.Tensor
,形状为(decoder_layers, decoder_attention_heads)
,可选) — 用于使交叉注意力模块的选定头部无效的掩码。掩码值选择范围为[0, 1]
:- 1 表示头部未被掩码,
- 0 表示头部已被掩码。
- encoder_outputs (
tuple[tuple[torch.FloatTensor]]
,可选) — 元组包含 (last_hidden_state
, 可选:hidden_states
, 可选:attentions
)last_hidden_state
的形状为(batch_size, sequence_length, hidden_size)
,可选) 是编码器最后一层输出的隐藏状态序列。在解码器的交叉注意力中会使用。 - past_key_values (
tuple[tuple[torch.FloatTensor]]
, 可选) — 预先计算的隐藏状态(自注意力块和交叉注意力块中的键和值),可用于加速顺序解码。这通常包括模型在先前解码阶段返回的past_key_values
,当use_cache=True
或config.use_cache=True
时。允许两种格式:
- 一个 Cache 实例,请参阅我们的 kv 缓存指南;
- 长度为
config.n_layers
的tuple(torch.FloatTensor)
元组,每个元组包含 2 个形状为(batch_size, num_heads, sequence_length, embed_size_per_head)
的张量。这也被称为传统缓存格式。
模型将输出与输入相同的缓存格式。如果没有传入
past_key_values
,将返回传统缓存格式。如果使用
past_key_values
,用户可以选择只输入形状为(batch_size, 1)
的最后一个input_ids
(那些没有将过去的键值状态提供给此模型的标记),而不是形状为(batch_size, sequence_length)
的所有input_ids
。 - decoder_inputs_embeds (
torch.FloatTensor
,形状为(batch_size, target_sequence_length, hidden_size)
,可选) — 可选地,除了传递decoder_input_ids
,您还可以选择直接传递嵌入表示。如果使用past_key_values
,可选地只需输入最后一个decoder_inputs_embeds
(请参阅past_key_values
)。如果您希望对decoder_input_ids
索引如何转换为相关向量有比模型内部嵌入查找矩阵更多的控制,这会很有用。如果
decoder_input_ids
和decoder_inputs_embeds
都未设置,decoder_inputs_embeds
将取inputs_embeds
的值。 - use_cache (
bool
, 可选) — 如果设置为True
,将返回past_key_values
键值状态,可用于加速解码(参阅past_key_values
)。 - output_attentions (
bool
, 可选) — 是否返回所有注意力层的注意力张量。更多详情请参阅返回张量下的attentions
。 - output_hidden_states (
bool
, 可选) — 是否返回所有层的隐藏状态。更多详情请参阅返回张量下的hidden_states
。 - return_dict (
bool
, 可选) — 是否返回 ModelOutput 而不是普通元组。
返回
transformers.modeling_outputs.Seq2SeqLMOutput 或 tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.Seq2SeqLMOutput 或一个 torch.FloatTensor
元组(如果传递 return_dict=False
或 config.return_dict=False
),包含根据配置 (Speech2TextConfig) 和输入的不同元素。
-
loss (
torch.FloatTensor
,形状为(1,)
,可选,当提供labels
时返回) — 语言建模损失。 -
logits (形状为
(batch_size, sequence_length, config.vocab_size)
的torch.FloatTensor
) — 语言建模头部的预测分数(SoftMax 之前的每个词汇标记的分数)。 -
past_key_values (
EncoderDecoderCache
, 可选, 当传入use_cache=True
或config.use_cache=True
时返回) — 它是一个 EncoderDecoderCache 实例。更多详情,请参阅我们的 kv 缓存指南。包含预先计算的隐藏状态(自注意力块和交叉注意力块中的键和值),可用于(参见
past_key_values
输入)加速顺序解码。 -
decoder_hidden_states (
tuple(torch.FloatTensor)
, 可选, 当传入output_hidden_states=True
或config.output_hidden_states=True
时返回) —torch.FloatTensor
元组(如果模型有嵌入层,则为嵌入层输出一个,每层输出一个)的形状为(batch_size, sequence_length, hidden_size)
。解码器在每一层输出时的隐藏状态以及初始嵌入输出。
-
decoder_attentions (
tuple(torch.FloatTensor)
, 可选, 当传入output_attentions=True
或config.output_attentions=True
时返回) —torch.FloatTensor
元组(每层一个)的形状为(batch_size, num_heads, sequence_length, sequence_length)
。解码器的注意力权重,在注意力 softmax 之后,用于计算自注意力头中的加权平均。
-
cross_attentions (
tuple(torch.FloatTensor)
, 可选, 当传入output_attentions=True
或config.output_attentions=True
时返回) —torch.FloatTensor
元组(每层一个)的形状为(batch_size, num_heads, sequence_length, sequence_length)
。解码器交叉注意力层的注意力权重,在注意力 softmax 之后,用于计算交叉注意力头中的加权平均。
-
encoder_last_hidden_state (
torch.FloatTensor
,形状为(batch_size, sequence_length, hidden_size)
,可选) — 模型编码器最后一层输出的隐藏状态序列。 -
encoder_hidden_states (
tuple(torch.FloatTensor)
, 可选, 当传入output_hidden_states=True
或config.output_hidden_states=True
时返回) —torch.FloatTensor
元组(如果模型有嵌入层,则为嵌入层输出一个,每层输出一个)的形状为(batch_size, sequence_length, hidden_size)
。编码器在每一层输出时的隐藏状态以及初始嵌入输出。
-
encoder_attentions (
tuple(torch.FloatTensor)
, 可选, 当传入output_attentions=True
或config.output_attentions=True
时返回) —torch.FloatTensor
元组(每层一个)的形状为(batch_size, num_heads, sequence_length, sequence_length)
。编码器的注意力权重,在注意力 softmax 之后,用于计算自注意力头中的加权平均。
Speech2TextModel 的正向传播方法,重写了 __call__
特殊方法。
虽然正向传播的实现需要在函数内部定义,但之后应该调用 Module
实例而不是这个函数,因为前者会处理预处理和后处理步骤,而后者会默默忽略它们。
示例
>>> import torch
>>> from transformers import Speech2TextModel, AutoFeatureExtractor
>>> from datasets import load_dataset
>>> model = Speech2TextModel.from_pretrained("facebook/s2t-small-librispeech-asr")
>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/s2t-small-librispeech-asr")
>>> ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> inputs = feature_extractor(
... ds[0]["audio"]["array"], sampling_rate=ds[0]["audio"]["sampling_rate"], return_tensors="pt"
... )
>>> input_features = inputs.input_features
>>> decoder_input_ids = torch.tensor([[1, 1]]) * model.config.decoder_start_token_id
>>> last_hidden_state = model(input_features, decoder_input_ids=decoder_input_ids).last_hidden_state
>>> list(last_hidden_state.shape)
[1, 2, 256]
Speech2TextForConditionalGeneration
类 transformers.Speech2TextForConditionalGeneration
< source >( config: Speech2TextConfig )
参数
- config (Speech2TextConfig) — 模型配置类,包含模型的所有参数。用配置文件初始化不会加载与模型相关的权重,只加载配置。请查看 from_pretrained() 方法来加载模型权重。
带有语言建模头的 Speech2Text 模型。可用于文本摘要。
此模型继承自 PreTrainedModel。请查看超类文档,了解库为其所有模型实现的通用方法(如下载或保存、调整输入嵌入大小、修剪头部等)。
此模型也是 PyTorch torch.nn.Module 的子类。将其作为常规 PyTorch 模块使用,并参考 PyTorch 文档中所有与一般用法和行为相关的事项。
正向传播
< source >( input_features: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None decoder_input_ids: typing.Optional[torch.LongTensor] = None decoder_attention_mask: typing.Optional[torch.LongTensor] = None head_mask: typing.Optional[torch.Tensor] = None decoder_head_mask: typing.Optional[torch.Tensor] = None cross_attn_head_mask: typing.Optional[torch.Tensor] = None encoder_outputs: typing.Optional[tuple[tuple[torch.FloatTensor]]] = None past_key_values: typing.Optional[tuple[tuple[torch.FloatTensor]]] = None decoder_inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.Seq2SeqLMOutput 或 tuple(torch.FloatTensor)
参数
- input_features (
torch.FloatTensor
,形状为(batch_size, sequence_length, feature_size)
) — 从原始语音波形中提取的 fbank 特征的浮点值。原始语音波形可以通过加载.flac
或.wav
音频文件到list[float]
类型数组或numpy.ndarray
(例如,通过 soundfile 库pip install soundfile
)获得。要将数组准备为input_features
,应使用 AutoFeatureExtractor 来提取 fbank 特征、填充并转换为torch.FloatTensor
类型的张量。参阅 call() - attention_mask (
torch.Tensor
,形状为(batch_size, sequence_length)
,可选) — 用于避免在填充标记索引上执行注意力操作的掩码。掩码值选择范围为[0, 1]
:- 1 表示标记未被掩码,
- 0 表示标记已被掩码。
- decoder_input_ids (
torch.LongTensor
,形状为(batch_size, target_sequence_length)
,可选) — 词汇表中解码器输入序列标记的索引。可以使用
SpeechToTextTokenizer
获取索引。有关详细信息,请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。SpeechToText 使用
eos_token_id
作为decoder_input_ids
生成的起始标记。如果使用past_key_values
,则可选地只需输入最后一个decoder_input_ids
(那些没有将其过去的键值状态提供给此模型的标记)(请参阅past_key_values
)。 - decoder_attention_mask (
torch.LongTensor
,形状为(batch_size, target_sequence_length)
,可选) — 默认行为:生成一个忽略decoder_input_ids
中填充标记的张量。默认情况下也会使用因果掩码。如果您想更改填充行为,应阅读
modeling_speech_to_text._prepare_decoder_attention_mask
并根据您的需要进行修改。有关默认策略的更多信息,请参阅 论文 中的图 1。 - head_mask (
torch.Tensor
,形状为(num_heads,)
或(num_layers, num_heads)
,可选) — 用于使自注意力模块中的选定头部无效的掩码。掩码值选择范围为[0, 1]
:- 1 表示头部未被掩码,
- 0 表示头部已被掩码。
- decoder_head_mask (
torch.Tensor
,形状为(decoder_layers, decoder_attention_heads)
,可选) — 用于使解码器中注意力模块的选定头部无效的掩码。掩码值选择范围为[0, 1]
:- 1 表示头部未被掩码,
- 0 表示头部已被掩码。
- cross_attn_head_mask (
torch.Tensor
,形状为(decoder_layers, decoder_attention_heads)
,可选) — 用于使交叉注意力模块的选定头部无效的掩码。掩码值选择范围为[0, 1]
:- 1 表示头部未被掩码,
- 0 表示头部已被掩码。
- encoder_outputs (
tuple[tuple[torch.FloatTensor]]
, 可选) — 元组包含 (last_hidden_state
, 可选:hidden_states
, 可选:attentions
)last_hidden_state
的形状为(batch_size, sequence_length, hidden_size)
,可选) 是编码器最后一层输出的隐藏状态序列。在解码器的交叉注意力中会使用。 - past_key_values (
tuple[tuple[torch.FloatTensor]]
, 可选) — 预先计算的隐藏状态(自注意力块和交叉注意力块中的键和值),可用于加速顺序解码。这通常包括模型在先前解码阶段返回的past_key_values
,当use_cache=True
或config.use_cache=True
时。允许两种格式:
- 一个 Cache 实例,请参阅我们的 kv 缓存指南;
- 长度为
config.n_layers
的tuple(torch.FloatTensor)
元组,每个元组包含 2 个形状为(batch_size, num_heads, sequence_length, embed_size_per_head)
的张量。这也被称为传统缓存格式。
模型将输出与输入相同的缓存格式。如果没有传入
past_key_values
,将返回传统缓存格式。如果使用
past_key_values
,用户可以选择只输入形状为(batch_size, 1)
的最后一个input_ids
(那些没有将过去的键值状态提供给此模型的标记),而不是形状为(batch_size, sequence_length)
的所有input_ids
。 - decoder_inputs_embeds (
torch.FloatTensor
,形状为(batch_size, target_sequence_length, hidden_size)
,可选) — 可选地,除了传递decoder_input_ids
,您还可以选择直接传递嵌入表示。如果使用past_key_values
,可选地只需输入最后一个decoder_inputs_embeds
(请参阅past_key_values
)。如果您希望对decoder_input_ids
索引如何转换为相关向量有比模型内部嵌入查找矩阵更多的控制,这会很有用。如果
decoder_input_ids
和decoder_inputs_embeds
都未设置,decoder_inputs_embeds
将取inputs_embeds
的值。 - labels (
torch.LongTensor
,形状为(batch_size, sequence_length)
,可选) — 用于计算语言建模损失的标签。索引应在[0, ..., config.vocab_size]
或 -100 之间(参阅input_ids
文档字符串)。索引设置为-100
的标记将被忽略(掩码),损失只针对标签在[0, ..., config.vocab_size]
之间的标记计算。 - use_cache (
bool
, 可选) — 如果设置为True
,将返回past_key_values
键值状态,可用于加速解码(参阅past_key_values
)。 - output_attentions (
bool
, 可选) — 是否返回所有注意力层的注意力张量。更多详情请参阅返回张量下的attentions
。 - output_hidden_states (
bool
, 可选) — 是否返回所有层的隐藏状态。更多详情请参阅返回张量下的hidden_states
。 - return_dict (
bool
, 可选) — 是否返回 ModelOutput 而不是普通元组。
返回
transformers.modeling_outputs.Seq2SeqLMOutput 或 tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.Seq2SeqLMOutput 或一个 torch.FloatTensor
元组(如果传递 return_dict=False
或 config.return_dict=False
),包含根据配置 (Speech2TextConfig) 和输入的不同元素。
-
loss (
torch.FloatTensor
,形状为(1,)
,可选,当提供labels
时返回) — 语言建模损失。 -
logits (形状为
(batch_size, sequence_length, config.vocab_size)
的torch.FloatTensor
) — 语言建模头部的预测分数(SoftMax 之前的每个词汇标记的分数)。 -
past_key_values (
EncoderDecoderCache
, 可选, 当传入use_cache=True
或config.use_cache=True
时返回) — 它是一个 EncoderDecoderCache 实例。更多详情,请参阅我们的 kv 缓存指南。包含预先计算的隐藏状态(自注意力块和交叉注意力块中的键和值),可用于(参见
past_key_values
输入)加速顺序解码。 -
decoder_hidden_states (
tuple(torch.FloatTensor)
, 可选, 当传入output_hidden_states=True
或config.output_hidden_states=True
时返回) —torch.FloatTensor
元组(如果模型有嵌入层,则为嵌入层输出一个,每层输出一个)的形状为(batch_size, sequence_length, hidden_size)
。解码器在每一层输出时的隐藏状态以及初始嵌入输出。
-
decoder_attentions (
tuple(torch.FloatTensor)
, 可选, 当传入output_attentions=True
或config.output_attentions=True
时返回) —torch.FloatTensor
元组(每层一个)的形状为(batch_size, num_heads, sequence_length, sequence_length)
。解码器的注意力权重,在注意力 softmax 之后,用于计算自注意力头中的加权平均。
-
cross_attentions (
tuple(torch.FloatTensor)
, 可选, 当传入output_attentions=True
或config.output_attentions=True
时返回) —torch.FloatTensor
元组(每层一个)的形状为(batch_size, num_heads, sequence_length, sequence_length)
。解码器交叉注意力层的注意力权重,在注意力 softmax 之后,用于计算交叉注意力头中的加权平均。
-
encoder_last_hidden_state (
torch.FloatTensor
,形状为(batch_size, sequence_length, hidden_size)
,可选) — 模型编码器最后一层输出的隐藏状态序列。 -
encoder_hidden_states (
tuple(torch.FloatTensor)
, 可选, 当传入output_hidden_states=True
或config.output_hidden_states=True
时返回) —torch.FloatTensor
元组(如果模型有嵌入层,则为嵌入层输出一个,每层输出一个)的形状为(batch_size, sequence_length, hidden_size)
。编码器在每一层输出时的隐藏状态以及初始嵌入输出。
-
encoder_attentions (
tuple(torch.FloatTensor)
, 可选, 当传入output_attentions=True
或config.output_attentions=True
时返回) —torch.FloatTensor
元组(每层一个)的形状为(batch_size, num_heads, sequence_length, sequence_length)
。编码器的注意力权重,在注意力 softmax 之后,用于计算自注意力头中的加权平均。
Speech2TextForConditionalGeneration 的正向传播方法,重写了 __call__
特殊方法。
虽然正向传播的实现需要在函数内部定义,但之后应该调用 Module
实例而不是这个函数,因为前者会处理预处理和后处理步骤,而后者会默默忽略它们。
示例
>>> import torch
>>> from transformers import Speech2TextProcessor, Speech2TextForConditionalGeneration
>>> from datasets import load_dataset
>>> model = Speech2TextForConditionalGeneration.from_pretrained("facebook/s2t-small-librispeech-asr")
>>> processor = Speech2TextProcessor.from_pretrained("facebook/s2t-small-librispeech-asr")
>>> ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> inputs = processor(
... ds[0]["audio"]["array"], sampling_rate=ds[0]["audio"]["sampling_rate"], return_tensors="pt"
... )
>>> input_features = inputs.input_features
>>> generated_ids = model.generate(inputs=input_features)
>>> transcription = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
>>> transcription
'mister quilter is the apostle of the middle classes and we are glad to welcome his gospel'
TFSpeech2TextModel
类 transformers.TFSpeech2TextModel
< source >( config: Speech2TextConfig *inputs **kwargs )
参数
- config (Speech2TextConfig) — 模型配置类,包含模型的所有参数。用配置文件初始化不会加载与模型相关的权重,只加载配置。请查看 from_pretrained() 方法来加载模型权重。
输出原始隐藏状态的Speech2Text基本模型,其上没有任何特定的头部。此模型继承自TFPreTrainedModel。查阅超类文档,了解库为其所有模型实现的通用方法(例如下载或保存、调整输入嵌入大小、修剪头部等)。
此模型也是keras.Model的子类。将其用作常规的TF 2.0 Keras模型,并查阅TF 2.0文档以了解所有与一般用法和行为相关的事项。
transformers
中的 TensorFlow 模型和层接受两种输入格式
- 所有输入作为关键字参数(如 PyTorch 模型),或
- 所有输入作为第一个位置参数中的列表、元组或字典。
支持第二种格式的原因是,Keras方法在将输入传递给模型和层时更喜欢这种格式。由于这种支持,当使用model.fit()
等方法时,对你来说事情应该“自然而然地”进行——只需以model.fit()
支持的任何格式传递你的输入和标签即可!但是,如果你想在Keras方法(如fit()
和predict()
)之外使用第二种格式,例如在使用Keras Functional
API创建自己的层或模型时,你可以使用三种可能性来收集第一个位置参数中的所有输入张量。
- 只有一个
input_ids
的单个张量,没有其他:model(input_ids)
- 长度可变的列表,包含一个或多个输入张量,按文档字符串中给出的顺序:
model([input_ids, attention_mask])
或model([input_ids, attention_mask, token_type_ids])
- 一个字典,其中包含一个或多个与文档字符串中给出的输入名称关联的输入张量:
model({"input_ids": input_ids, "token_type_ids": token_type_ids})
请注意,在使用子类化创建模型和层时,你无需担心这些,因为你可以像对任何其他Python函数一样传递输入!
调用
< source >( input_features: TFModelInputType | None = None attention_mask: np.ndarray | tf.Tensor | None = None decoder_input_ids: np.ndarray | tf.Tensor | None = None decoder_attention_mask: np.ndarray | tf.Tensor | None = None head_mask: np.ndarray | tf.Tensor | None = None decoder_head_mask: np.ndarray | tf.Tensor | None = None cross_attn_head_mask: np.ndarray | tf.Tensor | None = None encoder_outputs: np.ndarray | tf.Tensor | None = None past_key_values: Optional[tuple[tuple[Union[np.ndarray, tf.Tensor]]]] = None decoder_inputs_embeds: np.ndarray | tf.Tensor | None = None use_cache: Optional[bool] = None output_attentions: Optional[bool] = None output_hidden_states: Optional[bool] = None return_dict: Optional[bool] = None training: bool = False **kwargs ) → transformers.modeling_tf_outputs.TFSeq2SeqModelOutput or tuple(tf.Tensor)
参数
- input_features (
tf.Tensor
,形状为(batch_size, sequence_length, feature_size)
) — 从原始语音波形中提取的fbank特征的浮点值。原始语音波形可以通过将.flac
或.wav
音频文件加载到list[float]
类型或numpy.ndarray
的数组中来获取,例如通过soundfile库(pip install soundfile
)。要将数组准备成input_features
,应使用AutoFeatureExtractor来提取fbank特征、填充并转换为浮点张量。请参阅call() - attention_mask (
tf.Tensor
,形状为({0})
,可选) — 用于避免对填充标记索引执行注意力操作的掩码。掩码值选择范围为[0, 1]
:- 1表示标记未被掩盖,
- 0表示标记被掩盖。
- decoder_input_ids (
tf.Tensor
,形状为(batch_size, target_sequence_length)
,可选) — 解码器输入序列标记在词汇表中的索引。可以使用Speech2TextTokenizer获取索引。有关详细信息,请参阅PreTrainedTokenizer.encode()和PreTrainedTokenizer.call()。
SpeechToText使用
eos_token_id
作为decoder_input_ids
生成的起始标记。如果使用了past_key_values
,则可选地只需输入最后一段decoder_input_ids
(即模型未提供其过去键值状态的部分),其形状为(batch_size, 1)
,而不是所有decoder_input_ids
(其形状为(batch_size, sequence_length)
)。对于翻译和摘要训练,应提供
decoder_input_ids
。如果没有提供decoder_input_ids
,模型将通过将input_ids
右移来创建此张量,以遵循论文进行去噪预训练。 - decoder_attention_mask (
tf.Tensor
,形状为(batch_size, target_sequence_length)
,可选) — 默认情况下会创建,并忽略填充标记。在大多数使用场景下不建议设置此参数。 - head_mask (
tf.Tensor
,形状为(encoder_layers, encoder_attention_heads)
,可选) — 用于使编码器中注意力模块的选定头部无效的掩码。掩码值选择范围为[0, 1]
:- 1表示头部未被掩盖,
- 0表示头部被掩盖。
- decoder_head_mask (
tf.Tensor
,形状为(decoder_layers, decoder_attention_heads)
,可选) — 用于使解码器中注意力模块的选定头部无效的掩码。掩码值选择范围为[0, 1]
:- 1表示头部未被掩盖,
- 0表示头部被掩盖。
- cross_attn_head_mask (
tf.Tensor
,形状为(decoder_layers, decoder_attention_heads)
,可选) — 用于使交叉注意力模块的选定头部无效的掩码。掩码值选择范围为[0, 1]
:- 1表示头部未被掩盖,
- 0表示头部被掩盖。
- encoder_outputs (
tf.FloatTensor
,可选) — 编码器最后一层输出的隐藏状态。在解码器的交叉注意力中使用的形状为(batch_size, sequence_length, hidden_size)
的序列。 - past_key_values (
tuple[tuple[tf.Tensor]]
,长度为config.n_layers
) — 包含预计算的注意力块的键和值隐藏状态。可用于加速解码。如果使用past_key_values
,用户可以选择仅输入最后一个decoder_input_ids
(那些没有将其过去的键值状态提供给此模型的),其形状为(batch_size, 1)
,而不是所有decoder_input_ids
(其形状为(batch_size, sequence_length)
)。 - decoder_inputs_embeds (
tf.FloatTensor
,形状为(batch_size, target_sequence_length, hidden_size)
,可选) — 可选地,你可以选择直接传递嵌入表示,而不是传递decoder_input_ids
。如果使用past_key_values
,可选地只需输入最后一个decoder_inputs_embeds
(参见past_key_values
)。这对于你希望对如何将decoder_input_ids
索引转换为相关向量具有比模型内部嵌入查找矩阵更多控制时非常有用。 - use_cache (
bool
,可选) — 如果设置为True
,则返回past_key_values
键值状态,可用于加速解码(参见past_key_values
)。 - output_attentions (
bool
,可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息,请参阅返回张量中的attentions
。此参数只能在即时模式下使用,在图模式下将使用配置中的值。 - output_hidden_states (
bool
,可选) — 是否返回所有层的隐藏状态。有关更多详细信息,请参阅返回张量中的hidden_states
。此参数只能在即时模式下使用,在图模式下将使用配置中的值。 - return_dict (
bool
,可选) — 是否返回ModelOutput而不是普通的元组。此参数可在即时模式下使用,在图模式下此值将始终设置为True。 - training (
bool
,可选,默认为False
) — 是否在训练模式下使用模型(某些模块如dropout模块在训练和评估之间有不同的行为)。
返回
transformers.modeling_tf_outputs.TFSeq2SeqModelOutput 或 tuple(tf.Tensor)
一个transformers.modeling_tf_outputs.TFSeq2SeqModelOutput或者一个tf.Tensor
的元组(如果传递了return_dict=False
或者当config.return_dict=False
时),包含根据配置(Speech2TextConfig)和输入的不同元素。
-
last_hidden_state (形状为
(batch_size, sequence_length, hidden_size)
的tf.Tensor
) — 模型解码器最后一层输出的隐藏状态序列。如果使用了
past_key_values
,则只输出形状为(batch_size, 1, hidden_size)
的序列的最后一个隐藏状态。 -
past_key_values (
list[tf.Tensor]
,可选,当传递use_cache=True
或当config.use_cache=True
时返回) — 长度为config.n_layers
的tf.Tensor
列表,每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)
)。包含解码器注意力块的预计算隐藏状态(键和值),可用于(参见
past_key_values
输入)加速顺序解码。 -
decoder_hidden_states (
tuple(tf.Tensor)
,可选,当传递output_hidden_states=True
或当config.output_hidden_states=True
时返回) —tf.Tensor
元组(一个用于嵌入输出 + 一个用于每层输出),形状为(batch_size, sequence_length, hidden_size)
。解码器在每一层输出时的隐藏状态以及初始嵌入输出。
-
decoder_attentions (
tuple(tf.Tensor)
,可选,当传递output_attentions=True
或当config.output_attentions=True
时返回) —tf.Tensor
元组(每层一个),形状为(batch_size, num_heads, sequence_length, sequence_length)
。解码器的注意力权重,在注意力 softmax 之后,用于计算自注意力头中的加权平均。
-
cross_attentions (
tuple(tf.Tensor)
,可选,当传递output_attentions=True
或当config.output_attentions=True
时返回) —tf.Tensor
元组(每层一个),形状为(batch_size, num_heads, sequence_length, sequence_length)
。解码器交叉注意力层的注意力权重,在注意力 softmax 之后,用于计算交叉注意力头中的加权平均。
-
encoder_last_hidden_state (形状为
(batch_size, sequence_length, hidden_size)
的tf.Tensor
, 可选) — 模型编码器最后一层输出的隐藏状态序列。 -
encoder_hidden_states (
tuple(tf.Tensor)
,可选,当传递output_hidden_states=True
或当config.output_hidden_states=True
时返回) —tf.Tensor
元组(一个用于嵌入输出 + 一个用于每层输出),形状为(batch_size, sequence_length, hidden_size)
。编码器在每一层输出时的隐藏状态以及初始嵌入输出。
-
encoder_attentions (
tuple(tf.Tensor)
,可选,当传递output_attentions=True
或当config.output_attentions=True
时返回) —tf.Tensor
元组(每层一个),形状为(batch_size, num_heads, sequence_length, sequence_length)
。编码器的注意力权重,在注意力 softmax 之后,用于计算自注意力头中的加权平均。
TFSpeech2TextModel的forward方法,覆盖了__call__
特殊方法。
虽然正向传播的实现需要在函数内部定义,但之后应该调用 Module
实例而不是这个函数,因为前者会处理预处理和后处理步骤,而后者会默默忽略它们。
示例
>>> from transformers import AutoTokenizer, TFSpeech2TextModel
>>> import tensorflow as tf
>>> tokenizer = AutoTokenizer.from_pretrained("facebook/s2t-small-librispeech-asr")
>>> model = TFSpeech2TextModel.from_pretrained("facebook/s2t-small-librispeech-asr")
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="tf")
>>> outputs = model(inputs)
>>> last_hidden_states = outputs.last_hidden_state
TFSpeech2TextForConditionalGeneration
class transformers.TFSpeech2TextForConditionalGeneration
< source >( config: Speech2TextConfig )
参数
- config (Speech2TextConfig) — 模型配置类,包含模型的所有参数。使用配置文件初始化并不会加载与模型相关的权重,只加载配置。请查阅from_pretrained()方法以加载模型权重。
带有语言建模头的Speech2Text模型。可用于摘要。此模型继承自TFPreTrainedModel。请查阅超类文档,了解库为其所有模型实现的通用方法(例如下载或保存、调整输入嵌入大小、修剪头部等)。
此模型也是keras.Model的子类。将其用作常规的TF 2.0 Keras模型,并查阅TF 2.0文档以了解所有与一般用法和行为相关的事项。
transformers
中的 TensorFlow 模型和层接受两种输入格式
- 所有输入作为关键字参数(如 PyTorch 模型),或
- 所有输入作为第一个位置参数中的列表、元组或字典。
支持第二种格式的原因是,Keras方法在将输入传递给模型和层时更喜欢这种格式。由于这种支持,当使用model.fit()
等方法时,对你来说事情应该“自然而然地”进行——只需以model.fit()
支持的任何格式传递你的输入和标签即可!但是,如果你想在Keras方法(如fit()
和predict()
)之外使用第二种格式,例如在使用Keras Functional
API创建自己的层或模型时,你可以使用三种可能性来收集第一个位置参数中的所有输入张量。
- 只有一个
input_ids
的单个张量,没有其他:model(input_ids)
- 长度可变的列表,包含一个或多个输入张量,按文档字符串中给出的顺序:
model([input_ids, attention_mask])
或model([input_ids, attention_mask, token_type_ids])
- 一个字典,其中包含一个或多个与文档字符串中给出的输入名称关联的输入张量:
model({"input_ids": input_ids, "token_type_ids": token_type_ids})
请注意,在使用子类化创建模型和层时,你无需担心这些,因为你可以像对任何其他Python函数一样传递输入!
调用
< source >( input_features: TFModelInputType | None = None attention_mask: np.ndarray | tf.Tensor | None = None decoder_input_ids: np.ndarray | tf.Tensor | None = None decoder_attention_mask: np.ndarray | tf.Tensor | None = None head_mask: np.ndarray | tf.Tensor | None = None decoder_head_mask: np.ndarray | tf.Tensor | None = None cross_attn_head_mask: np.ndarray | tf.Tensor | None = None encoder_outputs: np.ndarray | tf.Tensor | None = None past_key_values: Optional[tuple[tuple[Union[np.ndarray, tf.Tensor]]]] = None decoder_inputs_embeds: np.ndarray | tf.Tensor | None = None labels: np.ndarray | tf.Tensor | None = None use_cache: Optional[bool] = None output_attentions: Optional[bool] = None output_hidden_states: Optional[bool] = None return_dict: Optional[bool] = None training: Optional[bool] = False **kwargs ) → transformers.modeling_tf_outputs.TFSeq2SeqLMOutput or tuple(tf.Tensor)
参数
- input_features (
tf.Tensor
,形状为(batch_size, sequence_length, feature_size)
) — 从原始语音波形中提取的fbank特征的浮点值。原始语音波形可以通过将.flac
或.wav
音频文件加载到list[float]
类型或numpy.ndarray
的数组中来获取,例如通过soundfile库(pip install soundfile
)。要将数组准备成input_features
,应使用AutoFeatureExtractor来提取fbank特征、填充并转换为浮点张量。请参阅call() - attention_mask (
tf.Tensor
,形状为({0})
,可选) — 用于避免对填充标记索引执行注意力操作的掩码。掩码值选择范围为[0, 1]
:- 1表示标记未被掩盖,
- 0表示标记被掩盖。
- decoder_input_ids (
tf.Tensor
,形状为(batch_size, target_sequence_length)
,可选) — 解码器输入序列标记在词汇表中的索引。可以使用Speech2TextTokenizer获取索引。有关详细信息,请参阅PreTrainedTokenizer.encode()和PreTrainedTokenizer.call()。
SpeechToText使用
eos_token_id
作为decoder_input_ids
生成的起始标记。如果使用了past_key_values
,则可选地只需输入最后一段decoder_input_ids
(即模型未提供其过去键值状态的部分),其形状为(batch_size, 1)
,而不是所有decoder_input_ids
(其形状为(batch_size, sequence_length)
)。对于翻译和摘要训练,应提供
decoder_input_ids
。如果没有提供decoder_input_ids
,模型将通过将input_ids
右移来创建此张量,以遵循论文进行去噪预训练。 - decoder_attention_mask (
tf.Tensor
,形状为(batch_size, target_sequence_length)
,可选) — 默认情况下会创建,并忽略填充标记。在大多数使用场景下不建议设置此参数。 - head_mask (
tf.Tensor
,形状为(encoder_layers, encoder_attention_heads)
,可选) — 用于使编码器中注意力模块的选定头部无效的掩码。掩码值选择范围为[0, 1]
:- 1表示头部未被掩盖,
- 0表示头部被掩盖。
- decoder_head_mask (
tf.Tensor
,形状为(decoder_layers, decoder_attention_heads)
,可选) — 用于使解码器中注意力模块的选定头部无效的掩码。掩码值选择范围为[0, 1]
:- 1表示头部未被掩盖,
- 0表示头部被掩盖。
- cross_attn_head_mask (
tf.Tensor
,形状为(decoder_layers, decoder_attention_heads)
,可选) — 用于使交叉注意力模块的选定头部无效的掩码。掩码值选择范围为[0, 1]
:- 1表示头部未被掩盖,
- 0表示头部被掩盖。
- encoder_outputs (
tf.FloatTensor
,可选) — 编码器最后一层输出的隐藏状态。在解码器的交叉注意力中使用的形状为(batch_size, sequence_length, hidden_size)
的序列。 - past_key_values (
tuple[tuple[tf.Tensor]]
,长度为config.n_layers
) — 包含预计算的注意力块的键和值隐藏状态。可用于加速解码。如果使用past_key_values
,用户可以选择仅输入最后一个decoder_input_ids
(那些没有将其过去的键值状态提供给此模型的),其形状为(batch_size, 1)
,而不是所有decoder_input_ids
(其形状为(batch_size, sequence_length)
)。 - decoder_inputs_embeds (
tf.FloatTensor
,形状为(batch_size, target_sequence_length, hidden_size)
,可选) — 可选地,你可以选择直接传递嵌入表示,而不是传递decoder_input_ids
。如果使用past_key_values
,可选地只需输入最后一个decoder_inputs_embeds
(参见past_key_values
)。这对于你希望对如何将decoder_input_ids
索引转换为相关向量具有比模型内部嵌入查找矩阵更多控制时非常有用。 - use_cache (
bool
,可选) — 如果设置为True
,则返回past_key_values
键值状态,可用于加速解码(参见past_key_values
)。 - output_attentions (
bool
,可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息,请参阅返回张量中的attentions
。此参数只能在即时模式下使用,在图模式下将使用配置中的值。 - output_hidden_states (
bool
,可选) — 是否返回所有层的隐藏状态。有关更多详细信息,请参阅返回张量中的hidden_states
。此参数只能在即时模式下使用,在图模式下将使用配置中的值。 - return_dict (
bool
,可选) — 是否返回ModelOutput而不是普通的元组。此参数可在即时模式下使用,在图模式下此值将始终设置为True。 - training (
bool
,可选,默认为False
) — 是否在训练模式下使用模型(某些模块如dropout模块在训练和评估之间有不同的行为)。 - labels (
tf.Tensor
,形状为(batch_size, sequence_length)
,可选) — 用于计算掩码语言模型损失的标签。索引应在[0, ..., config.vocab_size]
或-100之间(参见input_ids
文档字符串)。索引设置为-100
的标记将被忽略(被掩盖),损失仅针对标签在[0, ..., config.vocab_size]
范围内的标记计算。
返回
transformers.modeling_tf_outputs.TFSeq2SeqLMOutput 或 tuple(tf.Tensor)
一个transformers.modeling_tf_outputs.TFSeq2SeqLMOutput或者一个tf.Tensor
的元组(如果传递了return_dict=False
或者当config.return_dict=False
时),包含根据配置(Speech2TextConfig)和输入的不同元素。
-
loss (形状为
(n,)
的tf.Tensor
, 可选, 其中 n 是非掩码标签的数量,当提供labels
时返回) — 语言建模损失。 -
logits (
tf.Tensor
of shape(batch_size, sequence_length, config.vocab_size)
) — 语言模型头部的预测分数(SoftMax 之前每个词汇标记的分数)。 -
past_key_values (
list[tf.Tensor]
,可选,当传递use_cache=True
或当config.use_cache=True
时返回) — 长度为config.n_layers
的tf.Tensor
列表,每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)
)。包含解码器注意力块的预计算隐藏状态(键和值),可用于(参见
past_key_values
输入)加速顺序解码。 -
decoder_hidden_states (
tuple(tf.Tensor)
,可选,当传递output_hidden_states=True
或当config.output_hidden_states=True
时返回) —tf.Tensor
元组(一个用于嵌入输出 + 一个用于每层输出),形状为(batch_size, sequence_length, hidden_size)
。解码器在每一层输出时的隐藏状态以及初始嵌入输出。
-
decoder_attentions (
tuple(tf.Tensor)
,可选,当传递output_attentions=True
或当config.output_attentions=True
时返回) —tf.Tensor
元组(每层一个),形状为(batch_size, num_heads, sequence_length, sequence_length)
。解码器的注意力权重,在注意力 softmax 之后,用于计算自注意力头中的加权平均。
-
cross_attentions (
tuple(tf.Tensor)
,可选,当传递output_attentions=True
或当config.output_attentions=True
时返回) —tf.Tensor
元组(每层一个),形状为(batch_size, num_heads, sequence_length, sequence_length)
。解码器交叉注意力层的注意力权重,在注意力 softmax 之后,用于计算交叉注意力头中的加权平均。
-
encoder_last_hidden_state (形状为
(batch_size, sequence_length, hidden_size)
的tf.Tensor
, 可选) — 模型编码器最后一层输出的隐藏状态序列。 -
encoder_hidden_states (
tuple(tf.Tensor)
,可选,当传递output_hidden_states=True
或当config.output_hidden_states=True
时返回) —tf.Tensor
元组(一个用于嵌入输出 + 一个用于每层输出),形状为(batch_size, sequence_length, hidden_size)
。编码器在每一层输出时的隐藏状态以及初始嵌入输出。
-
encoder_attentions (
tuple(tf.Tensor)
,可选,当传递output_attentions=True
或当config.output_attentions=True
时返回) —tf.Tensor
元组(每层一个),形状为(batch_size, num_heads, sequence_length, sequence_length)
。编码器的注意力权重,在注意力 softmax 之后,用于计算自注意力头中的加权平均。
TFSpeech2TextForConditionalGeneration的forward方法,覆盖了__call__
特殊方法。
虽然正向传播的实现需要在函数内部定义,但之后应该调用 Module
实例而不是这个函数,因为前者会处理预处理和后处理步骤,而后者会默默忽略它们。
示例
>>> import tensorflow as tf
>>> from transformers import Speech2TextProcessor, TFSpeech2TextForConditionalGeneration
>>> from datasets import load_dataset
>>> import soundfile as sf
>>> model = TFSpeech2TextForConditionalGeneration.from_pretrained(
... "facebook/s2t-small-librispeech-asr", from_pt=True
... )
>>> processor = Speech2TextProcessor.from_pretrained("facebook/s2t-small-librispeech-asr")
>>> def map_to_array(batch):
... speech, _ = sf.read(batch["file"])
... batch["speech"] = speech
... return batch
>>> ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> ds = ds.map(map_to_array)
>>> ds.set_format(type="tf")
>>> input_features = processor(
... ds["speech"][0], sampling_rate=16000, return_tensors="tf"
... ).input_features # Batch size 1
>>> generated_ids = model.generate(input_features)
>>> transcription = processor.batch_decode(generated_ids)