Transformers

( config current_modality = 'text' )

参数

**config** (SeamlessM4TModel) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型相关的权重，只加载配置。请查看 from_pretrained() 方法加载模型权重。
**current_modality** (str, *可选*，默认为 "text") — 默认模态。用于初始化模型。

原始的 SeamlessM4T 模型 Transformer，可用于所有可用任务（S2ST、S2TT、T2TT、T2ST）。

此模型继承自 PreTrainedModel。查看超类文档以了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、修剪头部等）

此模型也是 PyTorch torch.nn.Module 子类。将其作为常规 PyTorch 模块使用，并参考 PyTorch 文档以了解与通用用法和行为相关的所有事项。

生成

( input_ids: typing.Optional[torch.Tensor] = None input_features: typing.Optional[torch.Tensor] = None return_intermediate_token_ids: typing.Optional[bool] = None tgt_lang: typing.Optional[str] = None spkr_id: typing.Optional[int] = 0 generate_speech: typing.Optional[bool] = True **kwargs ) → Union[SeamlessM4TGenerationOutput, tuple[Tensor], ModelOutput]

参数

**input_ids** (torch.LongTensor 形状 (batch_size, sequence_length)，*可选*) — 词汇表中输入序列标记的索引。

索引可以使用 SeamlessM4TTokenizer 或 SeamlessM4TProcessor 获取。有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

什么是输入 ID？
**input_features** (torch.FloatTensor 形状 (batch_size, sequence_length, num_banks)，*可选*) — 输入音频特征。这应由 SeamlessM4TFeatureExtractor 类或 SeamlessM4TProcessor 类返回。有关详细信息，请参见 SeamlessM4TFeatureExtractor.call()。
**return_intermediate_token_ids** (bool, *可选*) — 如果为 True，还返回中间生成的文本和单元标记。如果还想同时获取翻译文本和音频，则将其设置为 True。请注意，如果 generate_speech=True，则此参数将被忽略。
**tgt_lang** (str, *可选*) — 用作翻译目标语言的语言。
**spkr_id** (int, *可选*，默认为 0) — 用于语音合成的说话人 ID。必须小于 config.vocoder_num_spkrs。
**generate_speech** (bool, *可选*，默认为 True) — 如果为 False，将只返回文本标记，不生成语音。
**kwargs** (*可选*) — 剩余的关键字参数字典，将传递给 GenerationMixin.generate()。关键字参数有两种类型：
- 没有前缀的，将作为 **kwargs 输入到每个子模型的 generate 方法中，除了 decoder_input_ids，它只会通过文本组件。
- 带有 *text_* 或 *speech_* 前缀的，将分别作为文本模型和语音模型的 generate 方法的输入。它优先于没有前缀的关键字。
这意味着您可以，例如，为一种生成指定生成策略，而不为另一种指定。

联合[SeamlessM4TGenerationOutput, tuple[Tensor], ModelOutput]

如果 `generate_speech` 和 `return_intermediate_token_ids`，则返回 `SeamlessM4TGenerationOutput`。
如果 `generate_speech` 且未 `return_intermediate_token_ids`，则返回一个元组，由形状为 `(batch_size, sequence_length)` 的波形和给出每个样本长度的 `waveform_lengths` 组成。
如果 `generate_speech=False`，它将返回 `ModelOutput`。

生成翻译的标记 ID 和/或翻译的音频波形。

此方法依次调用两个不同子模型的 `.generate` 函数。您可以在两个不同级别指定关键字参数：将传递给两个模型的通用参数，或将传递给其中一个模型的前缀参数。

例如，调用 `.generate(input_ids=input_ids, num_beams=4, speech_do_sample=True)` 将依次在文本模型上执行束搜索解码，并在语音模型上执行多项式束搜索采样。

有关生成策略和代码示例的概述，请查看以下指南。

SeamlessM4TForTextToSpeech

类 transformers.SeamlessM4TForTextToSpeech

( config: SeamlessM4TConfig )

参数

**config** (SeamlessM4TConfig) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型相关的权重，只加载配置。请查看 from_pretrained() 方法加载模型权重。

文本到语音 SeamlessM4T 模型 Transformer，可用于 T2ST。

此模型继承自 PreTrainedModel。查看超类文档以了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、修剪头部等）

此模型也是 PyTorch torch.nn.Module 子类。将其作为常规 PyTorch 模块使用，并参考 PyTorch 文档以了解与通用用法和行为相关的所有事项。

生成

( input_ids: typing.Optional[torch.Tensor] = None return_intermediate_token_ids: typing.Optional[bool] = None tgt_lang: typing.Optional[str] = None spkr_id: typing.Optional[int] = 0 **kwargs ) → Union[SeamlessM4TGenerationOutput, tuple[Tensor]]

参数

**input_ids** (torch.LongTensor 形状 (batch_size, sequence_length)) — 词汇表中输入序列标记的索引。

索引可以使用 SeamlessM4TTokenizer 或 SeamlessM4TProcessor 获取。有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

什么是输入 ID？
**return_intermediate_token_ids** (bool, *可选*) — 如果为 True，还返回中间生成的文本和单元标记。如果还想同时获取翻译文本和音频，则将其设置为 True。
**tgt_lang** (str, *可选*) — 用作翻译目标语言的语言。
**spkr_id** (int, *可选*，默认为 0) — 用于语音合成的说话人 ID。必须小于 config.vocoder_num_spkrs。
**kwargs** (*可选*) — 剩余的关键字参数字典，将传递给 GenerationMixin.generate()。关键字参数有两种类型：
- 没有前缀的，将作为 **kwargs 输入到每个子模型的 generate 方法中，除了 decoder_input_ids，它只会通过文本组件。
- 带有 *text_* 或 *speech_* 前缀的，将分别作为文本模型和语音模型的 generate 方法的输入。它优先于没有前缀的关键字。
这意味着您可以，例如，为一种生成指定生成策略，而不为另一种指定。

联合[SeamlessM4TGenerationOutput, tuple[Tensor]]

如果 `return_intermediate_token_ids` 为 `True`，则返回 `SeamlessM4TGenerationOutput`。
如果 `return_intermediate_token_ids` 为 `False`，则返回一个元组，由形状为 `(batch_size, sequence_length)` 的波形和给出每个样本长度的 `waveform_lengths` 组成。

生成翻译音频波形。

例如，调用 `.generate(input_ids, num_beams=4, speech_do_sample=True)` 将依次在文本模型上执行束搜索解码，并在语音模型上执行多项式束搜索采样。

有关生成策略和代码示例的概述，请查看以下指南。

SeamlessM4TForSpeechToSpeech

类 transformers.SeamlessM4TForSpeechToSpeech

( config )

参数

**config** (SeamlessM4TForSpeechToSpeech) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型相关的权重，只加载配置。请查看 from_pretrained() 方法加载模型权重。

语音到语音 SeamlessM4T 模型 Transformer，可用于 S2ST。

此模型继承自 PreTrainedModel。查看超类文档以了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、修剪头部等）

此模型也是 PyTorch torch.nn.Module 子类。将其作为常规 PyTorch 模块使用，并参考 PyTorch 文档以了解与通用用法和行为相关的所有事项。

生成

( input_features: typing.Optional[torch.Tensor] = None return_intermediate_token_ids: typing.Optional[bool] = None tgt_lang: typing.Optional[str] = None spkr_id: typing.Optional[int] = 0 **kwargs ) → Union[SeamlessM4TGenerationOutput, tuple[Tensor]]

参数

**input_features** (torch.FloatTensor 形状 (batch_size, sequence_length, num_banks)) — 输入音频特征。这应由 SeamlessM4TFeatureExtractor 类或 SeamlessM4TProcessor 类返回。有关详细信息，请参见 SeamlessM4TFeatureExtractor.call()。
**return_intermediate_token_ids** (bool, *可选*) — 如果为 True，还返回中间生成的文本和单元标记。如果还想同时获取翻译文本和音频，则将其设置为 True。
**tgt_lang** (str, *可选*) — 用作翻译目标语言的语言。
**spkr_id** (int, *可选*，默认为 0) — 用于语音合成的说话人 ID。必须小于 config.vocoder_num_spkrs。
**kwargs** (*可选*) — 剩余的关键字参数字典，将传递给 GenerationMixin.generate()。关键字参数有两种类型：
- 没有前缀的，将作为 **kwargs 输入到每个子模型的 generate 方法中，除了 decoder_input_ids，它只会通过文本组件。
- 带有 *text_* 或 *speech_* 前缀的，将分别作为文本模型和语音模型的 generate 方法的输入。它优先于没有前缀的关键字。
这意味着您可以，例如，为一种生成指定生成策略，而不为另一种指定。

联合[SeamlessM4TGenerationOutput, tuple[Tensor]]

如果 `return_intermediate_token_ids` 为 `True`，则返回 `SeamlessM4TGenerationOutput`。
如果 `return_intermediate_token_ids` 为 `False`，则返回一个元组，由形状为 `(batch_size, sequence_length)` 的波形和给出每个样本长度的 `waveform_lengths` 组成。

生成翻译音频波形。

例如，调用 `.generate(input_features, num_beams=4, speech_do_sample=True)` 将依次在文本模型上执行束搜索解码，并在语音模型上执行多项式束搜索采样。

有关生成策略和代码示例的概述，请查看以下指南。

SeamlessM4TForTextToText

类 transformers.SeamlessM4TForTextToText

( config: SeamlessM4TConfig )

参数

config (SeamlessM4TConfig) — 模型配置类，包含模型的所有参数。使用配置文件初始化模型不会加载与模型相关的权重，只加载配置。请查看 from_pretrained() 方法来加载模型权重。

可用于T2TT的text-to-text SeamlessM4T模型转换器。

此模型继承自 PreTrainedModel。查看超类文档以了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、修剪头部等）

此模型也是 PyTorch torch.nn.Module 子类。将其作为常规 PyTorch 模块使用，并参考 PyTorch 文档以了解与通用用法和行为相关的所有事项。

前向

( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None decoder_input_ids: typing.Optional[torch.LongTensor] = None decoder_attention_mask: typing.Optional[torch.LongTensor] = None encoder_outputs: typing.Optional[tuple[tuple[torch.FloatTensor]]] = None past_key_values: typing.Optional[tuple[tuple[torch.FloatTensor]]] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None decoder_inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None **kwargs ) → transformers.modeling_outputs.Seq2SeqLMOutput 或 tuple(torch.FloatTensor)

参数

input_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选) — 词汇表中输入序列标记的索引。默认情况下会忽略填充。

索引可以使用 AutoTokenizer 获取。有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

什么是输入ID？
attention_mask (形状为 (batch_size, sequence_length) 的 torch.Tensor，可选) — 掩码，避免对填充标记索引执行注意力操作。掩码值选择范围为 [0, 1]：
- 1 表示**未掩码**的标记，
- 0 表示**已掩码**的标记。
什么是注意力掩码？
decoder_input_ids (形状为 (batch_size, target_sequence_length) 的 torch.LongTensor，可选) — 解码器输入序列标记在词汇表中的索引。

索引可以使用 AutoTokenizer 获取。有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

什么是解码器输入ID？

Bart 使用 eos_token_id 作为 decoder_input_ids 生成的起始标记。如果使用 past_key_values，可以选择只输入最后一个 decoder_input_ids（那些没有将其过去的键值状态提供给此模型的输入），请参阅 past_key_values。

对于翻译和摘要训练，应提供 decoder_input_ids。如果未提供 decoder_input_ids，模型将根据论文中去噪预训练的方法，通过将 input_ids 向右移动来创建此张量。
decoder_attention_mask (形状为 (batch_size, target_sequence_length) 的 torch.LongTensor，可选) — 默认行为：生成一个忽略 decoder_input_ids 中填充标记的张量。默认情况下也会使用因果掩码。

如果您想更改填充行为，应阅读 modeling_bart._prepare_decoder_attention_mask 并根据需要进行修改。有关默认策略的更多信息，请参阅该论文中的图 1。
encoder_outputs (tuple[tuple[torch.FloatTensor]]，可选) — 元组包含 (last_hidden_state, 可选: hidden_states, 可选: attentions) last_hidden_state 的形状为 (batch_size, sequence_length, hidden_size)，可选) 是编码器最后一层输出的隐藏状态序列。用于解码器的交叉注意力。
past_key_values (tuple[tuple[torch.FloatTensor]]，可选) — 预计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速序列解码。当 use_cache=True 或 config.use_cache=True 时，这通常包括模型在解码上一阶段返回的 past_key_values。

允许两种格式：
- 一个 Cache 实例，请参阅我们的 kv 缓存指南；
- 一个长度为 config.n_layers 的 tuple(torch.FloatTensor) 元组，每个元组包含 2 个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量）。这也称为旧版缓存格式。
模型将输出与输入相同的缓存格式。如果没有传入 past_key_values，将返回旧版缓存格式。

如果使用 past_key_values，用户可以选择只输入最后一个 input_ids（那些没有将其过去的键值状态提供给此模型的输入），形状为 (batch_size, 1)，而不是所有 input_ids（形状为 (batch_size, sequence_length)）。
inputs_embeds (形状为(batch_size, sequence_length, hidden_size) 的 torch.FloatTensor，可选) — 可选地，除了传入 input_ids，您还可以选择直接传入嵌入表示。如果您想对如何将 input_ids 索引转换为关联向量有比模型内部嵌入查找矩阵更多的控制权，这将很有用。
decoder_inputs_embeds (形状为 (batch_size, target_sequence_length, hidden_size) 的 torch.FloatTensor，可选) — 可选地，除了传入 decoder_input_ids，您还可以选择直接传入嵌入表示。如果使用 past_key_values，可以选择只输入最后一个 decoder_inputs_embeds（请参阅 past_key_values）。如果您想对如何将 decoder_input_ids 索引转换为关联向量有比模型内部嵌入查找矩阵更多的控制权，这将很有用。

如果 decoder_input_ids 和 decoder_inputs_embeds 都未设置，则 decoder_inputs_embeds 的值将取 inputs_embeds 的值。
labels (形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选) — 用于计算掩码语言建模损失的标签。索引应在 [-100, 0, ..., config.vocab_size] 范围内（参见 input_ids 文档字符串）。索引设置为 -100 的标记将被忽略（掩码），损失只对标签在 [0, ..., config.vocab_size] 范围内的标记计算
use_cache (bool，可选) — 如果设置为 True，将返回 past_key_values 键值状态，并可用于加速解码（请参阅 past_key_values）。
output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。更多详细信息请参见返回张量下的 attentions。
output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。更多详细信息请参见返回张量下的 hidden_states。
return_dict (bool，可选) — 是否返回 ModelOutput 而不是普通的元组。

transformers.modeling_outputs.Seq2SeqLMOutput 或 tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.Seq2SeqLMOutput 或一个 torch.FloatTensor 元组（如果传入 return_dict=False 或 config.return_dict=False 时），包含根据配置（SeamlessM4TConfig）和输入而异的各种元素。

loss (torch.FloatTensor，形状为 (1,)，可选，当提供 labels 时返回) — 语言建模损失。
logits (形状为 (batch_size, sequence_length, config.vocab_size) 的 torch.FloatTensor) — 语言建模头部的预测分数（SoftMax 之前的每个词汇标记的分数）。
past_key_values (EncoderDecoderCache，可选，当传入 use_cache=True 或 config.use_cache=True 时返回) — 这是一个 EncoderDecoderCache 实例。更多详细信息请参阅我们的 kv 缓存指南。

包含预先计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于（参见 past_key_values 输入）加速顺序解码。
decoder_hidden_states (tuple(torch.FloatTensor)，可选，当传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组（一个用于嵌入层输出，如果模型有嵌入层，+ 一个用于每一层输出），形状为 (batch_size, sequence_length, hidden_size)。

解码器在每一层输出时的隐藏状态以及初始嵌入输出。
decoder_attentions (tuple(torch.FloatTensor)，可选，当传入 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 元组（每一层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

解码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均。
cross_attentions (tuple(torch.FloatTensor)，可选，当传入 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 元组（每一层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

解码器交叉注意力层的注意力权重，在注意力 softmax 之后，用于计算交叉注意力头中的加权平均。
encoder_last_hidden_state (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size)，可选) — 模型编码器最后一层输出的隐藏状态序列。
encoder_hidden_states (tuple(torch.FloatTensor)，可选，当传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组（一个用于嵌入层输出，如果模型有嵌入层，+ 一个用于每一层输出），形状为 (batch_size, sequence_length, hidden_size)。

编码器在每一层输出时的隐藏状态以及初始嵌入输出。
encoder_attentions (tuple(torch.FloatTensor)，可选，当传入 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 元组（每一层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

编码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均。

SeamlessM4TForTextToText 的前向方法，覆盖了 __call__ 特殊方法。

尽管前向传播的实现需要在该函数中定义，但之后应该调用 Module 实例，而不是该函数，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。

示例

生成

( input_ids = None tgt_lang = None generation_config = None logits_processor = None stopping_criteria = None prefix_allowed_tokens_fn = None synced_gpus = False **kwargs ) → ModelOutput 或 torch.LongTensor

参数

input_ids (torch.Tensor，形状因模态而异，可选) — 词汇表中输入序列标记的索引。

索引可以使用 SeamlessM4TTokenizer 或 SeamlessM4TProcessor 获取。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

什么是输入ID？
tgt_lang (str，可选) — 用作翻译目标语言的语言。
generation_config (~generation.GenerationConfig，可选) — 用作生成调用基础参数化的生成配置。传入 generate 的 **kwargs 中与 generation_config 属性匹配的参数将覆盖它们。如果未提供 generation_config，将使用默认配置，其加载优先级如下：1) 如果存在 generation_config.json 模型文件，则从中加载；2) 从模型配置中加载。请注意，未指定的参数将继承 GenerationConfig 的默认值，应查阅其文档以参数化生成。
logits_processor (LogitsProcessorList，可选) — 自定义 logits 处理器，补充从参数和生成配置构建的默认 logits 处理器。如果传入的 logits 处理器已使用参数或生成配置创建，则会抛出错误。此功能适用于高级用户。
stopping_criteria (StoppingCriteriaList，可选) — 自定义停止条件，补充从参数和生成配置构建的默认停止条件。如果传入的停止条件已使用参数或生成配置创建，则会抛出错误。此功能适用于高级用户。
prefix_allowed_tokens_fn (Callable[[int, torch.Tensor], list[int]]，可选) — 如果提供，此函数限制束搜索在每一步只允许的标记。如果未提供，则不应用任何限制。此函数接受 2 个参数：批次 ID batch_id 和 input_ids。它必须返回一个列表，其中包含在批次 ID batch_id 和先前生成的标记 inputs_ids 的条件下，下一步允许生成的标记。此参数对于基于前缀的约束生成很有用，如自回归实体检索中所述。
synced_gpus (bool，可选，默认为 False) — 是否继续运行 while 循环直到达到 max_length（需要避免与 FullyShardedDataParallel 和 DeepSpeed ZeRO Stage 3 出现死锁）。
kwargs (dict[str, Any]，可选) — generate_config 的临时参数化和/或将转发到模型 forward 函数的其他模型特定 kwargs。

ModelOutput 或 torch.LongTensor

一个 ModelOutput（如果传入 return_dict_in_generate=True 或 config.return_dict_in_generate=True 时）或一个 torch.FloatTensor。可能的 ModelOutput 类型是

生成标记ID序列。

大多数生成控制参数在 generation_config 中设置，如果未传入，将设置为模型的默认生成配置。您可以通过将相应的参数传递给 generate() 来覆盖任何 generation_config，例如 .generate(inputs, num_beams=4, do_sample=True)。

有关生成策略和代码示例的概述，请查看以下指南。

SeamlessM4TForSpeechToText

class transformers.SeamlessM4TForSpeechToText

( config: SeamlessM4TConfig )

参数

config (SeamlessM4TConfig) — 模型配置类，包含模型的所有参数。使用配置文件初始化模型不会加载与模型相关的权重，只加载配置。请查看 from_pretrained() 方法来加载模型权重。

可用于S2TT的speech-to-text SeamlessM4T模型转换器。

此模型继承自 PreTrainedModel。查看超类文档以了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、修剪头部等）

此模型也是 PyTorch torch.nn.Module 子类。将其作为常规 PyTorch 模块使用，并参考 PyTorch 文档以了解与通用用法和行为相关的所有事项。

前向

( input_features: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None decoder_input_ids: typing.Optional[torch.LongTensor] = None decoder_attention_mask: typing.Optional[torch.LongTensor] = None encoder_outputs: typing.Optional[tuple[tuple[torch.FloatTensor]]] = None past_key_values: typing.Optional[tuple[tuple[torch.FloatTensor]]] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None decoder_inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None **kwargs ) → transformers.modeling_outputs.Seq2SeqLMOutput 或 tuple(torch.FloatTensor)

参数

input_features (形状为 (batch_size, sequence_length, num_banks) 的 torch.FloatTensor) — 输入音频特征。此值应由 SeamlessM4TFeatureExtractor 类或 SeamlessM4TProcessor 类返回。有关详细信息，请参阅 SeamlessM4TFeatureExtractor.call()。
attention_mask (形状为 (batch_size, sequence_length) 的 torch.Tensor，可选) — 掩码，避免对填充标记索引执行注意力操作。掩码值选择范围为 [0, 1]：
- 1 表示**未掩码**的标记，
- 0 表示**已掩码**的标记。
什么是注意力掩码？
decoder_input_ids (形状为 (batch_size, target_sequence_length) 的 torch.LongTensor，可选) — 解码器输入序列标记在词汇表中的索引。

索引可以使用 AutoTokenizer 获取。有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

什么是解码器输入ID？

Bart 使用 eos_token_id 作为 decoder_input_ids 生成的起始标记。如果使用 past_key_values，可以选择只输入最后一个 decoder_input_ids（那些没有将其过去的键值状态提供给此模型的输入），请参阅 past_key_values。

对于翻译和摘要训练，应提供 decoder_input_ids。如果未提供 decoder_input_ids，模型将根据论文中去噪预训练的方法，通过将 input_ids 向右移动来创建此张量。
decoder_attention_mask (形状为 (batch_size, target_sequence_length) 的 torch.LongTensor，可选) — 默认行为：生成一个忽略 decoder_input_ids 中填充标记的张量。默认情况下也会使用因果掩码。

如果您想更改填充行为，应阅读 modeling_bart._prepare_decoder_attention_mask 并根据需要进行修改。有关默认策略的更多信息，请参阅该论文中的图 1。
encoder_outputs (tuple[tuple[torch.FloatTensor]]，可选) — 元组包含 (last_hidden_state, 可选: hidden_states, 可选: attentions) last_hidden_state 的形状为 (batch_size, sequence_length, hidden_size)，可选) 是编码器最后一层输出的隐藏状态序列。用于解码器的交叉注意力。
past_key_values (tuple[tuple[torch.FloatTensor]]，可选) — 预计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速序列解码。当 use_cache=True 或 config.use_cache=True 时，这通常包括模型在解码上一阶段返回的 past_key_values。

允许两种格式：
- 一个 Cache 实例，请参阅我们的 kv 缓存指南；
- 一个长度为 config.n_layers 的 tuple(torch.FloatTensor) 元组，每个元组包含 2 个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量）。这也称为旧版缓存格式。
模型将输出与输入相同的缓存格式。如果没有传入 past_key_values，将返回旧版缓存格式。

如果使用 past_key_values，用户可以选择只输入最后一个 input_ids（那些没有将其过去的键值状态提供给此模型的输入），形状为 (batch_size, 1)，而不是所有 input_ids（形状为 (batch_size, sequence_length)）。
inputs_embeds (torch.FloatTensor，形状为(batch_size, sequence_length, hidden_size)，可选) — 可选地，你可以选择直接传入嵌入式表示，而不是传入 input_ids。如果你想对如何将 input_ids 索引转换为相关向量有比模型内部嵌入查找矩阵更多的控制，这会很有用。
decoder_inputs_embeds (torch.FloatTensor，形状为 (batch_size, target_sequence_length, hidden_size)，可选) — 可选地，你可以选择直接传入嵌入式表示，而不是传入 decoder_input_ids。如果使用了 past_key_values，可选地只需输入最后的 decoder_inputs_embeds（参见 past_key_values）。如果你想对如何将 decoder_input_ids 索引转换为相关向量有比模型内部嵌入查找矩阵更多的控制，这会很有用。

如果 decoder_input_ids 和 decoder_inputs_embeds 都未设置，则 decoder_inputs_embeds 将取 inputs_embeds 的值。
labels (torch.LongTensor，形状为 (batch_size, sequence_length)，可选) — 用于计算掩码语言建模损失的标签。索引应在 [-100, 0, ..., config.vocab_size] 范围内（参见 input_ids 文档字符串）。索引设置为 -100 的标记将被忽略（掩码），损失仅针对标签在 [0, ..., config.vocab_size] 范围内的标记计算。
use_cache (bool, 可选) — 如果设置为 True，则返回 past_key_values 键值状态，可用于加速解码（参见 past_key_values）。
output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。更多详细信息请参见返回张量下的 attentions。
output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多详细信息请参见返回张量下的 hidden_states。
return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

transformers.modeling_outputs.Seq2SeqLMOutput 或 tuple(torch.FloatTensor)

loss (torch.FloatTensor，形状为 (1,)，可选，当提供 labels 时返回) — 语言建模损失。
logits (形状为 (batch_size, sequence_length, config.vocab_size) 的 torch.FloatTensor) — 语言建模头部的预测分数（SoftMax 之前的每个词汇标记的分数）。
past_key_values (EncoderDecoderCache，可选，当传入 use_cache=True 或 config.use_cache=True 时返回) — 这是一个 EncoderDecoderCache 实例。更多详细信息请参阅我们的 kv 缓存指南。

包含预先计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于（参见 past_key_values 输入）加速顺序解码。
decoder_hidden_states (tuple(torch.FloatTensor)，可选，当传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组（一个用于嵌入层输出，如果模型有嵌入层，+ 一个用于每一层输出），形状为 (batch_size, sequence_length, hidden_size)。

解码器在每一层输出时的隐藏状态以及初始嵌入输出。
decoder_attentions (tuple(torch.FloatTensor)，可选，当传入 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 元组（每一层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

解码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均。
cross_attentions (tuple(torch.FloatTensor)，可选，当传入 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 元组（每一层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

解码器交叉注意力层的注意力权重，在注意力 softmax 之后，用于计算交叉注意力头中的加权平均。
encoder_last_hidden_state (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size)，可选) — 模型编码器最后一层输出的隐藏状态序列。
encoder_hidden_states (tuple(torch.FloatTensor)，可选，当传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组（一个用于嵌入层输出，如果模型有嵌入层，+ 一个用于每一层输出），形状为 (batch_size, sequence_length, hidden_size)。

编码器在每一层输出时的隐藏状态以及初始嵌入输出。
encoder_attentions (tuple(torch.FloatTensor)，可选，当传入 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 元组（每一层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

编码器的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均。

SeamlessM4TForSpeechToText 的 forward 方法，覆盖了 __call__ 特殊方法。

示例

>>> from transformers import AutoProcessor, SeamlessM4TForSpeechToText
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> processor = AutoProcessor.from_pretrained(""facebook/hf-seamless-m4t-medium"")
>>> model = SeamlessM4TForSpeechToText.from_pretrained(""facebook/hf-seamless-m4t-medium"")

>>> # audio file is decoded on the fly
>>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> predicted_ids = torch.argmax(logits, dim=-1)

>>> # transcribe speech
>>> transcription = processor.batch_decode(predicted_ids)
>>> transcription[0]
...

>>> inputs["labels"] = processor(text=dataset[0]["text"], return_tensors="pt").input_ids

>>> # compute loss
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
...

生成

( input_features = None tgt_lang = None generation_config = None logits_processor = None stopping_criteria = None prefix_allowed_tokens_fn = None synced_gpus = False **kwargs ) → ModelOutput 或 torch.LongTensor

参数

input_features (torch.FloatTensor，形状为 (batch_size, sequence_length, num_banks)) — 输入音频特征。这应由 SeamlessM4TFeatureExtractor 类或 SeamlessM4TProcessor 类返回。详情请参见 SeamlessM4TFeatureExtractor.call()。
tgt_lang (str, 可选) — 用作翻译目标语言的语言。
generation_config (~generation.GenerationConfig, 可选) — 用作生成调用基础参数化的生成配置。传递给 generate 中与 generation_config 属性匹配的 **kwargs 将覆盖它们。如果未提供 generation_config，将使用默认值，其加载优先级如下：1) 如果存在 generation_config.json 模型文件，则从中加载；2) 从模型配置加载。请注意，未指定的参数将继承 GenerationConfig 的默认值，应查阅其文档以进行生成参数化。
logits_processor (LogitsProcessorList, 可选) — 补充从参数和生成配置构建的默认 logits 处理器。如果传入的 logits 处理器已使用参数或生成配置创建，则会抛出错误。此功能适用于高级用户。
stopping_criteria (StoppingCriteriaList, 可选) — 补充从参数和生成配置构建的默认停止准则。如果传入的停止准则已使用参数或生成配置创建，则会抛出错误。此功能适用于高级用户。
prefix_allowed_tokens_fn (Callable[[int, torch.Tensor], list[int]], 可选) — 如果提供，此函数将限制束搜索在每个步骤中只允许的标记。如果未提供，则不应用任何限制。此函数接受 2 个参数：批次 ID batch_id 和 input_ids。它必须返回一个列表，其中包含在批次 ID batch_id 和先前生成的标记 inputs_ids 的条件下，下一步生成允许的标记。此参数对于基于前缀的受限生成很有用，如自回归实体检索中所述。
synced_gpus (bool, 可选，默认为 False) — 是否继续运行 while 循环直到达到 max_length（需要避免与 FullyShardedDataParallel 和 DeepSpeed ZeRO Stage 3 产生死锁）。
kwargs (dict[str, Any], 可选) — generate_config 的临时参数化和/或将转发到模型 forward 函数的其他模型特定 kwargs。

ModelOutput 或 torch.LongTensor

一个 ModelOutput（如果传入 return_dict_in_generate=True 或 config.return_dict_in_generate=True 时）或一个 torch.FloatTensor。可能的 ModelOutput 类型是

生成标记ID序列。

有关生成策略和代码示例的概述，请查看以下指南。

SeamlessM4TConfig

class transformers.SeamlessM4TConfig

( vocab_size = 256102 t2u_vocab_size = 10082 hidden_size = 1024 initializer_range = 0.02 layer_norm_eps = 1e-05 use_cache = True max_position_embeddings = 1024 is_encoder_decoder = True encoder_layerdrop = 0.05 decoder_layerdrop = 0.05 activation_function = 'relu' dropout = 0.1 attention_dropout = 0.1 activation_dropout = 0.0 scale_embedding = True encoder_layers = 24 encoder_ffn_dim = 8192 encoder_attention_heads = 16 decoder_layers = 24 decoder_ffn_dim = 8192 decoder_attention_heads = 16 decoder_start_token_id = 3 max_new_tokens = 256 pad_token_id = 0 bos_token_id = 2 eos_token_id = 3 speech_encoder_layers = 24 speech_encoder_attention_heads = 16 speech_encoder_intermediate_size = 4096 speech_encoder_hidden_act = 'swish' speech_encoder_dropout = 0.0 add_adapter = True speech_encoder_layerdrop = 0.1 feature_projection_input_dim = 160 num_conv_pos_embeddings = 128 num_conv_pos_embedding_groups = 16 adaptor_kernel_size = 8 adaptor_stride = 8 adaptor_dropout = 0.1 num_adapter_layers = 1 position_embeddings_type = 'relative' rotary_embedding_base = 10000 max_source_positions = 4096 conv_depthwise_kernel_size = 31 t2u_bos_token_id = 0 t2u_pad_token_id = 1 t2u_eos_token_id = 2 t2u_decoder_start_token_id = 2 t2u_max_new_tokens = 1024 t2u_encoder_layers = 6 t2u_encoder_ffn_dim = 8192 t2u_encoder_attention_heads = 16 t2u_decoder_layers = 6 t2u_decoder_ffn_dim = 8192 t2u_decoder_attention_heads = 16 t2u_max_position_embeddings = 2048 sampling_rate = 16000 upsample_initial_channel = 512 upsample_rates = [5, 4, 4, 2, 2] upsample_kernel_sizes = [11, 8, 8, 4, 4] resblock_kernel_sizes = [3, 7, 11] resblock_dilation_sizes = [[1, 3, 5], [1, 3, 5], [1, 3, 5]] leaky_relu_slope = 0.1 unit_hifi_gan_vocab_size = 10000 unit_embed_dim = 1280 lang_embed_dim = 256 spkr_embed_dim = 256 vocoder_num_langs = 36 vocoder_num_spkrs = 200 variance_predictor_kernel_size = 3 var_pred_dropout = 0.5 vocoder_offset = 4 **kwargs )

参数

vocab_size (int, 可选，默认为 256102) — SeamlessM4T 模型的词汇表大小。定义了调用 ~SeamlessM4TModel、~SeamlessM4TForTextToSpeech 或 ~SeamlessM4TForTextToText 时传入的 inputs_ids 可以表示的不同标记的数量。
t2u_vocab_size (int, 可选，默认为 10082) — SeamlessM4T 模型的单元词汇表大小。定义了调用 ~SeamlessM4TModel、~SeamlessM4TForSpeechToSpeech 或 ~SeamlessM4TForTextToSpeech 的文本到单元子模型时传入的 inputs_ids 可以表示的不同单元标记的数量。

子模型之间共享的参数

hidden_size (int, 可选，默认为 1024) — 架构中“中间”层的维度。
initializer_range (float, 可选，默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。
layer_norm_eps (float, 可选，默认为 1e-05) — 层归一化层使用的 epsilon。
use_cache (bool, 可选，默认为 True) — 模型是否应返回最后一个键/值注意力（并非所有模型都使用）。
max_position_embeddings (int, 可选，默认为 1024) — 此模型文本编码器和解码器可能使用的最大序列长度。通常为了以防万一设置为较大值（例如，512、1024 或 2048）。
is_encoder_decoder (bool, 可选，默认为 True) — 模型是否用作编码器/解码器。
encoder_layerdrop (float, 可选，默认为 0.05) — 编码器的 LayerDrop 概率。更多详细信息请参见 [LayerDrop 论文](参见 https://huggingface.co/papers/1909.11556)。
decoder_layerdrop (float, 可选，默认为 0.05) — 解码器的 LayerDrop 概率。更多详细信息请参见 [LayerDrop 论文](参见 https://huggingface.co/papers/1909.11556)。
activation_function (str 或 function, 可选，默认为 "relu") — 解码器和前馈层中的非线性激活函数（函数或字符串）。如果是字符串，支持 "gelu"、"relu"、"selu"、"swish" 和 "gelu_new"。
dropout (float, 可选，默认为 0.1) — 嵌入、编码器、解码器和池化器中所有全连接层的 dropout 概率。
attention_dropout (float, 可选，默认为 0.1) — 所有注意力层的 dropout 概率。
activation_dropout (float, 可选，默认为 0.0) — 模型中所有激活层的 dropout 概率。
scale_embedding (bool, 可选，默认为 True) — 通过除以 sqrt(d_model) 来缩放嵌入。

文本编码器和文本解码器特定参数

encoder_layers (int, 可选，默认为 24) — Transformer 文本编码器中的隐藏层数量。
encoder_ffn_dim (int, 可选，默认为 8192) — Transformer 文本编码器中“中间”（即前馈）层的维度。
encoder_attention_heads (int, 可选，默认为 16) — Transformer 文本编码器中每个注意力层的注意力头数量。
decoder_layers (int, 可选，默认为 24) — Transformer 文本解码器中的隐藏层数量。
decoder_ffn_dim (int, 可选，默认为 8192) — Transformer 文本解码器中“中间”（即前馈）层的维度。
decoder_attention_heads (int, 可选，默认为 16) — Transformer 文本解码器中每个注意力层的注意力头数量。
decoder_start_token_id (int, 可选，默认为 3) — 如果编码器-解码器模型从与 bos 不同的标记开始解码，则为该标记的 ID。仅应用于文本解码器。
max_new_tokens (int, 可选，默认为 256) — 要生成的最大文本标记数，忽略提示中的标记数。
pad_token_id (int, 可选，默认为 0) — 填充文本标记的 ID。仅应用于文本解码器模型。
bos_token_id (int, 可选，默认为 2) — 流开始 文本标记的 ID。仅应用于文本解码器模型。
eos_token_id (int, 可选，默认为 3) — 流结束 文本标记的 ID。仅应用于文本解码器模型。

语音编码器特定参数

speech_encoder_layers (int, optional, defaults to 24) — Transformer 语音编码器中的隐藏层数量。
speech_encoder_attention_heads (int, optional, defaults to 16) — Transformer 语音编码器中每个注意力层的注意力头数量。
speech_encoder_intermediate_size (int, optional, defaults to 4096) — Transformer 语音编码器中“中间”（即前馈）层的维度。
speech_encoder_hidden_act (str or function, optional, defaults to "swish") — 语音编码器中的非线性激活函数（函数或字符串）。如果为字符串，则支持"gelu"、"relu"、"selu"、"swish"和"gelu_new"。
speech_encoder_dropout (float, optional, defaults to 0.0) — 语音编码器中所有层的 dropout 概率。
add_adapter (bool, optional, defaults to True) — 在语音编码器之上添加一个适配器层。
speech_encoder_layerdrop (float, optional, defaults to 0.1) — 语音编码器的 LayerDrop 概率。更多详细信息请参阅 [LayerDrop 论文](参见 https://huggingface.co/papers/1909.11556)。
feature_projection_input_dim (int, optional, defaults to 160) — 语音编码器输入特征投影的输入维度，即使用 SeamlessM4TFeatureExtractor 处理输入音频后的维度。
num_conv_pos_embeddings (int, optional, defaults to 128) — 卷积位置嵌入的数量。定义语音编码器的一维卷积位置嵌入层的核大小。
num_conv_pos_embedding_groups (int, optional, defaults to 16) — 语音编码器的一维卷积位置嵌入层的组数。
adaptor_kernel_size (int, optional, defaults to 8) — 适配器网络中卷积层的核大小。仅当 add_adapter 为 True 时相关。
adaptor_stride (int, optional, defaults to 8) — 适配器网络中卷积层的步长。仅当 add_adapter 为 True 时相关。
adaptor_dropout (float, optional, defaults to 0.1) — 语音适配器中所有层的 dropout 概率。
num_adapter_layers (int, optional, defaults to 1) — 适配器网络中应使用的卷积层数。仅当 add_adapter 为 True 时相关。
position_embeddings_type (str, optional, defaults to "relative") — 可以指定为 relative 或 rotary，分别用于相对位置嵌入或旋转位置嵌入。如果留空 None，则不应用相对位置嵌入。仅应用于语音编码器。
rotary_embedding_base (int, optional, defaults to 10000) — 如果使用 "rotary" 位置嵌入，则定义嵌入基础的大小。仅应用于语音编码器。
max_source_positions (int, optional, defaults to 4096) — 如果使用 "relative" 位置嵌入，则定义最大源输入位置。仅应用于语音编码器。
conv_depthwise_kernel_size (int, optional, defaults to 31) — Conformer 块中卷积深度一维层的核大小。仅应用于语音编码器。

Text-To-Unit (t2u) 模型特定参数

t2u_bos_token_id (int, optional, defaults to 0) — 流开始单元标记的 ID。仅应用于文本到单元的 seq2seq 模型。
t2u_pad_token_id (int, optional, defaults to 1) — 填充单元标记的 ID。仅应用于文本到单元的 seq2seq 模型。
t2u_eos_token_id (int, optional, defaults to 2) — 流结束单元标记的 ID。仅应用于文本到单元的 seq2seq 模型。
t2u_decoder_start_token_id (int, optional, defaults to 2) — 如果编码器-解码器模型以与 bos 不同的标记开始解码，则为该标记的 ID。仅应用于文本到单元的 seq2seq 模型。
t2u_max_new_tokens (int, optional, defaults to 1024) — 要生成的最大单元标记数，忽略提示中的标记数。仅应用于文本到单元的 seq2seq 模型。
t2u_encoder_layers (int, optional, defaults to 6) — Transformer 文本到单元编码器中的隐藏层数量。
t2u_encoder_ffn_dim (int, optional, defaults to 8192) — Transformer 文本到单元编码器中“中间”（即前馈）层的维度。
t2u_encoder_attention_heads (int, optional, defaults to 16) — Transformer 文本到单元编码器中每个注意力层的注意力头数量。
t2u_decoder_layers (int, optional, defaults to 6) — Transformer 文本到单元解码器中的隐藏层数量。
t2u_decoder_ffn_dim (int, optional, defaults to 8192) — Transformer 文本到单元解码器中“中间”（即前馈）层的维度。
t2u_decoder_attention_heads (int, optional, defaults to 16) — Transformer 文本到单元解码器中每个注意力层的注意力头数量。
t2u_max_position_embeddings (int, optional, defaults to 2048) — 该模型文本到单元组件可能使用的最大序列长度。通常为了以防万一设置得很大（例如，512、1024 或 2048）。

Hifi-Gan 声码器特定参数
sampling_rate (int, optional, defaults to 16000) — 输出音频将以赫兹 (Hz) 表示的采样率生成。
upsample_initial_channel (int, optional, defaults to 512) — hifi-gan 上采样网络的输入通道数。仅适用于声码器。
upsample_rates (tuple[int] or list[int], optional, defaults to [5, 4, 4, 2, 2]) — 定义声码器上采样网络中每个一维卷积层步长的整数元组。upsample_rates 的长度定义了卷积层的数量，并且必须与 upsample_kernel_sizes 的长度匹配。仅适用于声码器。
upsample_kernel_sizes (tuple[int] or list[int], optional, defaults to [11, 8, 8, 4, 4]) — 定义声码器上采样网络中每个一维卷积层核大小的整数元组。upsample_kernel_sizes 的长度定义了卷积层的数量，并且必须与 upsample_rates 的长度匹配。仅适用于声码器。
resblock_kernel_sizes (tuple[int] or list[int], optional, defaults to [3, 7, 11]) — 定义多接收场融合 (MRF) 模块中声码器一维卷积层核大小的整数元组。仅适用于声码器。
resblock_dilation_sizes (tuple[tuple[int]] or list[list[int]], optional, defaults to [[1, 3, 5], [1, 3, 5], [1, 3, 5]]) — 定义多接收场融合 (MRF) 模块中声码器膨胀一维卷积层膨胀率的嵌套整数元组。仅适用于声码器。
leaky_relu_slope (float, optional, defaults to 0.1) — 声码器中 Leaky ReLU 激活函数使用的负斜率角度。仅适用于声码器。
unit_hifi_gan_vocab_size (int, optional, defaults to 10000) — SeamlessM4T 声码器的词汇量大小。定义了调用 ~SeamlessM4TModel、~SeamlessM4TForSpeechToSpeech 或 ~SeamlessM4TForTextToSpeech 的声码器时传递的 inputs_ids 可以表示的不同单元标记的数量。
unit_embed_dim (int, optional, defaults to 1280) — 提供给 hifi-gan 声码器的输入 ID 的投影维度。仅适用于声码器。
lang_embed_dim (int, optional, defaults to 256) — 提供给 hifi-gan 声码器的目标语言的投影维度。仅适用于声码器。
spkr_embed_dim (int, optional, defaults to 256) — 提供给 hifi-gan 声码器的说话人 ID 的投影维度。仅适用于声码器。
vocoder_num_langs (int, optional, defaults to 36) — 声码器支持的语言数量。可能与 t2u_num_langs 不同。
vocoder_num_spkrs (int, optional, defaults to 200) — 声码器支持的说话人数量。
variance_predictor_kernel_size (int, optional, defaults to 3) — 时长预测器的核大小。仅适用于声码器。
var_pred_dropout (float, optional, defaults to 0.5) — 时长预测器的 dropout 概率。仅适用于声码器。
vocoder_offset (int, optional, defaults to 4) — 单元标记 ID 的偏移量，用于考虑符号标记。仅适用于声码器。

这是一个配置类，用于存储 ~SeamlessM4TModel 的配置。它用于根据指定的参数实例化 SeamlessM4T 模型，定义模型架构。使用默认值实例化配置将生成与 SeamlessM4T “facebook/hf-seamless-m4t-medium” 架构类似的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请阅读 PretrainedConfig 的文档。

>>> from transformers import SeamlessM4TModel, SeamlessM4TConfig

>>> # Initializing a SeamlessM4T "facebook/hf-seamless-m4t-medium" style configuration
>>> configuration = SeamlessM4TConfig()

>>> # Initializing a model from the "facebook/hf-seamless-m4t-medium" style configuration
>>> model = SeamlessM4TModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

SeamlessM4TTokenizer

class transformers.SeamlessM4TTokenizer

( vocab_file bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' tokenizer_file = None src_lang = 'eng' tgt_lang = 'fra' sp_model_kwargs: typing.Optional[dict[str, typing.Any]] = None additional_special_tokens = None add_prefix_space = True **kwargs )

参数

vocab_file (str) — 词汇表文件的路径。
bos_token (str, optional, defaults to "<s>") — 预训练期间使用的序列开始标记。可用作序列分类器标记。

使用特殊标记构建序列时，这不是用于序列开头的标记。使用的标记是 cls_token。
eos_token (str, optional, defaults to "</s>") — 序列结束标记。

使用特殊标记构建序列时，这不是用于序列结束的标记。使用的标记是 sep_token。
sep_token (str, optional, defaults to "</s>") — 分隔符标记，用于从多个序列构建序列时，例如用于序列分类的两个序列或用于问答的文本和问题。它也用作使用特殊标记构建的序列的最后一个标记。
cls_token (str, optional, defaults to "<s>") — 分类器标记，用于序列分类（整个序列的分类而非逐标记分类）。它是使用特殊标记构建序列时的第一个标记。
unk_token (str, optional, defaults to "<unk>") — 未知标记。不在词汇表中的标记不能转换为 ID，而是设置为此标记。
pad_token (str, optional, defaults to "<pad>") — 用于填充的标记，例如在对不同长度的序列进行批处理时。
tokenizer_file (str, optional) — 要使用的分词器文件路径，而不是词汇表文件。
src_lang (str, optional, defaults to "eng") — 用作翻译源语言的语言。
tgt_lang (str, 可选, 默认为 "fra") — 用于翻译的目标语言。
sp_model_kwargs (dict[str, Any], 可选) — 传递给模型初始化的其他关键字参数。
additional_special_tokens (tuple 或 list of str 或 tokenizers.AddedToken, 可选) — 其他特殊标记的元组或列表。可用于指定分词器支持的语言列表。
add_prefix_space (bool, 可选, 默认为 True) — 是否在输入中添加初始空格。这允许将第一个词像其他词一样处理。

构建 SeamlessM4T 分词器。

改编自 RobertaTokenizer 和 XLNetTokenizer。基于 SentencePiece。

分词方法对于源语言文档是 <language code> <tokens> <eos>，对于目标语言文档是 <eos> <language code> <tokens> <eos>。

示例

>>> from transformers import SeamlessM4TTokenizer

>>> tokenizer = SeamlessM4TTokenizer.from_pretrained(
...     "facebook/hf-seamless-m4t-medium", src_lang="eng", tgt_lang="fra"
... )
>>> example_english_phrase = " UN Chief Says There Is No Military Solution in Syria"
>>> expected_translation_french = "Le chef de l'ONU affirme qu'il n'y a pas de solution militaire en Syrie."
>>> inputs = tokenizer(example_english_phrase, text_target=expected_translation_french, return_tensors="pt")

call

( text: typing.Union[str, list[str], list[list[str]]] = None text_pair: typing.Union[str, list[str], list[list[str]], NoneType] = None text_target: typing.Union[str, list[str], list[list[str]]] = None text_pair_target: typing.Union[str, list[str], list[list[str]], NoneType] = None padding: typing.Union[bool, str, transformers.utils.generic.PaddingStrategy] = True pad_to_multiple_of: typing.Optional[int] = 2 src_lang: typing.Optional[str] = None tgt_lang: typing.Optional[str] = None **kwargs )

参数

text (str, list[str], list[list[str]], 可选) — 要编码的序列或序列批次。每个序列可以是一个字符串或一个字符串列表（预分词字符串）。如果序列以字符串列表（预分词）形式提供，您必须设置 is_split_into_words=True（以消除与序列批次的歧义）。
text_pair (str, list[str], list[list[str]], 可选) — 要编码的序列或序列批次。每个序列可以是一个字符串或一个字符串列表（预分词字符串）。如果序列以字符串列表（预分词）形式提供，您必须设置 is_split_into_words=True（以消除与序列批次的歧义）。
text_target (str, list[str], list[list[str]], 可选) — 要编码为目标文本的序列或序列批次。每个序列可以是一个字符串或一个字符串列表（预分词字符串）。如果序列以字符串列表（预分词）形式提供，您必须设置 is_split_into_words=True（以消除与序列批次的歧义）。
text_pair_target (str, list[str], list[list[str]], 可选) — 要编码为目标文本的序列或序列批次。每个序列可以是一个字符串或一个字符串列表（预分词字符串）。如果序列以字符串列表（预分词）形式提供，您必须设置 is_split_into_words=True（以消除与序列批次的歧义）。
padding (bool, str 或 PaddingStrategy, 可选, 默认为 True) — 在返回的序列中选择一种填充策略（根据模型的填充侧和填充索引）：
- True 或 'longest'：填充到批次中最长的序列（如果只提供单个序列则不填充）。
- 'max_length'：填充到由参数 max_length 指定的最大长度，如果未提供该参数，则填充到模型可接受的最大输入长度。
- False 或 'do_not_pad' (默认)：不填充（即可以输出具有不同长度序列的批次）。
pad_to_multiple_of (int, 可选) — 如果设置，将把序列填充到提供值的倍数。

这对于在计算能力 >= 7.5 (Volta) 的 NVIDIA 硬件上启用 Tensor Cores 的使用特别有用。
src_lang (str, 可选) — 表示源语言的字符串。如果未指定，将使用上次指定的 src_lang（在初始化或调用此分词器时）。
tgt_lang (str, 可选) — 表示目标语言的字符串。如果未指定，将使用上次指定的 tgt_lang（在初始化或调用此分词器时）。
kwargs (可选) — 剩余的关键字参数字典，将传递给 PreTrainedTokenizer.call()。

build_inputs_with_special_tokens

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) → list[int]

参数

token_ids_0 (list[int]) — 要添加特殊标记的 ID 列表。
token_ids_1 (list[int], 可选) — 序列对的第二个 ID 列表（可选）。

list[int]

带有适当特殊标记的输入ID列表。

通过连接和添加特殊标记，从序列或序列对构建用于序列分类任务的模型输入。NLLB 序列的格式如下，其中 X 表示序列：

input_ids（用于编码器）X [eos, src_lang_code]
decoder_input_ids：（用于解码器）X [eos, tgt_lang_code]

从不使用 BOS。序列对不是预期的用例，但它们将在没有分隔符的情况下处理。

get_special_tokens_mask

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None already_has_special_tokens: bool = False ) → list[int]

参数

token_ids_0 (list[int]) — ID 列表。
token_ids_1 (list[int], 可选) — 序列对的第二个 ID 列表（可选）。
already_has_special_tokens (bool, 可选, 默认为 False) — 标记列表是否已针对模型使用特殊标记格式化。

list[int]

一个范围为 [0, 1] 的整数列表：1 表示特殊标记，0 表示序列标记。

从没有添加特殊标记的标记列表中检索序列ID。此方法在使用分词器prepare_for_model方法添加特殊标记时调用。

create_token_type_ids_from_sequences

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) → list[int]

参数

token_ids_0 (list[int]) — ID 列表。
token_ids_1 (list[int], 可选) — 序列对的第二个 ID 列表（可选）。

list[int]

零列表。

从传递的两个序列创建掩码，用于序列对分类任务。nllb 不使用标记类型 ID，因此返回一个零列表。

save_vocabulary

( save_directory: str filename_prefix: typing.Optional[str] = None )

SeamlessM4TTokenizerFast

class transformers.SeamlessM4TTokenizerFast

( vocab_file = None tokenizer_file = None bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' src_lang = 'eng' tgt_lang = 'fra' additional_special_tokens = None **kwargs )

参数

vocab_file (str, 可选) — 词汇文件路径。
tokenizer_file (str, 可选) — 要使用的分词器文件路径，而不是词汇文件。
bos_token (str, 可选, 默认为 "<s>") — 预训练期间使用的序列开始标记。可以用作序列分类器标记。

使用特殊标记构建序列时，这不是序列开头使用的标记。使用的标记是 cls_token。
eos_token (str, 可选, 默认为 "</s>") — 序列结束标记。

使用特殊标记构建序列时，这不是序列结束使用的标记。使用的标记是 sep_token。
sep_token (str, 可选, 默认为 "</s>") — 分隔标记，用于从多个序列构建序列时，例如用于序列分类的两个序列，或用于问答的文本和问题。它也用作使用特殊标记构建的序列的最后一个标记。
cls_token (str, 可选, 默认为 "<s>") — 分类器标记，用于序列分类（整个序列的分类而不是按标记分类）。它是使用特殊标记构建序列时的第一个标记。
unk_token (str, 可选, 默认为 "<unk>") — 未知标记。不在词汇表中的标记不能转换为 ID，而是设置为此标记。
pad_token (str, 可选, 默认为 "<pad>") — 用于填充的标记，例如在批处理不同长度的序列时。
src_lang (str, 可选, 默认为 "eng") — 用于翻译的源语言。
tgt_lang (str, 可选, 默认为 "fra") — 用于翻译的目标语言。
additional_special_tokens (tuple 或 list of str 或 tokenizers.AddedToken, 可选) — 其他特殊标记的元组或列表。

构建一个“快速”SeamlessM4T 分词器（由 HuggingFace 的 tokenizers 库支持）。基于 BPE。

此分词器继承自 PreTrainedTokenizerFast，其中包含大部分主要方法。用户应参考此超类以获取有关这些方法的更多信息。

分词方法对于源语言文档是 <language code> <tokens> <eos>，对于目标语言文档是 <eos> <language code> <tokens> <eos>。

示例

>>> from transformers import SeamlessM4TTokenizerFast

>>> tokenizer = SeamlessM4TTokenizerFast.from_pretrained(
...     "facebook/hf-seamless-m4t-medium", src_lang="eng", tgt_lang="fra"
... )
>>> example_english_phrase = " UN Chief Says There Is No Military Solution in Syria"
>>> expected_translation_french = "Le chef de l'ONU affirme qu'il n'y a pas de solution militaire en Syrie."
>>> inputs = tokenizer(example_english_phrase, text_target=expected_translation_french, return_tensors="pt")

call

参数

text (str, list[str], list[list[str]], 可选) — 要编码的序列或序列批次。每个序列可以是一个字符串或一个字符串列表（预分词字符串）。如果序列以字符串列表（预分词）形式提供，您必须设置 is_split_into_words=True（以消除与序列批次的歧义）。
text_pair (str, list[str], list[list[str]], 可选) — 要编码的序列或序列批次。每个序列可以是一个字符串或一个字符串列表（预分词字符串）。如果序列以字符串列表（预分词）形式提供，您必须设置 is_split_into_words=True（以消除与序列批次的歧义）。
text_target (str, list[str], list[list[str]], 可选) — 要编码为目标文本的序列或序列批次。每个序列可以是一个字符串或一个字符串列表（预分词字符串）。如果序列以字符串列表（预分词）形式提供，您必须设置 is_split_into_words=True（以消除与序列批次的歧义）。
text_pair_target (str, list[str], list[list[str]], 可选) — 要编码为目标文本的序列或序列批次。每个序列可以是一个字符串或一个字符串列表（预分词字符串）。如果序列以字符串列表（预分词）形式提供，您必须设置 is_split_into_words=True（以消除与序列批次的歧义）。
padding (bool, str 或 PaddingStrategy, 可选, 默认为 True) — 在返回的序列中选择一种填充策略（根据模型的填充侧和填充索引）：
- True 或 'longest'：填充到批次中最长的序列（如果只提供单个序列则不填充）。
- 'max_length'：填充到由参数 max_length 指定的最大长度，如果未提供该参数，则填充到模型可接受的最大输入长度。
- False 或 'do_not_pad' (默认)：不填充（即可以输出具有不同长度序列的批次）。
pad_to_multiple_of (int, 可选) — 如果设置，将把序列填充到提供值的倍数。

这对于在计算能力 >= 7.5 (Volta) 的 NVIDIA 硬件上启用 Tensor Cores 的使用特别有用。
src_lang (str, 可选) — 表示源语言的字符串。如果未指定，将使用上次指定的 src_lang（在初始化或调用此分词器时）。
tgt_lang (str, 可选) — 表示目标语言的字符串。如果未指定，将使用上次指定的 tgt_lang（在初始化或调用此分词器时）。
kwargs (可选) — 剩余的关键字参数字典，将传递给 PreTrainedTokenizerFast.call()。

SeamlessM4TFeatureExtractor

class transformers.SeamlessM4TFeatureExtractor

( feature_size = 80 sampling_rate = 16000 num_mel_bins = 80 padding_value = 0.0 stride = 2 **kwargs )

参数

feature_size (int, 可选, 默认为 80) — 提取特征的特征维度。
sampling_rate (int, 可选, 默认为 16000) — 音频文件数字化的采样率，以赫兹 (Hz) 表示。
num_mel_bins (int, 可选, 默认为 80) — Mel 频率分箱的数量。
padding_value (float, 可选, 默认为 0.0) — 用于填充填充向量的值。
stride (int, 可选, 默认为 2) — 用于将音频从形状 (batch_size,num_frames,num_mel_bins) 重新塑形为 (batch_size,num_frames//stride,num_mel_bins*stride) 的步幅。

构建一个 SeamlessM4T 特征提取器。

此特征提取器继承自 SequenceFeatureExtractor，其中包含大部分主要方法。用户应参阅此超类以获取有关这些方法的更多信息。

此类从原始语音中提取 Mel 滤波器组特征。

call

( raw_speech: typing.Union[numpy.ndarray, list[float], list[numpy.ndarray], list[list[float]]] padding: typing.Union[bool, str, transformers.utils.generic.PaddingStrategy] = True pad_to_multiple_of: typing.Optional[int] = 2 max_length: typing.Optional[int] = None truncation: bool = False return_tensors: typing.Union[str, transformers.utils.generic.TensorType, NoneType] = None sampling_rate: typing.Optional[int] = None return_attention_mask: typing.Optional[bool] = None do_normalize_per_mel_bins: typing.Optional[bool] = True **kwargs )

参数

raw_speech (np.ndarray, torch.Tensor, list[float], list[np.ndarray], list[torch.Tensor], —
list[list[float]], list[list[list[float]]]) — 要填充的序列或序列批次。每个序列可以是 numpy 数组、torch 张量、浮点值列表、numpy 数组列表、torch 张量列表、浮点值列表的列表或浮点值列表的列表的列表。如果 raw_speech 是一维 np.ndarray、torch.Tensor 或 list[float]，则 raw_speech 被视为单通道、单样本声音。在所有其他情况下，raw_speech 的第一维，无论是来自 np.ndarray、torch.Tensor 还是 list[...]，都对应于批次中的样本数，并且通道数（即单声道或立体声特征）从其他维度导出（1D -> 单通道波形批次；2D-> 立体声通道波形批次）。
padding (bool, str 或 PaddingStrategy, 可选, 默认为 True) — 选择一种策略来填充返回的序列（根据模型的填充侧和填充索引），包括：
- True 或 'longest'：填充到批次中最长的序列（如果仅提供单个序列则不填充）。
- 'max_length'：填充到由参数 max_length 指定的最大长度，如果未提供该参数，则填充到模型可接受的最大输入长度。
- False 或 'do_not_pad' (默认)：不填充（即可以输出具有不同长度序列的批次）。
pad_to_multiple_of (int, 可选, 默认为 2) — 如果设置，将序列填充为给定值的倍数。

这对于在计算能力 >= 7.5 (Volta) 的 NVIDIA 硬件或 TPU 上启用 Tensor Cores 特别有用，因为它们受益于序列长度为 128 的倍数。
max_length (int, 可选) — 返回列表的最大长度和可选的填充长度（见上文）。
truncation (bool) — 激活截断，将长于 max_length 的输入序列截断为 max_length。
return_attention_mask (bool, 可选) — 是否返回注意力掩码。如果保留为默认值，将根据特定特征提取器的默认值返回注意力掩码。

什么是注意力掩码？

对于 SeamlessM4T 模型，为了避免细微错误，在批处理推理时应始终传递 attention_mask。
return_tensors (str 或 TensorType, 可选) — 如果设置，将返回张量而不是 Python 整数列表。可接受的值为：
- 'tf'：返回 TensorFlow tf.constant 对象。
- 'pt'：返回 PyTorch torch.Tensor 对象。
- 'np'：返回 Numpy np.ndarray 对象。
sampling_rate (int, 可选) — raw_speech 输入的采样率。强烈建议在转发调用时传递 sampling_rate 以防止静默错误。
do_normalize_per_mel_bins (bool, 可选, 默认为 True) — 是否对输入进行每梅尔通道的零均值单位方差归一化。
kwargs (可选) — 将传递给分词器或特征提取器的剩余关键字参数字典。

对一个或多个序列进行特征化并为模型准备的主方法。

SeamlessM4TProcessor

class transformers.SeamlessM4TProcessor

( feature_extractor tokenizer )

参数

feature_extractor (SeamlessM4TFeatureExtractor) — 音频处理器是必需的输入。
tokenizer (SeamlessM4TTokenizerFast) — 分词器是必需的输入。

构建一个 SeamlessM4T 处理器，它将 SeamlessM4T 特征提取器和 SeamlessM4T 分词器封装到一个处理器中。

SeamlessM4TProcessor 提供 SeamlessM4TFeatureExtractor 和 SeamlessM4TTokenizerFast 的所有功能。有关这些方法的更多信息，请参见 **call**() 和 decode()。

call

( text = None audios = None src_lang = None tgt_lang = None **kwargs ) → BatchEncoding

参数

text (str, list[str], list[list[str]]) — 要编码的序列或序列批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果序列以字符串列表（预分词）形式提供，则必须设置 is_split_into_words=True（以消除与序列批次的歧义）。
audios (np.ndarray, torch.Tensor, list[np.ndarray], list[torch.Tensor]) — 要准备的音频或音频批次。每个音频可以是 NumPy 数组或 PyTorch 张量。如果是 NumPy 数组/PyTorch 张量，每个音频的形状应为 (C, T)，其中 C 是通道数，T 是音频的采样长度。
src_lang (str, 可选) — 输入文本/音频的语言代码。如果未指定，将使用上次指定的 src_lang。
tgt_lang (str, 可选) — 用作翻译目标语言的语言代码。如果未指定，将使用上次指定的 tgt_lang。
kwargs (可选) — 将传递给特征提取器和/或分词器的剩余关键字参数字典。

BatchEncoding

一个 BatchEncoding，包含以下字段：

input_ids — 要输入到模型的 token ID 列表。当 text 不为 None 时返回。
attention_mask — 指定模型应关注哪些标记的索引列表（当 return_attention_mask=True 或 “attention_mask” 在 self.model_input_names 中且 text 不为 None 时）。
input_features — 将输入模型的音频输入特征。当 audios 不为 None 时返回。

准备一个或多个序列和音频供模型使用的主要方法。如果 text 不为 None，此方法将 text 和 kwargs 参数转发到 SeamlessM4TTokenizerFast 的 **call**() 以编码文本。要准备音频，如果 audios 不为 None，此方法将 audios 和 kwargs 参数转发到 SeamlessM4TFeatureExtractor 的 **call**()。有关详细信息，请参阅上述两种方法的文档字符串。

SeamlessM4TCodeHifiGan

class transformers.SeamlessM4TCodeHifiGan

( config )

参数

config (SeamlessM4TCodeHifiGan) — 模型的配置类，包含模型的所有参数。使用配置文件初始化不加载与模型关联的权重，只加载配置。请查阅 from_pretrained() 方法以加载模型权重。

代码 HiFi-GAN 声码器，如本仓库中所述。

此模型继承自 PreTrainedModel。查看超类文档以了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、修剪头部等）

此模型也是 PyTorch torch.nn.Module 子类。将其作为常规 PyTorch 模块使用，并参考 PyTorch 文档以了解与通用用法和行为相关的所有事项。

前向

( input_ids: LongTensor spkr_id: Tensor lang_id: Tensor )

参数

input_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor) — 词汇表中输入序列标记的索引。

索引可以使用 SeamlessM4TTextToUnitForConditionalGeneration 获取。什么是输入 ID？
spkr_id (int, 可选) — 用于语音合成的说话人 ID。必须小于 config.vocoder_num_spkrs。
tgt_lang (str, 可选) — 用作翻译目标语言的语言 ID。

SeamlessM4THifiGan

class transformers.SeamlessM4THifiGan

( config: SeamlessM4TConfig )

前向

( input_embeds: FloatTensor ) → torch.FloatTensor

参数

spectrogram (torch.FloatTensor) — 包含对数梅尔谱图的张量。可以是批处理的，形状为 (batch_size, sequence_length, model_in_dim)；也可以是未批处理的，形状为 (sequence_length, model_in_dim)。请注意，model_in_dim 是 config.unit_embed_dim、config.lang_embed_dim 和 config.spkr_embed_dim 的总和。

torch.FloatTensor

包含语音波形的张量。如果输入谱图是批处理的，则形状为 (batch_size, num_frames,)。如果未批处理，则形状为 (num_frames,)。

将对数梅尔谱图转换为语音波形。传递一批对数梅尔谱图将返回一批语音波形。传递单个未批处理的对数梅尔谱图将返回单个未批处理的语音波形。

SeamlessM4TTextToUnitModel

class transformers.SeamlessM4TTextToUnitModel

( config: SeamlessM4TConfig embed_tokens_decoder: typing.Optional[torch.nn.modules.sparse.Embedding] = None )

参数

config (SeamlessM4TConfig) — 模型的配置类，包含模型的所有参数。使用配置文件初始化不加载与模型关联的权重，只加载配置。请查阅 from_pretrained() 方法以加载模型权重。
embed_tokens_decoder (nn.Embedding, 可选) — 解码器的输入嵌入。

Transformer 裸文本到单元编码器-解码器。编码器是一个不带嵌入的 SeamlessM4TEncoder，解码器是一个 SeamlessM4TDecoder。

此模型继承自 PreTrainedModel。查看超类文档以了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、修剪头部等）

此模型也是 PyTorch torch.nn.Module 子类。将其作为常规 PyTorch 模块使用，并参考 PyTorch 文档以了解与通用用法和行为相关的所有事项。

SeamlessM4TTextToUnitForConditionalGeneration

class transformers.SeamlessM4TTextToUnitForConditionalGeneration

( config: SeamlessM4TConfig embed_tokens_decoder: typing.Optional[torch.nn.modules.sparse.Embedding] = None )

参数

config (SeamlessM4TConfig) — 模型的配置类，包含模型的所有参数。使用配置文件初始化不加载与模型关联的权重，只加载配置。请查阅 from_pretrained() 方法以加载模型权重。
embed_tokens_decoder (nn.Embedding, 可选) — 解码器的输入嵌入。

带语言模型头的 Transformer 文本到单元编码器-解码器。基础编码器-解码器模型是 SeamlessM4TTextToUnit。

此模型继承自 PreTrainedModel。查看超类文档以了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、修剪头部等）

此模型也是 PyTorch torch.nn.Module 子类。将其作为常规 PyTorch 模块使用，并参考 PyTorch 文档以了解与通用用法和行为相关的所有事项。

前向