参数

• input_ids (torch.LongTensor of shape (batch_size, sequence_length)) — 输入序列token在词汇表中的索引。
  利用SeamlessM4TTokenizer或SeamlessM4TProcessor可获取索引。有关详情，请参阅PreTrainedTokenizer.encode()和PreTrainedTokenizer.call()。

  什么是输入ID?

• return_intermediate_token_ids （bool，可选） — 如果为 True，则同时返回中间生成的文本和单元标记。如果您还希望获取翻译文本，除了音频之外，设置为您即可获得翻译文本。
• tgt_lang （str，可选） — 用于翻译的目标语言。
• speaker_id （int，可选，默认值0） — 用于语音合成的说话人ID。必须小于 config.vocoder_num_spkrs。
• kwargs (可选) — 传递给 GenerationMixin.generate() 的剩余关键字参数字典。关键字参数有两种类型：
  • 没有前缀的，它们将作为每个子模型的 generate 方法中的 **kwargs 使用，除了 decoder_input_ids 只会通过文本组件传递。
  • 带有 text_ 或 speech_ 前缀的，它们将依次输入到文本模型和语音模型的 generate 方法中。它具有优先级，高于没有前缀的关键字。

  这意味着，例如，您可以为一个生成指定生成策略，但不为另一个指定。

• 如果 return_intermediate_token_ids，则返回 SeamlessM4Tv2GenerationOutput。
• 如果不 return_intermediate_token_ids，则返回一个由形状为 (batch_size, sequence_length) 的波幅和 waveform_lengths 组成的元组，后者给出了每个样本的长度。

参数

• input_features (torch.FloatTensor 形状 (batch_size, sequence_length, num_banks)) — 输入音频特征。这应由 SeamlessM4TFeatureExtractor 类或 SeamlessM4TProcessor 类返回。有关详细信息，请参阅 SeamlessM4TFeatureExtractor.call()。
• return_intermediate_token_ids (bool，可选） — 如果为 True，还将返回中间生成的文本和单元标识符。如果想同时获得翻译文本和音频，请设置为 True。
• tgt_lang (str，可选） — 用于翻译的目标语言。
• speaker_id (int, 可选, 默认值为0) — 用于语音合成的演讲者ID。必须小于 config.vocoder_num_spkrs。
• kwargs (可选) — 传递给 GenerationMixin.generate() 剩余的字典关键字参数。关键字参数有两种类型:
  • 没有前缀，它们将被作为 **kwargs 输入到每个子模型的 generate 方法中，除了 decoder_input_ids 之外，它将只会通过文本组件传递。
  • 带有 text_ 或 speech_ 前缀，它们将分别输入到文本模型和语音模型的 generate 方法中。它比没有前缀的关键字具有优先级。

  这意味着您可以为示例指定一个生成策略，但不为另一个指定。

• 如果 return_intermediate_token_ids，则返回 SeamlessM4Tv2GenerationOutput。
• 如果不 return_intermediate_token_ids，则返回一个由形状为 (batch_size, sequence_length) 的波幅和 waveform_lengths 组成的元组，后者给出了每个样本的长度。

参数

• input_ids (torch.LongTensor of shape (batch_size, sequence_length), optional) — 输入序列词汇中的输入序列令牌索引。

  索引可以通过使用 SeamlessM4TTokenizer 或 SeamlessM4TProcessor 获取。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入索引？

• attention_mask （形状为(batch_size, sequence_length)的torch.FloatTensor，可选） — 用于避免在填充标记索引上执行注意力的掩码。在[0, 1]中选择的掩码值：
  • 1表示未掩码的标记，
  • 0表示掩码的标记。

  什么是注意力掩码？

• decoder_input_ids （形状为(batch_size, target_sequence_length)的torch.LongTensor，可选） — 解码器输入序列标记的索引词汇。可以通过使用AutoTokenizer获得索引。有关详细信息，请参阅PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是解码器输入ID？

  Bart使用eos_token_id作为解码器输入ID生成的起点。如果使用了past_key_values，则可以选择性地仅输入最后生成的decoder_input_ids（请参阅past_key_values）。

  在翻译和摘要训练中，应提供decoder_input_ids。如果没有提供，则模型将根据论文中的去噪预训练方法创建该张量，通过将input_ids向右移位。

• decoder_attention_mask (torch.LongTensor 形状为 (batch_size, target_sequence_length)，可选) — 默认行为：生成一个忽略 decoder_input_ids 中填充令牌的张量。默认情况下还将使用因果掩码。
  若要更改填充行为，请阅读 modeling_bart._prepare_decoder_attention_mask 并根据需要进行修改。有关默认策略的更多信息，请参见文献 1 中的图表。
• encoder_outputs (tuple(tuple(torch.FloatTensor)，可选) — 元组包括 (last_hidden_state，可选：hidden_states，可选：attentions) last_hidden_state 形状为 (batch_size, sequence_length, hidden_size)，可选) 是编码器最后一层的隐藏状态序列。在解码器的交叉注意力中使用。
• past_key_values (tuple(tuple(torch.FloatTensor)), 可选，当传递 use_cache=True 或 config.use_cache=True 时返回) — 长度为 config.n_layers 的 tuple(torch.FloatTensor) 的元组，每个元组包含形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的 2 个张量，以及 2 个形状为 (batch_size, num_heads, encoder_sequence_length, embed_size_per_head) 的附加张量。

  包含预计算的自注意力块和交叉注意力块中的隐藏状态（键和值），可用于（请参阅 past_key_values 输入）以加速顺序解码。

  如果使用 past_key_values，则用户可以选择性地只输入形状为 (batch_size, 1) 的最后一个 decoder_input_ids（那些未将过去键值状态提供给此模型的）而不是所有形状为 (batch_size, sequence_length) 的 decoder_input_ids。

• inputs_embeds (torch.FloatTensor 形状为 (batch_size, sequence_length, hidden_size), 可选) — 可选择不传递 input_ids，而是直接传递嵌入表示。这在你想要比模型内部嵌入查找矩阵更多的控制方式将 input_ids 索引转换为相关向量时很有用。
• decoder_inputs_embeds (torch.FloatTensor of shape (batch_size, target_sequence_length, hidden_size), optional) — 可选地，而不是传递 decoder_input_ids，您可以直接传递嵌入表示。如果使用 past_key_values，则可选地只有最后的 decoder_inputs_embeds 需要输入（见 past_key_values）。这非常有用，如果您想更多地控制如何将 decoder_input_ids 的索引转换为相关向量，而不是模型内部的嵌入查找矩阵。

  如果 decoder_input_ids 和 decoder_inputs_embeds 都未设置，decoder_inputs_embeds 将取 inputs_embeds 的值。

• labels (torch.LongTensor of shape (batch_size, sequence_length), optional) — 用于计算掩码语言建模损失的标签。索引应在 [-100, 0, ..., config.vocab_size] 范围内（见 input_ids 文档字符串）索引设置为 -100 的标记将被忽略（掩码），损失只计算具有标签的标记 [0, ..., config.vocab_size]。
• use_cache (bool, optional) — 如果设置为 True，则返回 past_key_values 的键值状态，可用于加速解码（见 past_key_values）。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。详见返回张量下的 attentions 更多详情。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。详见返回张量下的 hidden_states 更多详情。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

参数

• input_ids (torch.Tensor of varying shape depending on the modality, optional) — Indices of input sequence tokens in the vocabulary.

  Indices can be obtained using SeamlessM4TTokenizer or SeamlessM4TProcessor. See PreTrainedTokenizer.encode() and PreTrainedTokenizer.call() for details.

  What are input IDs?

• tgt_lang (str, optional) — 用于翻译的目标语言。
• generation_config (~generation.GenerationConfig, optional) — 用于生成调用作为基本参数化的生成配置。传递给 generate 的 **kwargs 将会覆盖它们。如果没有提供 generation_config，将使用默认配置，其加载优先级如下：1) 从存在的 generation_config.json 模型文件；2) 从模型配置。请注意，未指明的参数将继承 GenerationConfig 的默认值，其文档应进行检查以进行参数化。
• logits_processor (LogitsProcessorList, optional) — 补充默认由参数和生成配置构建的 logits 处理器的自定义 logits 处理器。如果传递的 logits 处理器已经使用参数或生成配置创建，则会引发错误。此功能针对高级用户。
• stopping_criteria (StoppingCriteriaList, 可选) — 用来补充由参数和生成配置构建的默认停止条件的自定义停止条件。如果传递了一个已通过参数或生成配置创建的停止条件，则会抛出错误。该特性旨在供高级用户使用。
• prefix_allowed_tokens_fn (Callable[[int, torch.Tensor], List[int]], 可选) — 如果提供，此函数限制每个步骤只允许beam search使用允许的标记。如果不提供，则不应用任何约束。此函数接受2个参数：批ID batch_id 和 input_ids。它必须返回一个列表，其中包含基于批ID batch_id 和之前生成的标记 inputs_ids 的允许标记。该参数对于基于前缀的约束生成很有用，如自回归实体检索中所述。
• synced_gpus (bool, 可选, 默认为 False) — 是否继续执行while循环直到max_length（对于ZeRO阶段3是必需的）。
• kwargs (Dict[str, Any], optional) — 对generate_config和/或模型特定kwargs的临时参数化。这些kwargs将被转发到模型的forward函数中。

如果是return_dict_in_generate=True或当config.return_dict_in_generate=True，则是ModelOutput或一个torch.FloatTensor。可能的ModelOutput类型有

• GenerateEncoderDecoderOutput,
• GenerateBeamEncoderDecoderOutput

参数

• input_features (torch.FloatTensor of shape (batch_size, sequence_length, num_banks)) — 输入音频特征。应由 SeamlessM4TFeatureExtractor 类或 SeamlessM4TProcessor 类返回。有关详细信息，请参阅 SeamlessM4TFeatureExtractor.call()
• attention_mask (torch.FloatTensor of shape (batch_size, sequence_length), 可选) — 用于防止在填充token索引上执行注意力的掩码。在[0, 1]内选择掩码值：
  • 1 对应于未_masked的token
  • 0 对应于已_masked的token
  什么是注意力掩码？
• decoder_input_ids (torch.LongTensor of shape (batch_size, target_sequence_length), 可选) — 词汇表中解码器输入序列token的索引。

  可以借助AutoTokenizer获取索引。详见PreTrainedTokenizer.encode()和PreTrainedTokenizer.call()。

  什么是解码器输入ID？

  Bart使用eos_token_id作为解码器输入ID生成的起始token。如果使用past_key_values，则可选地只需要输入最后的部分decoder_input_ids（见past_key_values）。

  在翻译和摘要训练中，应提供decoder_input_ids。如果没有提供decoder_input_ids，则模型会根据论文中描述的去噪预训练方法通过将input_ids向右移动来创建这个tensor。

• decoder_attention_mask (torch.LongTensor 形状为 (batch_size, target_sequence_length)，可选) — 默认行为：生成一个tensor，忽略 decoder_input_ids 中的填充token。默认情况下还将使用因果掩码。

  如果您想更改填充行为，应阅读 modeling_bart._prepare_decoder_attention_mask 并根据您的需求进行修改。更多信息请参阅图1，参见该论文。

• encoder_outputs (tuple(tuple(torch.FloatTensor)，可选) — 元组包括 last_hidden_state（可选）、hidden_states（可选）、attentions），其中 last_hidden_state 形状为 (batch_size, sequence_length, hidden_size)，可选）是编码器最后一层的隐藏状态序列。在解码器的交叉注意力中使用。
• 过去键值信息（past_key_values）（tuple(tuple(torch.FloatTensor))，可选，当传递 use_cache=True 或 config.use_cache=True 时返回）— 长度为 config.n_layers 的 tuple(torch.FloatTensor) 的元组，每个元组包含两个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量以及两个形状为 (batch_size, num_heads, encoder_sequence_length, embed_size_per_head) 的附加张量。

  包含预计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于（请参阅 past_key_values 输入）来加速顺序解码。

  如果使用 past_key_values，用户可以选择仅输入最后一个 decoder_input_ids（那些没有将过去键值状态提供给此模型的）的形状为 (batch_size, 1)，而不是所有形状为 (batch_size, sequence_length) 的 decoder_input_ids。

• 输入嵌入信息（inputs_embeds）（shape=(batch_size, sequence_length, hidden_size) 的 torch.FloatTensor，可选）— 可选地，您可以选择直接传递嵌入表示而不是传递 input_ids。如果您想要比模型的内部嵌入查找矩阵更有控制权地将 input_ids 索引转换为相关向量，这种方法很有用。

• decoder_inputs_embeds （torch.FloatTensor 形状为 (batch_size, target_sequence_length, hidden_size)，可选）— 可选地，您可以选择直接传递嵌入表示而不是 decoder_input_ids。如果使用 past_key_values，则可选项仅将最后一个 decoder_inputs_embeds 输入（见 past_key_values）。这很有用，如果您想比模型的内部嵌入查找矩阵有更多控制权来转换 decoder_input_ids 索引到相关向量。

  如果 decoder_input_ids 和 decoder_inputs_embeds 都未设置，则 decoder_inputs_embeds 取 inputs_embeds 的值。

• labels （torch.LongTensor 形状为 (batch_size, sequence_length)，可选）— 用于计算掩码语言建模损失的标签。索引应在 [-100, 0, ..., config.vocab_size] 之间（参见 input_ids 的文档字符串）索引设置为 -100 的令牌将被忽略（掩码），损失仅针对标签在 [0, ..., config.vocab_size] 之间的令牌计算
• use_cache （bool，可选）— 如果设置为 True，将返回 past_key_values 的键值状态并可用于加速解码（见 past_key_values）。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是平面元组。

参数

• input_features (torch.FloatTensor of shape (batch_size, sequence_length, num_banks)) — 输入音频特征。应由SeamlessM4TFeatureExtractor类或SeamlessM4TProcessor类返回。请参阅SeamlessM4TFeatureExtractor.call()以获取详细信息。
• tgt_lang (str, optional) — 用于翻译的目标语言。
• generation_config (~generation.GenerationConfig, optional) — 用于生成调用作为基本参数化的生成配置。传递给 generate 的匹配 generation_config 属性的 **kwargs 将覆盖它们。如果没有提供 generation_config，将使用默认配置，其加载优先级如下：1) 从存在的 generation_config.json 模型文件中；2) 从模型配置中。请注意，未指定的参数将继承 GenerationConfig 的默认值，应检查其文档以进行生成参数化。
• logits_processor (LogitsProcessorList, optional) — 自定义 logits 处理器，补充从参数和生成配置构建的默认 logits 处理器。如果传递了一个已用参数或生成配置创建的 logits 处理器，将引发错误。该功能适用于高级用户。
• 停止条件 （可选项，类型 StoppingCriteriaList）— 自定义停止条件，补充由参数以及生成配置构建的默认停止条件。如果传入已使用参数或生成配置创建的停止条件，将抛出错误。此功能针对高级用户设计。
• prefix_allowed_tokens_fn （类型 Callable[[int, torch.Tensor], List[int]]，可选项）— 如果提供，此函数将限制束搜索仅在每个步骤中允许令牌。如果没有提供，则不应用约束。此函数接受两个参数：批ID batch_id 和 input_ids。它必须根据批ID batch_id 和先前生成的令牌 inputs_ids 返回允许令牌的列表，以用于下一步生成。此参数对于根据前缀约束的生成很有用，如自回归实体检索中所述。
• synced_gpus （类型 bool，可选项，默认为 False）— 是否继续运行循环直到 max_length（对于 ZeRO 阶段 3 所需）。
• kwargs (Dict[str, Any], 可选) — 对 generate_config 的临时参数化以及/或传递给模型 forward 函数的其他模型特定 kwargs。

如果是return_dict_in_generate=True或当config.return_dict_in_generate=True，则是ModelOutput或一个torch.FloatTensor。可能的ModelOutput类型有

• GenerateEncoderDecoderOutput,
• GenerateBeamEncoderDecoderOutput