参数

• input_ids （形状为 (batch_size, sequence_length) 的 torch.LongTensor） — 输入序列令牌在词汇表中的索引。如果您提供它，默认将忽略填充。

  可以通过使用 AutoTokenizer 来获取索引。关于详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID?

• attention_mask （形状为 (batch_size, sequence_length) 的 torch.Tensor，可选） — 避免将注意力应用于填充 token 索引的遮罩。遮罩值选择为 [0, 1]：
  • 1 表示 未遮罩 的 token，
  • 0 表示 遮罩 的 token。

  什么是注意力遮罩?

• decoder_input_ids (torch.LongTensor of shape (batch_size, target_sequence_length), optional) — 词汇表中的解码器输入序列标记的索引。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  解码器输入 ID 是什么意思？

  XLMProphetNet 使用 eos_token_id 作为 decoder_input_ids 生成的起始标记。如果使用 past_key_values，则可选择只输入最后 decoder_input_ids（请参阅 past_key_values）。

• decoder_attention_mask (torch.BoolTensor of shape (batch_size, target_sequence_length), optional) — 默认行为：生成一个张量，该张量在 decoder_input_ids 中忽略填充标记。默认情况下，也会使用因果掩码。
• head_mask (torch.Tensor of shape (encoder_layers, encoder_attention_heads), optional) — 用于使编码器中的注意力模块的选定头无效的掩码。掩码值选定在 [0, 1]：
  • 1 表示头 没有掩码；
  • 0 表示头 有掩码。
• decoder_head_mask (torch.Tensor of shape (decoder_layers, decoder_attention_heads), optional) — 对解码器中注意力模块选择头部进行屏蔽的掩码。选取的掩码值在[0, 1]范围内：
  • 1 表示该头部未被屏蔽，
  • 0 表示该头部被屏蔽。
• cross_attn_head_mask (torch.Tensor of shape (decoder_layers, decoder_attention_heads), optional) — 对跨注意力模块选择头部进行屏蔽的掩码。选取的掩码值在[0, 1]范围内：
  • 1 表示该头部未被屏蔽，
  • 0 表示该头部被屏蔽。
• encoder_outputs (tuple(tuple(torch.FloatTensor), optional) — 包含(last_hidden_state，optional: hidden_states，optional: attentions)的元组。last_hidden_state 的形状为 (batch_size, sequence_length, hidden_size)，optional) 是编码器最后一层的隐藏状态序列。在解码器的跨注意力中用于。
• past_key_values (tuple(tuple(torch.FloatTensor))，长度为 config.n_layers，每个元组包含形状为 (batch_size, num_heads, sequence_length - 1, embed_size_per_head) 的 4 个张量) — 包含注意力块的预计算键和值隐藏状态。可用于加速解码。

  如果使用 past_key_values，用户可以选择只输入形状为 (batch_size, 1) 的最后一个 decoder_input_ids（那些没有将过去键值状态提供给此模型）而不是形状为 (batch_size, sequence_length) 的所有 decoder_input_ids。

• use_cache (bool，可选项） — 如果设置为 True，则返回 past_key_values 键值状态，并可用于加速解码（参见 past_key_values）。
• output_attentions (bool，可选项） — 是否返回所有注意力层的注意力张量。有关更多详细说明，请参见返回张量中的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参见返回张量下的hidden_states。
• return_dict (bool, 可选) — 是否返回一个ModelOutput 而不是普通元组。

A transformers.models.deprecated.xlm_prophetnet.modeling_xlm_prophetnet.XLMProphetNetSeq2SeqModelOutput 或由 torch.FloatTensor 组成的元组（如果 return_dict=False 被传递，或者当 config.return_dict=False）包含各种元素，具体取决于配置（XLMProphetNetConfig）和输入。

• last_hidden_state (torch.FloatTensor 的形状 (batch_size, decoder_sequence_length, hidden_size)) — 模型解码器最后一层输出时的主要流隐藏状态序列。

  如果使用 past_key_values，则只输出序列的最后一个隐藏状态，形状为 (batch_size, 1, hidden_size)。

• last_hidden_state_ngram (torch.FloatTensor 的形状 (batch_size,ngram * decoder_sequence_length, config.vocab_size)，可选) — 模型解码器最后一层输出时预测流隐藏状态序列。

• past_key_values (List[torch.FloatTensor]，可选，在传递 use_cache=True 时返回或当 config.use_cache=True） — 一个长度为 config.n_layers 的 torch.FloatTensor 列表，每个张量的形状为 (2, batch_size, num_attn_heads, decoder_sequence_length, embed_size_per_head)。

  包含解码器中预计算的隐藏状态（注意力的键和值），可用于（参见 past_key_values 输入）加速顺序解码。

• decoder_hidden_states (tuple(torch.FloatTensor)，可选，在传递 output_hidden_states=True 时返回或当 config.output_hidden_states=True） — 一个形状为 (batch_size, decoder_sequence_length, hidden_size) 的 torch.FloatTensor 元组（一个用于嵌入输出，一个用于每个层的输出）。

  解码器主要流在输出每层的隐藏状态以及初始嵌入输出。

• decoder_ngram_hidden_states (tuple(torch.FloatTensor), 可选，当传递output_hidden_states=True 或 config.output_hidden_states=True时返回) — torch.FloatTensor的元组（一个用于嵌入层输出，一个用于每个层的输出），形状为(batch_size, ngram * decoder_sequence_length, hidden_size)。

  每个层输出的解码器的预测流中的隐藏状态加上初始嵌入输出。

• decoder_attentions (tuple(torch.FloatTensor), 可选，当传递output_attentions=True 或 config.output_attentions=True时返回) — torch.FloatTensor的元组（每个层一个），形状为(batch_size, num_attn_heads, decoder_sequence_length, decoder_sequence_length)。

  解码器的注意力权重，在应用注意力softmax后，用于计算self-attention头部中的加权平均值。

• decoder_ngram_attentions (tuple(torch.FloatTensor), 可选，当传递output_attentions=True 或 config.output_attentions=True时返回) — torch.FloatTensor的元组（每个层一个），形状为(batch_size, num_attn_heads, decoder_sequence_length, decoder_sequence_length)。

  解码器的预测流在应用注意力softmax后的注意力权重，用于计算交叉注意力中的加权平均值。

• cross_attentions (tuple(torch.FloatTensor), 可选，当传递output_attentions=True 或 config.output_attentions=True时返回) — torch.FloatTensor的元组（每个层一个），形状为(batch_size, num_attn_heads, encoder_sequence_length, decoder_sequence_length)。

  解码器的跨注意力层在应用注意力softmax后的注意力权重，用于计算跨注意力中的加权平均值。

• encoder_last_hidden_state (torch.FloatTensor，形状为(batch_size, encoder_sequence_length, hidden_size)，可选) — 模型编码器最后一个层的隐藏状态序列。

• encoder_hidden_states (tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True 或 config.output_hidden_states=True时返回) — torch.FloatTensor的元组（一个用于嵌入层输出，一个用于每个层的输出），形状为(batch_size, encoder_sequence_length, hidden_size)。

  编码器在每个层输出的隐藏状态加上初始嵌入输出。

• encoder_attentions (tuple(torch.FloatTensor)，可选，当传递output_attentions=True 或 config.output_attentions=True时返回) — torch.FloatTensor的元组（每个层一个），形状为(batch_size, num_attn_heads, encoder_sequence_length, encoder_sequence_length)。

  编码器的注意力权重，在应用注意力softmax后，用于计算self-attention头部中的加权平均值。

参数

• input_ids (torch.LongTensor 形状为 (batch_size, sequence_length)) — 词汇表中的输入序列标记的索引。提供时，默认将忽略填充。
• attention_mask (torch.Tensor 形状为 (batch_size, sequence_length), 可选) — 避免在填充标记索引上执行注意力的掩码。选择的掩码值在 [0, 1] 中：

• head_mask (torch.Tensor 形状为 (encoder_layers, encoder_attention_heads), 可选) — 掩码以取消编码器中注意力模块选择的头部。选择的掩码值在 [0, 1] 中：

• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。更多细节请参见返回张量下的attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多细节请参见返回张量下的hidden_states。
• return_dict (bool, 可选) — 是否返回ModelOutput而不是普通元组。

transformers.modeling_outputs.BaseModelOutput或一个torch.FloatTensor的元组（如果传递了return_dict=False或当config.return_dict=False时），包含各种元素，这些元素取决于配置（XLMProphetNetConfig）和输入。

• last_hidden_state (torch.FloatTensor形状为(batch_size, sequence_length, hidden_size)) — 模型最后一层的隐藏状态序列。

• hidden_states (tuple(torch.FloatTensor)，可选，在传递output_hidden_states=True时返回或当config.output_hidden_states=True时返回) — 一个包含torch.FloatTensor的元组（如果模型有嵌入层，则包括嵌入层的输出 + 每层的输出）的形状为(batch_size, sequence_length, hidden_size)。

  模型在每一层的输出后的隐藏状态加上可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), 可选，在传递output_attentions=True或当config.output_attentions=True时返回) — 一个torch.FloatTensor的元组（每个层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于在自注意力头中计算加权平均。

参数

• input_ids (torch.LongTensor of shape (batch_size, sequence_length)) — 输入序列标记的索引，其形状为(batch_size, sequence_length)的torch.LongTensor。如果提供了填充，默认会忽略填充。

  索引可以通过 AutoTokenizer 获取。有关详细信息，请参阅PreTrainedTokenizer.encode()和PreTrainedTokenizer.call()。

  什么是输入索引?

• attention_mask (torch.Tensor的形状为(batch_size, sequence_length)，可选）—— 用于避免在填充标记索引上进行注意力计算的掩码。掩码值选择在[0, 1]之间：
  • 1表示未遮蔽的标记；
  • 0表示遮蔽的标记。

  什么是注意力掩码？

• head_mask (torch.Tensor的形状为(encoder_layers, encoder_attention_heads)，可选）—— 用于屏蔽编码器中注意力模块的选定头。掩码值选择在[0, 1]之间：
  • 1表示头未被遮蔽；
  • 0表示头被遮蔽。
• output_attentions (bool，可选）—— 是否返回所有注意力层的注意力张量。更多详细信息请参考返回张量的attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多详细信息请查看返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是纯元组。
• encoder_hidden_states (torch.FloatTensor 形状为 (batch_size, sequence_length, hidden_size)，可选) — 编码器最后一层的隐藏状态序列。在配置为解码器时用于交叉注意力。
• encoder_attention_mask （torch.FloatTensor 形状为 (batch_size, sequence_length)，可选） — 屏蔽编码器输入中填充标记索引的注意力操作。该屏蔽用于如果模型配置为解码器时的交叉注意力中。屏蔽值选择在 [0, 1]：
• cross_attn_head_mask （torch.Tensor 形状为 (decoder_layers, decoder_attention_heads)，可选） — 屏蔽交叉注意力模块中选定的头部。屏蔽值选择在 [0, 1]：
  • 1 表示头部 未屏蔽，
  • 0 表示头部 已屏蔽。
• past_key_values （长度为 config.n_layers 的 tuple(tuple(torch.FloatTensor))，每个元组包含 4 个形状为 (batch_size, num_heads, sequence_length - 1, embed_size_per_head) 的张量） — 包含注意力块的预计算键和值隐藏状态。可用于加快解码速度。

  如果使用 past_key_values，用户可以选择只输入最后的 decoder_input_ids（那些没有给该模型给定过去键值状态的）的形状为 (batch_size, 1)，而不是所有 decoder_input_ids 的形状为 (batch_size, sequence_length)。

• use_cache (bool, 可选) — 如果设置为 True，则返回 past_key_values 的键值状态，可用于加速解码（见 past_key_values）。
  • 对于 未遮蔽 的标记，为 1。
  • 对于 遮蔽 的标记，为 0。

transformers.models.deprecated.xlm_prophetnet.modeling_xlm_prophetnet.XLMProphetNetDecoderModelOutput 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False）由配置（XLMProphetNetConfig）和输入决定。

• last_hidden_state (torch.FloatTensor 的形状 (batch_size, decoder_sequence_length, hidden_size)) — 模型解码器最后一层输出时的主要流隐藏状态序列。

  如果使用 past_key_values，则只输出序列的最后一个隐藏状态，形状为 (batch_size, 1, hidden_size)。

• last_hidden_state_ngram （torch.FloatTensor 的形状为 (batch_size, ngram * decoder_sequence_length, config.vocab_size)） — 模型解码器最后一层输出处的预测流隐藏状态的序列。

• past_key_values (List[torch.FloatTensor]，可选，在传递 use_cache=True 时返回或当 config.use_cache=True） — 一个长度为 config.n_layers 的 torch.FloatTensor 列表，每个张量的形状为 (2, batch_size, num_attn_heads, decoder_sequence_length, embed_size_per_head)。

  包含解码器中预计算的隐藏状态（注意力的键和值），可用于（参见 past_key_values 输入）加速顺序解码。

• hidden_states （tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回） — torch.FloatTensor 的元组（一个对应嵌入输出 + 一个对应每一层的输出）的形状为 (batch_size, decoder_sequence_length, hidden_size)。

  解码器主要流在输出每层的隐藏状态以及初始嵌入输出。

• ngram_hidden_states （tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回） — torch.FloatTensor 的元组（一个对应嵌入输出 + 一个对应每一层的输出）的形状为 (batch_size, ngram * decoder_sequence_length, hidden_size)。

  每个层输出的解码器的预测流中的隐藏状态加上初始嵌入输出。

• attentions （tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回） — 每一层的 torch.FloatTensor 的元组（层的大小为 (batch_size, num_attn_heads, decoder_sequence_length, decoder_sequence_length)）。

  解码器的注意力权重，在应用注意力softmax后，用于计算self-attention头部中的加权平均值。

• ngram_attentions （tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回） — 每一层的 torch.FloatTensor 的元组（层的大小为 (batch_size, num_attn_heads, decoder_sequence_length, decoder_sequence_length)）。

  解码器的预测流在应用注意力softmax后的注意力权重，用于计算交叉注意力中的加权平均值。

• cross_attentions (tuple(torch.FloatTensor), 可选，当传递output_attentions=True 或 config.output_attentions=True时返回) — torch.FloatTensor的元组（每个层一个），形状为(batch_size, num_attn_heads, encoder_sequence_length, decoder_sequence_length)。

  解码器的跨注意力层在应用注意力softmax后的注意力权重，用于计算跨注意力中的加权平均值。

参数

• (torch.LongTensor 形状为(batch_size, sequence_length)) —词汇表中的输入序列标记的索引。如果您提供填充，则默认忽略填充。

• attention_mask (torch.Tensor 形状为(batch_size, sequence_length), 可选) — 用于避免对填充标记索引执行注意力的掩码。掩码值在[0, 1]之间选择：

• decoder_input_ids (torch.LongTensor 形状 (batch_size, target_sequence_length)，optional ) — 词汇表中的解码器输入序列标记的索引。
  使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
• decoder_attention_mask (torch.BoolTensor 形状 (batch_size, target_sequence_length)，optional ) — 默认行为：生成一个忽略 decoder_input_ids 中的填充标记的张量。默认情况下，还将使用因果掩码。
• head_mask (torch.Tensor 形状 (encoder_layers, encoder_attention_heads)，optional ) — 用于关闭编码器注意力模块中选定头部的掩码。掩码值选择的 [0, 1]：
  • 1 表示头部 未掩码，
  • 0 表示头部 掩码。
• decoder_head_mask （torch.Tensor的形状为(decoder_layers, decoder_attention_heads)，可选） — 用于消除解码器中注意力模块选定的头的掩码。掩码值在[0, 1]中选择：
  • 1表示该头未掩码，
  • 0表示该头已掩码。
• cross_attn_head_mask （torch.Tensor的形状为(decoder_layers, decoder_attention_heads)，可选） — 用于消除跨注意力模块选定的头的掩码。掩码值在[0, 1]中选择：
  • 1表示该头未掩码，
  • 0表示该头已掩码。
• encoder_outputs （可选的tuple(tuple(torch.FloatTensor)） — 包含（码最后层的隐藏状态last_hidden_state，可选: hidden_states，可选: attentions）last_hidden_state的形状为（batch_size, sequence_length, hidden_size），可选）是输出编码器最后层的隐藏状态序列。用于解码器中的交叉注意力。
• past_key_values （长度为 config.n_layers 的 tuple(tuple(torch.FloatTensor))，每个 tuple 包含形状为 (batch_size, num_heads, sequence_length - 1, embed_size_per_head) 的 4 个张量） — 包含注意力块预计算的键和值隐藏状态。可用于加速解码。
• use_cache （bool，可选） — 如果设置为 True，将返回 past_key_values 键值状态，可用于加速解码（见 past_key_values）。
• output_attentions （bool，可选） — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回的张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关返回张量下 hidden_states 的更多信息，请参阅详情。
• return_dict (bool, 可选) — 是否返回一个ModelOutput，而不是一个普通元组。
• labels (torch.LongTensor 形状为 (batch_size,)，可选) — 用于计算序列分类/回归损失的标签。索引应在 [-100, 0, ..., config.vocab_size - 1]。所有设置为 -100 的标签将被忽略（掩码），仅对 [0, ..., config.vocab_size] 中的标签计算损失

A transformers.models.deprecated.xlm_prophetnet.modeling_xlm_prophetnet.XLMProphetNetSeq2SeqLMOutput 或一个 torch.FloatTensor 的元组（如果传递 return_dict=False 或当 config.return_dict=False），根据配置（XLMProphetNetConfig）和输入包含不同元素。

• loss (torch.FloatTensor 形状为 (1,)，可选，当提供标签时返回) — 语言模型损失。

• logits (torch.FloatTensor 形状为 (batch_size, decoder_sequence_length, config.vocab_size)) — 主流语言模型头部预测分数（每个词汇的分数在 SoftMax 之前）。

• logits_ngram （形状为(batch_size, ngram * decoder_sequence_length, config.vocab_size)的torch.FloatTensor） — 预测流语言建模头的预测得分（在SoftMax之前的每个词汇得分）。

• past_key_values (List[torch.FloatTensor]，可选，在传递 use_cache=True 时返回或当 config.use_cache=True） — 一个长度为 config.n_layers 的 torch.FloatTensor 列表，每个张量的形状为 (2, batch_size, num_attn_heads, decoder_sequence_length, embed_size_per_head)。

  包含解码器中预计算的隐藏状态（注意力的键和值），可用于（参见 past_key_values 输入）加速顺序解码。

• decoder_hidden_states (tuple(torch.FloatTensor)，可选，在传递 output_hidden_states=True 时返回或当 config.output_hidden_states=True） — 一个形状为 (batch_size, decoder_sequence_length, hidden_size) 的 torch.FloatTensor 元组（一个用于嵌入输出，一个用于每个层的输出）。

  解码器主要流在输出每层的隐藏状态以及初始嵌入输出。

• decoder_ngram_hidden_states (tuple(torch.FloatTensor), 可选，当传递output_hidden_states=True 或 config.output_hidden_states=True时返回) — torch.FloatTensor的元组（一个用于嵌入层输出，一个用于每个层的输出），形状为(batch_size, ngram * decoder_sequence_length, hidden_size)。

  每个层输出的解码器的预测流中的隐藏状态加上初始嵌入输出。

• decoder_attentions (tuple(torch.FloatTensor), 可选，当传递output_attentions=True 或 config.output_attentions=True时返回) — torch.FloatTensor的元组（每个层一个），形状为(batch_size, num_attn_heads, decoder_sequence_length, decoder_sequence_length)。

  解码器的注意力权重，在应用注意力softmax后，用于计算self-attention头部中的加权平均值。

• decoder_ngram_attentions (tuple(torch.FloatTensor), 可选，当传递output_attentions=True 或 config.output_attentions=True时返回) — torch.FloatTensor的元组（每个层一个），形状为(batch_size, num_attn_heads, decoder_sequence_length, decoder_sequence_length)。

  解码器预测流的注意力权重，在注意力SoftMax之后，用于在自注意力头中计算加权平均值。

• cross_attentions (tuple(torch.FloatTensor), 可选，当传递output_attentions=True 或 config.output_attentions=True时返回) — torch.FloatTensor的元组（每个层一个），形状为(batch_size, num_attn_heads, encoder_sequence_length, decoder_sequence_length)。

  解码器的跨注意力层在应用注意力softmax后的注意力权重，用于计算跨注意力中的加权平均值。

• encoder_last_hidden_state (torch.FloatTensor，形状为(batch_size, encoder_sequence_length, hidden_size)，可选) — 模型编码器最后一个层的隐藏状态序列。

• encoder_hidden_states (tuple(torch.FloatTensor)，可选，当传递output_hidden_states=True 或 config.output_hidden_states=True时返回) — torch.FloatTensor的元组（一个用于嵌入层输出，一个用于每个层的输出），形状为(batch_size, encoder_sequence_length, hidden_size)。

  编码器在每个层输出的隐藏状态加上初始嵌入输出。

• encoder_attentions （torch.FloatTensor的元组，可选，在传递output_attentions=True时返回，或当config.output_attentions=True时） — 形状为(batch_size, num_attn_heads, encoder_sequence_length, encoder_sequence_length)的torch.FloatTensor元组（每个层一个）。在注意力SoftMax之后编码器的注意力权重，用于在自注意力头中计算加权平均值。

参数

• input_ids (torch.LongTensor of shape (batch_size, sequence_length)) — 词汇表中的输入序列标记的索引。如果提供，默认将忽略填充。
• attention_mask (torch.Tensor of shape (batch_size, sequence_length), 可选) — 用于避免在填充标记索引上执行注意力的掩码。掩码值在 [0, 1] 中选择：
• head_mask (torch.Tensor of shape (encoder_layers, encoder_attention_heads), 可选) — 用于关闭编码器中注意力模块中选择的头部的掩码。掩码值在 [0, 1] 中选择：
• output_attentions (bool, 可选) — 是否返回所有注意力的张量。有关更多信息，请参阅返回的张量中的attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多信息，请参阅返回的张量中的hidden_states。
• return_dict (bool, 可选) — 是否返回ModelOutput 而不是纯元组。
• encoder_hidden_states (torch.FloatTensor 的形状 (batch_size, sequence_length, hidden_size)，可选) — 编码器最后一层的隐藏状态序列。如果模型配置为解码器，则用于交叉注意力。
• encoder_attention_mask (torch.FloatTensor 的形状 (batch_size, sequence_length)，可选) — 用于避免在编码器输入的填充标记索引上执行注意力的掩码。如果模型配置为解码器，则用于交叉注意力。掩码值选在 [0, 1]：
• cross_attn_head_mask (torch.Tensor 的形状 (decoder_layers, decoder_attention_heads)，可选) — 用于使交叉注意力模块的选定头无效的掩码。掩码值选在 [0, 1]：
• past_key_values (长度为 config.n_layers 的 tuple(tuple(torch.FloatTensor))，每个 tuple 包含 4 个形状为(batch_size, num_heads, sequence_length - 1, embed_size_per_head) 的张量) — 包含 attention 块的预计算 key 和 value 隐藏状态。可用于加速解码。

  如果使用 past_key_values，则用户可以选择只输入最后一个 decoder_input_ids（那些没有向该模型提供过去键值状态的）的形状为 (batch_size, 1)，而不是所有 decoder_input_ids 的形状为 (batch_size, sequence_length)。

• use_cache (bool，可选) — 如果设置为 True，则返回 past_key_values key value 状态，可用于加速解码（见 past_key_values）。
  • 对 未掩码 的 token，值为 1，
  • 对 掩码 的 token，值为 0。
• labels (形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选) — 用于计算双向语言模型损失（下一个词预测）的标签。索引应在 [-100, 0, ..., config.vocab_size]（见 input_ids 文档字符串）之间（带符号），索引设为 -100 的 token 被忽略（掩码），仅计算标签索引 [0, ..., config.vocab_size] 的 token 的损失

一个 transformers.models.deprecated.xlm_prophetnet.modeling_xlm_prophetnet.XLMProphetNetDecoderLMOutput 或一个包含 torch.FloatTensor 的元组（如果传入 return_dict=False 或当 config.return_dict=False）的元组，其包含的元素取决于配置（XLMProphetNetConfig）和输入。

• loss (torch.FloatTensor 形状为 (1,)，可选，当提供标签时返回) — 语言模型损失。

• logits (torch.FloatTensor 形状为 (batch_size, decoder_sequence_length, config.vocab_size)) — 主流语言模型头部预测分数（每个词汇的分数在 SoftMax 之前）。

• logits_ngram （形状为(batch_size, ngram * decoder_sequence_length, config.vocab_size)的torch.FloatTensor） — 预测流语言建模头的预测得分（在SoftMax之前的每个词汇得分）。

• past_key_values (List[torch.FloatTensor]，可选，在传递 use_cache=True 时返回或当 config.use_cache=True） — 一个长度为 config.n_layers 的 torch.FloatTensor 列表，每个张量的形状为 (2, batch_size, num_attn_heads, decoder_sequence_length, embed_size_per_head)。

  包含解码器中预计算的隐藏状态（注意力的键和值），可用于（参见 past_key_values 输入）加速顺序解码。

• hidden_states （tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回） — torch.FloatTensor 的元组（一个对应嵌入输出 + 一个对应每一层的输出）的形状为 (batch_size, decoder_sequence_length, hidden_size)。

  解码器主要流在输出每层的隐藏状态以及初始嵌入输出。

• ngram_hidden_states （tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回） — torch.FloatTensor 的元组（一个对应嵌入输出 + 一个对应每一层的输出）的形状为 (batch_size, ngram * decoder_sequence_length, hidden_size)。

  每个层输出的解码器的预测流中的隐藏状态加上初始嵌入输出。

• attentions （tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回） — 每一层的 torch.FloatTensor 的元组（层的大小为 (batch_size, num_attn_heads, decoder_sequence_length, decoder_sequence_length)）。

  解码器的注意力权重，在应用注意力softmax后，用于计算self-attention头部中的加权平均值。

• ngram_attentions （tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回） — 每一层的 torch.FloatTensor 的元组（层的大小为 (batch_size, num_attn_heads, decoder_sequence_length, decoder_sequence_length)）。

  解码器的预测流在应用注意力softmax后的注意力权重，用于计算交叉注意力中的加权平均值。

• cross_attentions (tuple(torch.FloatTensor), 可选，当传递output_attentions=True 或 config.output_attentions=True时返回) — torch.FloatTensor的元组（每个层一个），形状为(batch_size, num_attn_heads, encoder_sequence_length, decoder_sequence_length)。

  解码器的跨注意力层在应用注意力softmax后的注意力权重，用于计算跨注意力中的加权平均值。