参数

• input_ids (torch.LongTensor of shape (batch_size, sequence_length)) — 输入序列单词在词汇表中的索引。如果你提供填充，默认会忽略填充内容。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入ID？

• attention_mask (torch.Tensor 形状 (batch_size, sequence_length)，可选) — 用于避免在填充标记索引上执行注意力的掩码。掩码值在 [0, 1] 范围内选择：
  • 1 表示未被掩盖的标记，
  • 0 表示被掩盖的标记。

  什么是注意力掩码？

• position_ids (torch.LongTensor 形状 (batch_size, sequence_length)，可选) — 每个输入序列标记在位置嵌入中的位置索引。选择范围为 [0, config.max_position_embeddings - 1]。

  什么是位置ID？

• encoder_hidden_states (torch.FloatTensor 形状 (batch_size, encoder_sequence_length, hidden_size)，可选) — 是编码器最后一层的输出隐藏状态序列。用于解码器的交叉注意力中。
• encoder_attention_mask （形状为 (batch_size, encoder_sequence_length) 的 torch.LongTensor，可选） — 用于避免在编码器输入 input_ids 的填充标记索引上执行交叉注意力操作的掩码。掩码值选择在 [0, 1] 范围内：
  • 1 表示 未掩码 的标记；
  • 0 表示 掩码 的标记。

  什么是注意力掩码？

• head_mask （形状为 (num_layers, attention_heads) 的 torch.Tensor，可选） — 用于使注意力模块中选定的头部无效的掩码。掩码值选择在 [0, 1] 范围内：
  • 1 表示头部 未掩码；
  • 0 表示头部 掩码。
• cross_attn_head_mask （形状为 (num_layers, attention_heads) 的 torch.Tensor，可选） — 用于使交叉注意力模块中选定的头部无效的掩码。掩码值选择在 [0, 1] 范围内：
  • 1 表示头部 未掩码；
  • 0 表示头部 掩码。
• past_key_values (tuple(tuple(torch.FloatTensor)), 可选，当传递 use_cache=True 或 config.use_cache=True 时返回) — 长度为 config.n_layers 的 tuple，其中每个 tuple 包含 2 个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量以及 2 个形状为 (batch_size, num_heads, encoder_sequence_length, embed_size_per_head) 的额外张量。
  它包含预计算的隐藏状态（self-attention 和 cross-attention 块中的键和值），可以用于（参见 past_key_values 输入）加快顺序解码。
  如果使用 past_key_values，用户可以选择只输入最后一个 decoder_input_ids（那些没有向此模型提供过去键值状态的 decoder_input_ids），形状为 (batch_size, 1)，而不是形状为 (batch_size, sequence_length) 的所有 decoder_input_ids。

• inputs_embeds (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size)，可选) — 可选地，您可以选择直接传递嵌入表示，而不是传递 input_ids。如果您想比模型内部的嵌入查找矩阵有更多控制权来将 input_ids 索引转换为相关向量，则此操作非常有用。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更详细的信息请参见返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而非 plain tuple。

它可以是 transformers.modeling_outputs.BaseModelOutputWithPastAndCrossAttentions 或一个包含 torch.FloatTensor 的元组（如果传递 return_dict=False 或 config.return_dict=False），具体元素取决于配置和输入。

• last_hidden_state (torch.FloatTensor 形状 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出处的隐藏状态的序列。

  如果使用了 past_key_values，则仅输出形状为 (batch_size, 1, hidden_size) 的序列的最后一个隐藏状态。

• past_key_values (tuple(tuple(torch.FloatTensor)), 可选, 当传递 use_cache=True 或 config.use_cache=True 时返回) — 长度为 config.n_layers 的 tuple(torch.FloatTensor) 的元组，每个元组包含两个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量，如果有 config.is_encoder_decoder=True，则还包括两个形状为 (batch_size, num_heads, encoder_sequence_length, embed_size_per_head) 的张量。

  包含预计算的隐藏状态（self-attention 块中的键和值以及在 cross-attention 块中的可选值），这些状态可以用于（参见 past_key_values 输入）加速顺序解码。

• hidden_states (tuple(torch.FloatTensor), 可选, 当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — 包含形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 的元组（如果模型有嵌入层，则包括嵌入层的输出之一，加上每个层的输出）。

  模型在每一层输出的隐藏状态以及可选的初始嵌入输出。

• 注意事项 (tuple(torch.FloatTensor), 可选，当传递output_attentions=True或当config.output_attentions=True时返回) — torch.FloatTensor的元组（每个层一个）的元组，形状为(batch_size, num_heads, sequence_length, sequence_length)。

  在注意力softmax之后的注意力权重，用于在自注意力头中计算加权平均。

• 交叉注意力 (tuple(torch.FloatTensor), 可选，当output_attentions=True和config.add_cross_attention=True被传递，或当config.output_attentions=True时返回) — torch.FloatTensor的元组（每个层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。

  解码器的交叉 attentions 层在注意力softmax之后的注意力权重，用于在交叉注意力头中计算加权平均。

参数

• input_ids (torch.LongTensor of shape (batch_size, sequence_length)) — 输入序列的词库中的标记索引。如果提供了填充，则默认会忽略填充。

• attention_mask（《torch.Tensor》类型，形状为(批大小, 序列长度)，可选）— 用于避免在填充token的索引上执行注意力的掩码。掩码值在【0，1】内选取：
  • 1 用于未掩码的token，
  • 0 用于掩码的token。
• position_ids（《torch.LongTensor》类型，形状为(批大小, 序列长度)，可选）— 每个输入sequence token在位置嵌入中的位置索引。在范围【0，config.max_position_embeddings - 1】内选择。
• encoder_hidden_states（《torch.FloatTensor》类型，形状为(批大小, 编码器序列长度, 隐藏层大小)，可选）— 编码器最后层输出的隐藏状态序列。在解码器的交叉注意力中使用。
• encoder_attention_mask (torch.LongTensor 形状为 (batch_size, encoder_sequence_length), 可选) — 避免在编码器输入的 padding tokens 索引上执行交叉注意力的 mask。mask 值选在 [0, 1] 之间：
  • 1 对应未 mask 的 tokens,
  • 0 对应被 mask 的 tokens。

  什么是注意力 mask？

• head_mask (torch.Tensor 形状为 (num_layers, attention_heads), 可选) — 用于屏蔽注意力模块中选定 head 的 mask。mask 值选在 [0, 1] 之间：
  • 1 表示 head 未进行 mask,
  • 0 表示 head 已进行 mask。
• cross_attn_head_mask (torch.Tensor 形状为 (num_layers, attention_heads), 可选) — 用于屏蔽交叉注意力模块中选定 head 的 mask。mask 值选在 [0, 1] 之间：
  • 1 表示 head 未进行 mask,
  • 0 表示 head 已进行 mask。
• past_key_values（《代码元组》（tuple(tuple(torch.FloatTensor))）（可选），当传递use_cache=True或当config.use_cache=True时返回）— 长度为config.n_layers的tuple(torch.FloatTensor)，每个元组包含形状为(batch_size, num_heads, sequence_length, embed_size_per_head)的2个张量，以及形状为(batch_size, num_heads, encoder_sequence_length, embed_size_per_head)的2个额外的张量。

  包含预先计算的隐藏状态（self-attention块和cross-attention块中的key和value），可以在（参见past_key_values输入）时用作（加速）序列解码。

  如果使用past_key_values，则用户可以选择只输入最后一个decoder_input_ids（没有给此模型的过去key value状态的那些，形状为(batch_size, 1)），而不是所有形状为(batch_size, sequence_length)的decoder_input_ids。

• inputs_embeds（《torch.FloatTensor）形状为(batch_size, sequence_length, hidden_size)，（可选）— 表示，您可以选择直接传入嵌入表示而不是input_ids。当您想比模型内部嵌入查找矩阵更多控制如何将input_ids索引转换为相关向量时，这将很有用。
• output_attentions（《bool）（可选）— 是否返回所有注意力的张量。有关返回张量中attentions的详细信息，请参阅更多细节。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多细节请参阅返回的张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回<code>ModelOutput</code>而不是原始元组。
• labels (torch.LongTensor，形状为(batch_size, sequence_length)，可选) — 用于计算掩码语言模型损失的标签。索引可以是[0, ..., config.vocab_size]或-100 (请参阅input_ids文档字符串)。设置为-100的索引的标记将被忽略（掩码），损失仅对具有标签[0, ..., config.vocab_size]的标记计算。

A transformers.modeling_outputs.CausalLMOutputWithCrossAttentions或一个包含torch.FloatTensor的元组（如果传递了 return_dict=False 或当 config.return_dict=False）根据配置（XGLMConfig）和输入确定。

• loss (torch.FloatTensor，形状为(1,)，可选，当提供labels时返回) — 语言模型损失（用于预测下一个标记）。

• logits (torch.FloatTensor 的 shape 为 (batch_size, sequence_length, config.vocab_size)) — 语言建模头的预测分数（SoftMax 之前每个词汇的分数）。

• hidden_states (tuple(torch.FloatTensor), 可选, 当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — 包含形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 的元组（如果模型有嵌入层，则包括嵌入层的输出之一，加上每个层的输出）。

  模型在每一层输出的隐藏状态以及可选的初始嵌入输出。

• 注意事项 (tuple(torch.FloatTensor), 可选，当传递output_attentions=True或当config.output_attentions=True时返回) — torch.FloatTensor的元组（每个层一个）的元组，形状为(batch_size, num_heads, sequence_length, sequence_length)。

  在注意力softmax之后的注意力权重，用于在自注意力头中计算加权平均。

• cross_attentions (tuple(torch.FloatTensor), 可选，在传递 output_attentions=True 或 config.output_attentions=True 时返回) — 一个包含 torch.FloatTensor 元组的元组（每个层一个），shape 为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的交叉注意力权重，用于计算交叉注意力头中的加权和。

• past_key_values (tuple(tuple(torch.FloatTensor)), 可选，在传递 use_cache=True 或 config.use_cache=True 时返回) — torch.FloatTensor 元组的元组，长度为 config.n_layers，每个元组包含用于编码器-解码器设置的模型中的自注意力和交叉注意力层的缓存的键、值状态。仅当 config.is_decoder = True 时相关。

  包含预计算的内嵌状态（注意力和值，用于注意力块），可用于（参见 past_key_values 输入）加速序列解码。

参数

• input_ids （形状为 {0} 的 tf.Tensor） — 输入序列单词在词汇表中的索引。

  可以使用 AutoTokenizer 获取索引。详见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask （形状为 {0} 的 tf.Tensor，可选） — 用于避免在填充令牌索引上执行注意机制的掩码。掩码值在 [0, 1] 中选择：
  • 值为 1 的为未掩码的令牌，
  • 值为 0 的为掩码的令牌。

  什么是注意掩码？

• position_ids （形状为 (batch_size, sequence_length) 的 tf.Tensor 或 Numpy array，可选） — 每个输入序列单词在位置嵌入中的位置索引。选择范围为 [0, config.max_position_embeddings - 1]。

  什么是位置 ID？

• encoder_hidden_states (tf.Tensor 形状为 (batch_size, encoder_sequence_length, hidden_size)，可选) — 编码器最后一层的输出隐含状态序列。用于解码器的跨注意力机制。
• encoder_attention_mask (tf.Tensor 形状为 (batch_size, encoder_sequence_length)，可选) — 避免在编码器输入_ids的填充标记索引处执行跨注意力的掩码。掩码值选择在 [0, 1] 范围内：
  • 1 表示 未掩码 的标记；
  • 0 表示 已掩码 的标记。

  什么是注意力掩码？

• head_mask (tf.Tensor 形状为 (num_layers, attention_heads)，可选) — 用于使编码器注意力模块中选定的头部失效的掩码。掩码值选择在 [0, 1] 范围内：
  • 1 表示头部 未掩码，
  • 0 表示头部 已掩码。
• cross_attn_head_mask (tf.Tensor of shape (num_layers, attention_heads)，可选）—用于取消选中跨注意力模块中的 heads 的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示 head 未被掩码，
  • 0 表示 head 被掩码。
• past_key_values (Tuple[Tuple[tf.Tensor]] of length config.num_layers) — 包含预计算的注意力块的键和值隐藏状态。可用于加速解码。如果使用了 past_key_values，则用户可以可选地只输入最后 decoder_input_ids（那些没有给此模型提供过去键值状态的）的形状为 (batch_size, 1) 的值，而不是所有 decoder_input_ids 的形状为 (batch_size, sequence_length) 的值。
• inputs_embeds (tf.Tensor of shape (batch_size, sequence_length, hidden_size)，可选）—可选地，您可以选择直接传递嵌入表示，而不是通过 input_ids。这在您想要比模型的内部嵌入查找矩阵有更多控制权时很有用，以将 input_ids 索引转换为相互关联的向量。
• use_cache (布尔值, 可选，默认为 True) — 如果设置为 True，将返回 past_key_values 键值状态，并可用来加速解码（参见 past_key_values）。训练期间设置为 False，生成期间设置为 True。
• output_attentions (布尔值, 可选) — 是否返回所有注意力层的注意力张量。详见返回张量中的 attentions。此参数仅在急切模式下可用，在图模式中，将使用配置中的值。
• output_hidden_states (布尔值, 可选) — 是否返回所有层的隐藏状态。详见返回张量中的 hidden_states。此参数仅在急切模式下可用，在图模式中，将使用配置中的值。
• return_dict (bool, optional) — 是否返回ModelOutput对象而不是普通元组。此参数在effective mode中可用，在graph mode中该值始终设置为True。
• training (bool, optional, defaults to False) — 是否以训练模式使用模型（某些模块（如dropout模块）在训练和评估之间有不同的行为）。

transformers.modeling_tf_outputs.TFBaseModelOutputWithPastAndCrossAttentions 或一个包含各种元素的 tf.Tensor 元组（如果传递了 return_dict=False 或 config.return_dict=False 时），这些元素的构成取决于配置（XGLMConfig）和输入。

• last_hidden_state (tf.Tensor of shape (batch_size, sequence_length, hidden_size)) — 模型最后层的输出隐藏状态序列。

  如果使用了 past_key_values，则仅输出形状为 (batch_size, 1, hidden_size) 的序列的最后一个隐藏状态。

• past_key_values (List[tf.Tensor], optional, returned when use_cache=True is passed or when config.use_cache=True) — 包含长度为 config.n_layers 的 tf.Tensor 列表，每个张量的形状为 (2, batch_size, num_heads, sequence_length, embed_size_per_head)。

  包含预计算的内嵌状态（注意力和值，用于注意力块），可用于（参见 past_key_values 输入）加速序列解码。

• hidden_states (tuple(tf.FloatTensor), optional, returned when output_hidden_states=True is passed or when config.output_hidden_states=True) — 包含一个用于词嵌入输出的 tf.Tensor 和每个层的输出的 tf.Tensor 的元组，形状为 (batch_size, sequence_length, hidden_size)。

  模型每层的输出隐藏状态以及初始嵌入输出。

• attentions (tuple(tf.Tensor), optional, returned when output_attentions=True is passed or when config.output_attentions=True) — 一个形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 tf.Tensor 元组（一个用于每一层）。

  在注意力softmax之后的注意力权重，用于在自注意力头中计算加权平均。

• cross_attentions (tuple(tf.Tensor), optional, returned when output_attentions=True is passed or when config.output_attentions=True) — 一个形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 tf.Tensor 元组（一个用于每一层）。

  解码器的交叉 attentions 层在注意力softmax之后的注意力权重，用于在交叉注意力头中计算加权平均。

参数

• input_ids (tf.Tensor 形状 ({0})) — 词汇表中输入序列tokens的索引。

  可以使用 AutoTokenizer 获取索引。详细信息请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是input IDs?

• attention_mask (tf.Tensor 形状 ({0})，可选) — 避免对填充token索引执行attention的掩码。选定的掩码值在 [0, 1] 范围内：
  • 1 表示 未掩码 的tokens，
  • 0 表示 掩码 的tokens。

  什么是attention masks?

• position_ids (tf.Tensor 或 Numpy array 形状 (batch_size, sequence_length)，可选) — 每个输入序列tokens在位置嵌入中的位置索引。在 [0, config.max_position_embeddings - 1] 范围内选择。

  什么是position IDs?

• encoder_hidden_states (tf.Tensor of shape (batch_size, encoder_sequence_length, hidden_size), optional) — 编码器最后一层输出的隐藏状态序列。在解码器的交叉注意力中 使用。
• encoder_attention_mask (tf.Tensor of shape (batch_size, encoder_sequence_length), optional) — 避免在编码器输入 IDs 的填充 token 索引上执行交叉注意力的掩码。掩码值选自 [0, 1]：
  • 1 表示 未掩码 的 token，
  • 0 表示 掩码 的 token。

  什么是注意力掩码？

• head_mask (tf.Tensor of shape (num_layers, attention_heads), optional) — 用于取消编码器注意力模块中选定的头部的掩码。掩码值选自 [0, 1]：
  • 1 表示头部 未掩码，
  • 0 表示头部 掩码。
• cross_attn_head_mask (tf.Tensor 形状 (num_layers, attention_heads)，可选）- 用于取消跨注意力模块选定的头的掩码。掩码值选在 [0, 1] 之间：
  • 1 表示该头未置掩码，
  • 0 表示该头已置掩码。
• past_key_values （一个长度为 config.num_layers 的元组，元素为 Tuple[tf.Tensor]）- 包含注意力块的预计算键和值隐藏状态。可用于加速解码。如果使用 past_key_values，用户可以可选地输入只包含最后 decoder_input_ids （没有过去键值状态输入给此模型的那些）的形状为 (batch_size, 1)，而不是所有形状为 (batch_size, sequence_length) 的 decoder_input_ids。
• inputs_embeds (tf.Tensor 形状 (batch_size, sequence_length, hidden_size)，可选）- 可选地，您可以选择直接传递嵌入表示而不是 input_ids。这在您希望有更多控制，以便将 input_ids 索引转换为相关向量时非常有用，而不是使用模型内部嵌入查找矩阵。
• use_cache (bool, 可选，默认为 True) — 如果设置为 True，将返回 past_key_values 的键值状态，可用于加速解码（参见 past_key_values）。在训练期间设置为 False，在生成期间设置为 True。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。请参阅返回张量下的 attentions 以获取更多详细信息。此参数仅可用于快速模式，在图模式中，使用配置中的值。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。请参阅返回张量下的 hidden_states 以获取更多详细信息。此参数仅可用于快速模式，在图模式中，使用配置中的值。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是纯元组。这个参数可以在急切模式下使用，在图模式下该值始终设置为True。
• training (bool, 可选, 默认为 False) — 是否使用模型进行训练模式（某些模块如dropout模块在训练和评估之间有不同行为）。
• labels (np.ndarray 或 tf.Tensor 形状为 (batch_size, sequence_length), 可选) — 为语言建模提供的标签。注意，标签在模型内部会发生位移，即你可以将 labels = input_ids。索引会在 [-100, 0, ..., config.vocab_size] 中选择。所有设置为 -100 的标签都会被忽略（掩码），仅在 [0, ..., config.vocab_size] 的标签上计算损失。

一个 transformers.modeling_tf_outputs.TFCausalLMOutputWithCrossAttentions 或一个 tf.Tensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），它包含根据配置（XGLMConfig）和输入的不同元素。

• 损失 (tf.Tensor 形状 (n,)，可选，当提供 labels 时返回，其中 n 是非掩码标签的数量) — 语言模型损失（用于下一个标记的预测）。

• logits (tf.Tensor 形状 (batch_size, sequence_length, config.vocab_size)) — 语言建模头部的预测得分（SoftMax 之前每个词汇标记的得分）。

• hidden_states (tuple(tf.Tensor)，可选，在传递 output_hidden_states=True 时返回或在 config.output_hidden_states=True 时返回) — 形状为 (batch_size, sequence_length, hidden_size) 的 tf.Tensor 元组（一个用于嵌入层的输出，一个用于每层的输出）。

  模型每层的输出隐藏状态以及初始嵌入输出。

• attentions (tuple(tf.Tensor), optional, returned when output_attentions=True is passed or when config.output_attentions=True) — 一个形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 tf.Tensor 元组（一个用于每一层）。

  在注意力softmax之后的注意力权重，用于在自注意力头中计算加权平均。

• cross_attentions (tuple(tf.Tensor), optional, returned when output_attentions=True is passed or when config.output_attentions=True) — 一个形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 tf.Tensor 元组（一个用于每一层）。

  解码器的交叉 attentions 层在注意力softmax之后的注意力权重，用于在交叉注意力头中计算加权平均。

• past_key_values (List[tf.Tensor], optional, returned when use_cache=True is passed or when config.use_cache=True) — 包含长度为 config.n_layers 的 tf.Tensor 列表，每个张量的形状为 (2, batch_size, num_heads, sequence_length, embed_size_per_head)。

  包含预计算的内嵌状态（注意力和值，用于注意力块），可用于（参见 past_key_values 输入）加速序列解码。

transformers.modeling_tf_outputs.TFCausalLMOutputWithCrossAttentions 或 tuple(tf.Tensor)：一个 transformers.modeling_tf_outputs.TFCausalLMOutputWithCrossAttentions 或一个 tf.Tensor 的元组（如果传入 return_dict=False 或当 config.return_dict=False）根据配置（XGLMConfig）和输入包含各种元素。

• 损失 (tf.Tensor 形状 (n,)，可选，当提供 labels 时返回，其中 n 是非掩码标签的数量) — 语言模型损失（用于下一个标记的预测）。

• logits (tf.Tensor 形状 (batch_size, sequence_length, config.vocab_size)) — 语言建模头部的预测得分（SoftMax 之前每个词汇标记的得分）。

• hidden_states (tuple(tf.Tensor)，可选，在传递 output_hidden_states=True 时返回或在 config.output_hidden_states=True 时返回) — 形状为 (batch_size, sequence_length, hidden_size) 的 tf.Tensor 元组（一个用于嵌入层的输出，一个用于每层的输出）。

  模型每层的输出隐藏状态以及初始嵌入输出。

• attentions (tuple(tf.Tensor), optional, returned when output_attentions=True is passed or when config.output_attentions=True) — 一个形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 tf.Tensor 元组（一个用于每一层）。

  在注意力softmax之后的注意力权重，用于在自注意力头中计算加权平均。

• cross_attentions (tuple(tf.Tensor), optional, returned when output_attentions=True is passed or when config.output_attentions=True) — 一个形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 tf.Tensor 元组（一个用于每一层）。

  解码器的交叉 attentions 层在注意力softmax之后的注意力权重，用于在交叉注意力头中计算加权平均。

• past_key_values (List[tf.Tensor], optional, returned when use_cache=True is passed or when config.use_cache=True) — 包含长度为 config.n_layers 的 tf.Tensor 列表，每个张量的形状为 (2, batch_size, num_heads, sequence_length, embed_size_per_head)。

  包含预计算的内嵌状态（注意力和值，用于注意力块），可用于（参见 past_key_values 输入）加速序列解码。

参数

• input_ids (jnp.ndarray of shape (batch_size, sequence_length)) — 词汇表中的输入序列标记的索引。如果提供了填充项，则默认会忽略填充项。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入ID？

• attention_mask (jnp.ndarray of shape (batch_size, sequence_length), optional) — 避免对填充标记索引执行 attention 任务的掩码。掩码值选择在 [0, 1] 之间：
  • 1 表示 未掩码 的标记,
  • 0 表示 掩码 的标记。

  什么是 attention 掩码？

• position_ids (numpy.ndarray of shape (batch_size, sequence_length), optional) — 每个输入序列标记的定位嵌入的索引。选择范围在 [0, config.max_position_embeddings - 1]。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。更多详细内容请参见返回张量中的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多详细内容请参见返回张量中的 hidden_states。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是普通的元组。

transformers.modeling_flax_outputs.FlaxBaseModelOutputWithPastAndCrossAttentions 或一个由 torch.FloatTensor 组成的元组（如果传递了 return_dict=False 或者当 config.return_dict=False 时），包含根据配置（XGLMConfig）和输入决定的各种元素。

• last_hidden_state (jnp.ndarray 形状为 (batch_size, sequence_length, hidden_size)]) — 模型最后层的输出隐藏状态的序列。

  如果使用了 past_key_values，则仅输出形状为 (batch_size, 1, hidden_size) 的序列的最后一个隐藏状态。

• past_key_values （tuple(tuple(jnp.ndarray))，可选，当传递 use_cache=True 或当 config.use_cache=True）时返回——长度为 config.n_layers 的 tuple(tuple(jnp.ndarray)) 的元组，其中每个元组包含2个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量。如果 config.is_encoder_decoder=True，则额外包含2个形状为 (batch_size, num_heads, encoder_sequence_length, embed_size_per_head) 的张量。

  包含预计算的隐藏状态（self-attention 块中的键和值以及在 cross-attention 块中的可选值），这些状态可以用于（参见 past_key_values 输入）加速顺序解码。

• hidden_states （tuple(jnp.ndarray)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True）时返回——元组，包含形状为 (batch_size, sequence_length, hidden_size) 的 jnp.ndarray（一个用于嵌入层的输出，另一个用于每一层的输出）。

  模型每层的输出隐藏状态以及初始嵌入输出。

• attentions （tuple(jnp.ndarray)，可选，当传递 output_attentions=True 或当 config.output_attentions=True）时返回——包含形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 jnp.ndarray 的元组（每个层一个）。

  在注意力softmax之后的注意力权重，用于在自注意力头中计算加权平均。

• cross_attentions （tuple(jnp.ndarray)，可选，当传递 output_attentions=True 且 config.add_cross_attention=True 或当 config.output_attentions=True）时返回——包含形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 jnp.ndarray 的元组（每个层一个）。

  解码器的交叉 attentions 层在注意力softmax之后的注意力权重，用于在交叉注意力头中计算加权平均。

参数

• input_ids (jnp.ndarray of shape (batch_size, sequence_length)) — 输入序列token在词汇表中的索引。如果提供了padding，则默认忽略padding。

• attention_mask (jnp.ndarray of shape (batch_size, sequence_length), 可选) — 用于避免在padding token索引上执行注意力的掩码。在[0, 1]中的掩码值选：

• position_ids (numpy.ndarray of shape (batch_size, sequence_length), 可选) — 每个输入序列token在位置嵌入中的位置索引。选取范围在[0, config.max_position_embeddings - 1]之内。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

transformers.modeling_flax_outputs.FlaxCausalLMOutputWithCrossAttentions 或一个由 torch.FloatTensor 组成的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包括根据配置（XGLMConfig）和输入的各种元素。

• logits (jnp.ndarray 的形状为 (batch_size, sequence_length, config.vocab_size)) — 语言建模头的预测分数（SoftMax 之前的每个词汇的分数）。

• hidden_states （tuple(jnp.ndarray)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True）时返回——元组，包含形状为 (batch_size, sequence_length, hidden_size) 的 jnp.ndarray（一个用于嵌入层的输出，另一个用于每一层的输出）。

  模型每层的输出隐藏状态以及初始嵌入输出。

• attentions （tuple(jnp.ndarray)，可选，当传递 output_attentions=True 或当 config.output_attentions=True）时返回——包含形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 jnp.ndarray 的元组（每个层一个）。

  在注意力softmax之后的注意力权重，用于在自注意力头中计算加权平均。

• cross_attentions (tuple(jnp.ndarray), 可选，在传递 output_attentions=True 或当 config.output_attentions=True 时返回) — shape 为 (batch_size, num_heads, sequence_length, sequence_length) 的 jnp.ndarray 元组（每个层一个）。

  注意力 softmax 后的交叉注意力权重，用于计算交叉注意力头中的加权和。

• past_key_values (tuple(tuple(jnp.ndarray)), 可选，当传递 use_cache=True 或当 config.use_cache=True 时返回) — 长度为 config.n_layers 的 jnp.ndarray 元组元组，每个元组包含自注意力层和交叉注意力层的缓存键、值状态，如果模型在编码器-解码器设置中使用的话。只有在 config.is_decoder = True 时才相关。

  包含预计算的内嵌状态（注意力和值，用于注意力块），可用于（参见 past_key_values 输入）加速序列解码。