参数

• input_ids (torch.LongTensor 形状为(batch_size, sequence_length)) — 词汇表中输入序列标记的索引。如果您提供填充，默认情况下将忽略填充。

  可以使用AutoTokenizer获取索引。有关详细信息，请参阅PreTrainedTokenizer.encode()和PreTrainedTokenizer.call()。

  什么是输入ID？

• attention_mask (torch.Tensor 形状为(batch_size, sequence_length)，可选) — 用于避免对填充标记索引执行注意力的掩码。在[0, 1]中选择掩码值：
  • 1 表示未掩盖的标记，
  • 0 表示已掩盖的标记。

  什么是注意力掩码？

  可以使用AutoTokenizer获取索引。有关详细信息，请参阅PreTrainedTokenizer.encode()和PreTrainedTokenizer.call()。

  如果使用past_key_values，则可以选择仅输入最后的input_ids（请参阅past_key_values）。

  如果您想更改填充行为，则应阅读modeling_opt._prepare_decoder_attention_mask并修改以满足您的需求。有关默认策略的更多信息，请参阅论文中的图 1。

  • 1 表示头未掩盖，
  • 0 表示头已掩盖。
• position_ids (torch.LongTensor 形状为(batch_size, sequence_length)，可选) — 位置嵌入中每个输入序列标记的位置索引。在范围[0, config.n_positions - 1]中选择。

  什么是位置ID？

• past_key_values (Cache 或 tuple(tuple(torch.FloatTensor))，可选) — 预先计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常包括模型在解码的先前阶段返回的 past_key_values，当 use_cache=True 或 config.use_cache=True 时。

  允许两种格式：

  • 一个 Cache 实例；
  • 长度为 config.n_layers 的 tuple(torch.FloatTensor) 元组，每个元组包含 2 个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量。这也被称为传统缓存格式。

  模型将输出与输入相同的缓存格式。如果未传递 past_key_values，则将返回传统缓存格式。

  如果使用 past_key_values，则用户可以选择仅输入形状为 (batch_size, 1) 的最后一个 input_ids（没有将其过去的键值状态提供给此模型）而不是形状为 (batch_size, sequence_length) 的所有 input_ids。

• inputs_embeds (torch.FloatTensor 形状为 (batch_size, sequence_length, hidden_size)，可选) — 可选地，您可以选择直接传递嵌入表示而不是传递 input_ids。如果您希望比模型的内部嵌入查找矩阵更好地控制如何将 input_ids 索引转换为关联向量，这将很有用。
• use_cache (bool，可选) — 如果设置为 True，则返回 past_key_values 键值状态，可用于加速解码（请参阅 past_key_values）。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• output_router_logits (bool，可选) — 是否返回所有路由器的 logits。它们可用于计算路由器损失，并且不应在推理期间返回。
• return_dict (bool，可选) — 是否返回 ModelOutput 而不是普通元组。
• cache_position (torch.LongTensor 形状为 (sequence_length)，可选) — 描述输入序列标记在序列中的位置的索引。与 position_ids 不同，此张量不受填充的影响。它用于在正确的位置更新缓存并推断完整的序列长度。

参数

• input_ids (torch.LongTensor 形状为 (batch_size, sequence_length)) — 词汇表中输入序列标记的索引。默认情况下，如果提供填充，则会忽略填充。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (torch.Tensor 形状为 (batch_size, sequence_length)，可选) — 用于避免对填充标记索引执行注意力的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示未被掩盖的标记，
  • 0 表示被掩盖的标记。

  什么是注意力掩码？

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  如果使用 past_key_values，则可以选择仅输入最后一个 input_ids（其过去键值状态未提供给此模型）（请参阅 past_key_values）。

  如果要更改填充行为，则应阅读 modeling_opt._prepare_decoder_attention_mask 并根据您的需要进行修改。有关默认策略的更多信息，请参阅论文中的图 1。

  • 1 表示头部未被掩盖，
  • 0 表示头部被掩盖。
• position_ids (torch.LongTensor 形状为 (batch_size, sequence_length)，可选) — 位置嵌入中每个输入序列标记的位置索引。在 [0, config.n_positions - 1] 范围内选择。

  什么是位置 ID？

• past_key_values (Cache 或 tuple(tuple(torch.FloatTensor))，可选) — 预先计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常包括模型在解码的先前阶段返回的 past_key_values，当 use_cache=True 或 config.use_cache=True 时。

  允许两种格式：

  • 一个 Cache 实例；
  • 长度为 config.n_layers 的 tuple(tuple(torch.FloatTensor))，每个元组包含 2 个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量。这也被称为传统缓存格式。

  模型将输出与输入相同的缓存格式。如果未传递 past_key_values，则将返回传统缓存格式。

  如果使用 past_key_values，则用户可以选择仅输入最后一个 input_ids（其过去键值状态未提供给此模型），形状为 (batch_size, 1)，而不是所有 input_ids，形状为 (batch_size, sequence_length)。

• inputs_embeds (torch.FloatTensor 形状为 (batch_size, sequence_length, hidden_size)，可选) — 可选地，您可以选择直接传递嵌入表示，而不是传递 input_ids。如果您希望对如何将 input_ids 索引转换为关联向量进行更多控制，而不是模型内部的嵌入查找矩阵，这将非常有用。
• use_cache (bool，可选) — 如果设置为 True，则返回 past_key_values 键值状态，可用于加速解码（请参阅 past_key_values）。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量中的attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量中的hidden_states。
• output_router_logits (bool, 可选) — 是否返回所有路由器的 logits。它们对于计算路由器损失很有用，在推理过程中不应返回。
• return_dict (bool, 可选) — 是否返回ModelOutput而不是普通元组。
• cache_position (torch.LongTensor 形状为(sequence_length), 可选) — 描述输入序列标记在序列中的位置的索引。与position_ids相反，此张量不受填充的影响。它用于在正确的位置更新缓存并推断完整的序列长度。

  参数 — labels (torch.LongTensor 形状为(batch_size, sequence_length), 可选): 用于计算掩码语言建模损失的标签。索引应在[0, ..., config.vocab_size]或 -100 中（请参阅input_ids文档字符串）。索引设置为-100的标记将被忽略（掩码），损失仅针对标签在[0, ..., config.vocab_size]中的标记计算。

  num_logits_to_keep (int, 可选): 计算最后num_logits_to_keep个标记的 logits。如果为0，则为所有input_ids计算 logits（特殊情况）。生成只需要最后一个标记的 logits，并且仅为该标记计算它们可以节省内存，这对于长序列或大型词汇量来说变得非常重要。

一个transformers.modeling_outputs.MoeCausalLMOutputWithPast或一个torch.FloatTensor的元组（如果传递了return_dict=False或当config.return_dict=False时），包含根据配置(OlmoeConfig)和输入而变化的各种元素。

• loss (torch.FloatTensor 形状为(1,), 可选，当提供labels时返回) — 语言建模损失（用于下一个标记预测）。

• logits (torch.FloatTensor 形状为(batch_size, sequence_length, config.vocab_size)) — 语言建模头的预测分数（SoftMax之前的每个词汇标记的分数）。

• aux_loss (torch.FloatTensor, 可选，当提供labels时返回) — 稀疏模块的辅助损失。

• router_logits (tuple(torch.FloatTensor), 可选，当传递output_router_probs=True和config.add_router_probs=True或当config.output_router_probs=True时返回) — torch.FloatTensor的元组（每个层一个），形状为(batch_size, sequence_length, num_experts)。

  由 MoE 路由器计算的原始路由器 logits（softmax 后），这些项用于计算专家混合模型的辅助损失。

• past_key_values (tuple(tuple(torch.FloatTensor)), 可选，当传递use_cache=True或当config.use_cache=True时返回) — 长度为config.n_layers的tuple(torch.FloatTensor)的元组，每个元组包含 2 个形状为(batch_size, num_heads, sequence_length, embed_size_per_head)的张量)

  包含预先计算的隐藏状态（自注意力块中的键和值），可用于（请参阅past_key_values输入）加速顺序解码。

• hidden_states (tuple(torch.FloatTensor), 可选，当传递output_hidden_states=True或当config.output_hidden_states=True时返回) — torch.FloatTensor的元组（一个用于嵌入的输出，如果模型具有嵌入层，则加一个用于每一层的输出），形状为(batch_size, sequence_length, hidden_size)。

  模型在每一层输出处的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), 可选，当传递output_attentions=True或当config.output_attentions=True时返回) — torch.FloatTensor的元组（每一层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。