参数

• input_ids (torch.LongTensor，形状为 (batch_size, sequence_length)，可选) — 输入序列 token 在词汇表中的索引。填充内容将被默认忽略。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• inputs_embeds (torch.LongTensor，形状为 (batch_size, sequence_length, hidden_size)，可选) — 可选地，您可以直接传入嵌入表示，而不是传入 input_ids。当您希望比模型内部的嵌入查找矩阵对如何将 input_ids 索引转换为相关向量拥有更多控制时，这很有用。
• cache_params (MambaCache, 可选) — 如果传入，模型将使用前一个状态在所有块中（这将为提供的 input_ids 提供输出，就好像模型将 state_input_ids + input_ids 作为上下文一样）。
• use_cache (bool, 可选) — 如果设置为 True，则返回 cache_params，可用于快速生成下一个 logits。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 如果为 True，则返回 ModelOutput 而不是普通元组。
• cache_position (torch.LongTensor，形状为 (sequence_length)，可选) — 与 position_ids 相反，此张量不受填充的影响。它用于在正确位置更新缓存并推断完整的序列长度。
• attention_mask (torch.LongTensor，形状为 (batch_size, sequence_length)，可选) — 用于避免对填充 token 索引执行注意力的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示未被掩码的 token，
  • 0 表示被掩码的 token。

  什么是注意力掩码？

一个 transformers.models.mamba.modeling_mamba.MambaOutput 或一个 torch.FloatTensor 元组（如果传入 return_dict=False 或当 config.return_dict=False 时），其中包含根据配置（MambaConfig）和输入而变化的各种元素。

• last_hidden_state (torch.FloatTensor | None.last_hidden_state, shape (batch_size, sequence_length, hidden_size), 默认为 None) — 模型最后一层的输出的隐藏状态序列。

• cache_params (~models.mamba.modeling_mamba.MambaCache | None.cache_params, 默认为 None) — 模型在最后一步的状态。可以在具有下一个 input_ids 的前向方法中使用，以避免提供旧的 input_ids。

  包括选择性扫描后的状态空间模型状态矩阵和卷积状态

• hidden_states (tuple[torch.FloatTensor] | None.hidden_states, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入的输出，如果模型有嵌入层，+ 每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

参数

• input_ids (torch.LongTensor of shape (batch_size, sequence_length), optional) — 词汇表中输入序列 token 的索引。默认情况下会忽略填充（padding）。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (torch.LongTensor of shape (batch_size, sequence_length), optional) — 用于避免对填充 token 索引执行注意力计算的掩码。掩码值选择在 [0, 1] 中：
  • 1 表示未被掩码的 token，
  • 0 表示被掩码的 token。

  什么是注意力掩码？

• inputs_embeds (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), optional) — 可选地，您可以直接传入嵌入表示，而不是传入 input_ids。如果您希望对如何将 input_ids 索引转换为相关向量有比模型内部嵌入查找矩阵更多的控制，这会很有用。
• cache_params (MambaCache, optional) — 如果传入，模型将使用所有块中的先前状态（这将为提供的 input_ids 生成输出，就好像模型添加了 state_input_ids + input_ids 作为上下文一样）。
• labels (torch.LongTensor of shape (batch_size, sequence_length), optional) — 用于语言建模的标签。请注意，标签在模型内部被移位，即您可以设置 labels = input_ids。索引选择在 [-100, 0, ..., config.vocab_size] 中。所有设置为 -100 的标签都将被忽略（掩码），损失仅在 [0, ..., config.vocab_size] 中的标签上计算。
• output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, optional) — 是否返回一个 ModelOutput 对象而不是一个普通的元组。
• use_cache (bool, optional) — 如果设置为 True，则会返回 cache_params，并可用于快速生成下一个 logits。
• cache_position (torch.Tensor of shape (sequence_length), optional) — 指示输入序列 token 在序列中位置的索引。与 position_ids 相反，此张量不受填充的影响。它用于在正确位置更新缓存并推断完整序列长度。
• logits_to_keep (Union[int, torch.Tensor], optional, defaults to 0) — 如果是 int，则计算最后 logits_to_keep 个 token 的 logits。如果为 0，则计算所有 input_ids 的 logits（特殊情况）。仅在生成时需要最后一个 token 的 logits，并且仅为该 token 计算可以节省内存，这对于长序列或大词汇量来说非常显著。如果为 torch.Tensor，必须是 1D 的，对应于序列长度维度中要保留的索引。这在使用打包张量格式（批次和序列长度的单一维度）时很有用。

根据配置（MambaConfig）和输入，transformers.models.mamba.modeling_mamba.MambaCausalLMOutput 或 torch.FloatTensor 的元组（如果传入 return_dict=False 或当 config.return_dict=False 时）组成，其中包含各种元素。

• loss (torch.FloatTensor 形状为 (1,)，可选，当提供 labels 时返回) — 语言建模损失（用于下一个 token 预测）。

• logits (形状为 (batch_size, sequence_length, config.vocab_size) 的 torch.FloatTensor) — 语言建模头部的预测分数（SoftMax 之前的每个词汇标记的分数）。

• cache_params (~models.mamba.modeling_mamba.MambaCache | None.cache_params, 默认为 None) — 模型在最后一步的状态。可以在具有下一个 input_ids 的前向方法中使用，以避免提供旧的 input_ids。

  包括选择性扫描后的状态空间模型状态矩阵和卷积状态

• hidden_states (tuple[torch.FloatTensor] | None.hidden_states, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入的输出，如果模型有嵌入层，+ 每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。