参数

• input_ids (torch.LongTensor of shape (batch_size, input_ids_length)) — 输入序列令牌在词汇表中的索引。

  如果 cache_params.seqlen_offset>0，则仅传递未计算过过去的 input_ids。

  索引可以通过使用 AutoTokenizer 获得。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入索引？

• inputs_embeds （torch.FloatTensor 形状为 (batch_size, sequence_length, hidden_size)，可选）— 可以选择直接传递嵌入表示，而不是传递 input_ids。这在需要比模型内部嵌入查找矩阵有更多控制权来将 input_ids 索引转换为相关向量时非常有用。
• cache_params （Mamba2Cache，可选）— 如果传入，模型将使用所有块的前一个状态（这将给出 input_ids 提供的输出，就像模型添加 state_input_ids + input_ids 作为上下文一样）。
• use_cache （bool，可选）— 如果设置为 True，将返回 cache_params 以供快速生成下一个 logits。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回的张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

A transformers.models.mamba2.modeling_mamba2.Mamba2Output 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含根据配置（Mamba2Config）和输入的不同元素。

• last_hidden_state (torch.FloatTensor 形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出处的隐藏状态序列。

• cache_params (Mamba2Cache) — 模型在最后一步的状态。可用于在下一个 input_ids 的 forward 方法中使用，以避免提供老的 input_ids。

  包含选择性扫描后的状态空间模型状态矩阵和卷积状态。

• hidden_states (tuple(torch.FloatTensor)，可选，如果在传递 output_hidden_states=True 时返回或者当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层，另一个用于每层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  每层输出处的隐藏状态以及可选的初始嵌入输出。

参数

• input_ids (torch.LongTensor of shape (batch_size, input_ids_length)) — 输入序列标记在词汇表中的索引。

  如果 cache_params.seqlen_offset>0，只有尚未计算过的 input_ids 应该作为 input_ids 传递。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• inputs_embeds（《torch.FloatTensor》形状为 (batch_size, sequence_length, hidden_size)，可选项） — 可以选择直接传递嵌入表示，而不是传递 input_ids。当您想要比模型内部嵌入查找矩阵更多的控制来转换 input_ids 索引到相关向量时，这将非常有用。
• cache_params（《Mamba2Cache》，可选项） — 如果传递，则模型将在所有模块中使用先前状态（这将给出提供的 input_ids 的输出，好像模型添加了 state_input_ids + input_ids 作为上下文）。
• use_cache（《bool》，可选项） — 如果设置为 True，则会返回 cache_params 并且可以用它快速生成下一个 logits。
• output_hidden_states （bool，可选）— 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的hidden_states。
• return_dict （bool，可选）— 是否返回ModelOutput而不是普通的元组。
• labels （torch.LongTensor形状为(batch_size, sequence_length)，可选）— 语言模型的标签。注意，模型内部标签是偏移的，即您可以将labels = input_ids。索引从[-100, 0, ..., config.vocab_size]中选择。所有设置为-100的标签将被忽略（掩码），仅对[0, ..., config.vocab_size]中的标签计算损失。

一个transformers.models.mamba2.modeling_mamba2.Mamba2CausalLMOutput或一个torch.FloatTensor的元组（如果传递了return_dict=False或当config.return_dict=False时）包含根据配置（Mamba2Config）和输入的各种元素。

• loss（torch.FloatTensor形状为(1,)，可选，当提供labels时返回）— 语言模型损失（用于下一词预测）。

• logits (torch.FloatTensor 形状为 (batch_size, sequence_length, config.vocab_size)) — 语言建模头的预测分数（在SoftMax之前每个词汇的分数）。

• cache_params (Mamba2Cache) — 模型在最后一步的状态。可用于在下一个 input_ids 的 forward 方法中使用，以避免提供老的 input_ids。

  包含选择性扫描后的状态空间模型状态矩阵和卷积状态。

• hidden_states (tuple(torch.FloatTensor)，可选，如果在传递 output_hidden_states=True 时返回或者当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层，另一个用于每层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  每层输出处的隐藏状态以及可选的初始嵌入输出。