Hugging Face's logo

Transformers 文档

FalconMamba

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

FalconMamba

PyTorch

概览

FalconMamba 模型由 TII UAE（技术创新研究所）在其发布版本中提出。

论文摘要如下：

我们介绍了 FalconMamba，这是一个基于新型 Mamba 架构的全新基础大型语言模型。FalconMamba 在 5.8 万亿个 token 上使用精心挑选的数据混合进行训练。作为一个纯粹基于 Mamba 的模型，FalconMamba 超过了基于 Transformer 的领先开源权重模型，例如 Mistral 7B、Llama3 8B 和 Falcon2 11B。它与 Gemma 7B 性能相当，并且优于具有不同架构设计的模型，例如 RecurrentGemma 9B。目前，FalconMamba 是文献中在这个规模上性能最佳的 Mamba 模型，超越了现有的 Mamba 模型和混合 Mamba-Transformer 模型。由于其架构，FalconMamba 在推理时速度明显更快，并且长序列生成所需的内存也大大减少。尽管最近的研究表明混合 Mamba-Transformer 模型优于纯架构设计，但我们论证并证明，与混合设计相比，纯 Mamba 设计可以实现相似甚至更优越的结果。我们将 FalconMamba 实现的权重在宽松许可下公开提供。

提示

该模型已在约 6 万亿个 token 上进行训练，这些 token 由多种数据源混合而成，例如 RefineWeb、Cosmopedia 和数学数据。

有关训练过程和架构的更多详细信息，请查看 FalconMamba 的技术论文（即将发布）。

用法

下面我们演示如何使用该模型

from transformers import FalconMambaForCausalLM, AutoTokenizer
import torch

tokenizer = AutoTokenizer.from_pretrained("tiiuae/falcon-mamba-7b")
model = FalconMambaForCausalLM.from_pretrained("tiiuae/falcon-mamba-7b")

input_ids = tokenizer("Hey how are you doing?", return_tensors= "pt")["input_ids"]

out = model.generate(input_ids, max_new_tokens=10)
print(tokenizer.batch_decode(out))

该架构也与 torch.compile 兼容，以实现更快的生成速度

from transformers import FalconMambaForCausalLM, AutoTokenizer
import torch

tokenizer = AutoTokenizer.from_pretrained("tiiuae/falcon-mamba-7b")
model = FalconMambaForCausalLM.from_pretrained("tiiuae/falcon-mamba-7b", torch_dtype=torch.bfloat16).to(0)
model = torch.compile(model)

input_ids = tokenizer("Hey how are you doing?", return_tensors= "pt")["input_ids"]

out = model.generate(input_ids, max_new_tokens=10)
print(tokenizer.batch_decode(out))

如果您可以访问与 bitsandbytes 兼容的 GPU，您还可以将模型量化为 4 位精度

from transformers import FalconMambaForCausalLM, AutoTokenizer, BitsAndBytesConfig
import torch

tokenizer = AutoTokenizer.from_pretrained("tiiuae/falcon-mamba-7b")
quantization_config = BitsAndBytesConfig(load_in_4bit=True)
model = FalconMambaForCausalLM.from_pretrained("tiiuae/falcon-mamba-7b", quantization_config=quantization_config)

input_ids = tokenizer("Hey how are you doing?", return_tensors= "pt")["input_ids"]

out = model.generate(input_ids, max_new_tokens=10)
print(tokenizer.batch_decode(out))

您还可以试用指令微调模型

from transformers import FalconMambaForCausalLM, AutoTokenizer
import torch

tokenizer = AutoTokenizer.from_pretrained("tiiuae/falcon-mamba-7b-instruct")
model = FalconMambaForCausalLM.from_pretrained("tiiuae/falcon-mamba-7b-instruct")

# We use the tokenizer's chat template to format each message - see https://huggingface.co/docs/transformers/main/en/chat_templating
messages = [
    {"role": "user", "content": "How many helicopters can a human eat in one sitting?"},
]
input_ids = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True).input_ids

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

FalconMambaConfig

class transformers.FalconMambaConfig

< >

( vocab_size = 50280 hidden_size = 768 state_size = 16 num_hidden_layers = 32 layer_norm_epsilon = 1e-05 pad_token_id = 0 bos_token_id = 0 eos_token_id = 0 expand = 2 conv_kernel = 4 use_bias = False use_conv_bias = True hidden_act = 'silu' initializer_range = 0.1 residual_in_fp32 = True time_step_rank = 'auto' time_step_scale = 1.0 time_step_min = 0.001 time_step_max = 0.1 time_step_init_scheme = 'random' time_step_floor = 0.0001 rescale_prenorm_residual = False use_cache = True use_mambapy = False mixer_rms_eps = 1e-06 **kwargs )

参数

  • vocab_size (int, 可选, 默认为 50280) — FALCON_MAMBA 模型的词汇表大小。定义了在调用 FalconMambaModel 时传递的 inputs_ids 可以表示的不同 token 的数量。
  • hidden_size (int, 可选, 默认为 768) — 嵌入和隐藏状态的维度。
  • state_size (int, 可选, 默认为 16) — 状态空间潜在变量的形状。
  • num_hidden_layers (int, 可选, 默认为 32) — 模型中的隐藏层数。
  • layer_norm_epsilon (float, 可选, 默认为 1e-05) — 层归一化层中使用的 epsilon 值。
  • pad_token_id (int, 可选, 默认为 0) — 填充 token id。
  • bos_token_id (int, 可选, 默认为 0) — 词汇表中句子开头 token 的 id。
  • eos_token_id (int, 可选, 默认为 0) — 词汇表中句子结尾 token 的 id。
  • expand (int, 可选, 默认为 2) — 用于确定中间大小的扩展因子。
  • conv_kernel (int, 可选, 默认为 4) — 卷积核的大小。
  • use_bias (bool, 可选, 默认为 False) — 是否在混合器模块的 [“in_proj”, “out_proj”] 中使用偏置
  • use_conv_bias (bool, 可选, 默认为 True) — 是否在混合器模块的卷积层中使用偏置。
  • hidden_act (str, 可选, 默认为 "silu") — 解码器中的非线性激活函数（函数或字符串）。
  • initializer_range (float, 可选, 默认为 0.1) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。
  • residual_in_fp32 (bool, 可选, 默认为 True) — 残差是否应为 float32。如果设置为 False，残差将保持与模型其余部分相同的 dtype
  • time_step_rank (Union[int,str], 可选, 默认为 "auto") — 离散化投影矩阵的秩。 "auto" 表示它将默认为 math.ceil(self.hidden_size / 16)
  • time_step_scale (float, 可选, 默认为 1.0) — 用于缩放 dt_proj.bias 的比例。
  • time_step_min (float, 可选, 默认为 0.001) — 用于限制 dt_proj.bias 的最小 time_step。
  • time_step_max (float, 可选, 默认为 0.1) — 用于限制 dt_proj.bias 的最大 time_step。
  • time_step_init_scheme (float, 可选, 默认为 "random") — 用于 dt_proj.weight 的初始化方案。应为 ["random","uniform"] 之一
  • time_step_floor (float, 可选, 默认为 0.0001) — dt_proj.bias 层初始化的最小钳制值。
  • rescale_prenorm_residual (bool, 可选, 默认为 False) — 初始化时是否重新缩放 out_proj 权重。
  • use_cache (bool, 可选, 默认为 True) — 是否应使用缓存。
  • use_mambapy (bool, 可选, 默认为 False) — 决定了在训练期间，当基于 CUDA 的官方 FalconMamba 实现不可用时的回退策略。如果为 True，则使用 falcon_mamba.py 实现。如果为 False，则使用朴素且较慢的实现。如果内存受限，请考虑切换到朴素版本。
  • mixer_rms_eps (float, 可选, 默认为 1e-06) — 在 Mixer RMS 归一化中用于 B、C 和 dt 状态的 RMS 范数 epsilon 值。

这是用于存储 FalconMambaModel 配置的配置类。它用于根据指定的参数实例化 FALCON_MAMBA 模型，定义模型架构。使用默认值实例化配置将产生与 FALCON_MAMBA tiiuae/falcon-mamba-7b 架构类似的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请阅读 PretrainedConfig 的文档。

示例

>>> from transformers import FalconMambaConfig, FalconMambaModel

>>> # Initializing a FalconMamba configuration
>>> configuration = FalconMambaConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = FalconMambaModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

FalconMambaModel

class transformers.FalconMambaModel

< >

( config )

参数

  • config (FalconMambaConfig) — 带有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。

裸 FALCONMAMBA 模型 Transformer，输出原始的 hidden-states，顶部没有任何特定的 head。

此模型继承自 PreTrainedConfig。查看超类文档，了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝 head 等）。

此模型也是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档，了解与常规用法和行为相关的所有事项。

forward

 < >

( input_ids: typing.Optional[torch.LongTensor] = None inputs_embeds: typing.Optional[torch.LongTensor] = None cache_params: typing.Optional[transformers.cache_utils.MambaCache] = None use_cache: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None cache_position: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.LongTensor] = None ) → transformers.models.falcon_mamba.modeling_falcon_mamba.FalconMambaOutput 或 tuple(torch.FloatTensor)

参数

  • input_ids (torch.LongTensor，形状为 (batch_size, input_ids_length)) — 词汇表中输入序列 tokens 的索引。

    如果 cache_params.seqlen_offset>0，则只有未计算过往信息的 input_ids 应作为 input_ids 传递。

    索引可以使用 AutoTokenizer 获得。请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call() 了解详情。

    什么是输入 IDs？

  • inputs_embeds (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size), 可选) — 可选地，您可以选择直接传递嵌入表示，而不是传递 input_ids。如果您希望比模型的内部嵌入查找矩阵更精细地控制如何将 input_ids 索引转换为关联的向量，这将非常有用。
  • cache_params (MambaCache, 可选) — 如果传递，模型将在所有块中使用先前的状态（这将给出为提供的 input_ids 的输出，就好像模型添加了 state_input_ids + input_ids 作为上下文）。
  • use_cache (bool, 可选) — 如果设置为 True，则返回 cache_params，并且可以用于快速生成下一个 logits。
  • output_hidden_states (bool, 可选) — 是否返回所有层的 hidden states。 有关更多详细信息，请参阅返回 tensors 下的 hidden_states。
  • return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通的 tuple。

返回值

transformers.models.falcon_mamba.modeling_falcon_mamba.FalconMambaOutput 或 tuple(torch.FloatTensor)

一个 transformers.models.falcon_mamba.modeling_falcon_mamba.FalconMambaOutput 或一个 torch.FloatTensor 的 tuple (如果传递了 return_dict=False 或当 config.return_dict=False 时)，其中包含各种元素，具体取决于配置 (FalconMambaConfig) 和输入。

  • last_hidden_state (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出处的 hidden-states 序列。

  • cache_params (MambaCache) — 模型在最后时间步的状态。可以在 forward 方法中与下一个 input_ids 一起使用，以避免提供旧的 input_ids。

    包括选择性扫描后的状态空间模型状态矩阵和卷积状态

  • hidden_states (tuple(torch.FloatTensor), 可选, 当传递了 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的 Tuple（如果模型具有嵌入层，则为嵌入输出提供一个，+ 为每个层的输出提供一个），形状为 (batch_size, sequence_length, hidden_size)。

    模型在每层输出处的 Hidden-states，加上可选的初始嵌入输出。

FalconMambaModel forward 方法，覆盖了 __call__ 特殊方法。

尽管 forward 传递的配方需要在该函数内定义，但应在之后调用 Module 实例而不是此函数，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。

示例

>>> from transformers import AutoTokenizer, FalconMambaModel
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("tiiuae/falcon-mamba-7b")
>>> model = FalconMambaModel.from_pretrained("tiiuae/falcon-mamba-7b")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> outputs = model(**inputs)

>>> last_hidden_states = outputs.last_hidden_state

FalconMambaLMHeadModel

class transformers.FalconMambaForCausalLM

< >

( config )

参数

  • config (FalconMambaConfig) — 带有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。

带有语言建模 head 的 FALCONMAMBA 模型 Transformer（线性层，其权重与输入嵌入绑定）。

此模型继承自 PreTrainedConfig。查看超类文档，了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝 head 等）。

此模型也是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档，了解与常规用法和行为相关的所有事项。

forward

 < >

( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.LongTensor] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None cache_params: typing.Optional[transformers.cache_utils.MambaCache] = None labels: typing.Optional[torch.LongTensor] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None use_cache: typing.Optional[bool] = None cache_position: typing.Optional[torch.Tensor] = None **kwargs ) → transformers.models.falcon_mamba.modeling_falcon_mamba.FalconMambaCausalLMOutput 或 tuple(torch.FloatTensor)

参数

  • input_ids (torch.LongTensor，形状为 (batch_size, input_ids_length)) — 词汇表中输入序列 tokens 的索引。

    如果 cache_params.seqlen_offset>0，则只有未计算过往信息的 input_ids 应作为 input_ids 传递。

    索引可以使用 AutoTokenizer 获得。请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call() 了解详情。

    什么是输入 IDs？

  • inputs_embeds (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size), 可选) — 可选地，您可以选择直接传递嵌入表示，而不是传递 input_ids。如果您希望比模型的内部嵌入查找矩阵更精细地控制如何将 input_ids 索引转换为关联的向量，这将非常有用。
  • cache_params (MambaCache, 可选) — 如果传递，模型将在所有块中使用先前的状态（这将给出为提供的 input_ids 的输出，就好像模型添加了 state_input_ids + input_ids 作为上下文）。
  • use_cache (bool, optional) — 如果设置为 True，则返回 cache_params，并可用于快速生成下一个 logits。
  • output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参阅返回张量下的 hidden_states。
  • return_dict (bool, optional) — 是否返回 ModelOutput 而不是普通元组。
  • labels (torch.LongTensor of shape (batch_size, sequence_length), optional) — 用于语言建模的标签。 请注意，标签在模型内部**被移位**，即您可以设置 labels = input_ids。 索引在 [-100, 0, ..., config.vocab_size] 中选择。 所有设置为 -100 的标签都将被忽略（掩码），损失仅针对 [0, ..., config.vocab_size] 中的标签计算。

返回值

transformers.models.falcon_mamba.modeling_falcon_mamba.FalconMambaCausalLMOutput 或 tuple(torch.FloatTensor)

一个 transformers.models.falcon_mamba.modeling_falcon_mamba.FalconMambaCausalLMOutput 或 torch.FloatTensor 元组（如果传递 return_dict=False 或当 config.return_dict=False 时），包含各种元素，具体取决于配置 (FalconMambaConfig) 和输入。

  • loss (torch.FloatTensor of shape (1,), optional, returned when labels is provided) — 语言建模损失（用于预测下一个 token）。

  • logits (torch.FloatTensor of shape (batch_size, sequence_length, config.vocab_size)) — 语言建模头的预测分数（SoftMax 之前每个词汇标记的分数）。

  • cache_params (MambaCache) — 模型在最后时间步的状态。可以在 forward 方法中与下一个 input_ids 一起使用，以避免提供旧的 input_ids。

    包括选择性扫描后的状态空间模型状态矩阵和卷积状态

  • hidden_states (tuple(torch.FloatTensor), 可选, 当传递了 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的 Tuple（如果模型具有嵌入层，则为嵌入输出提供一个，+ 为每个层的输出提供一个），形状为 (batch_size, sequence_length, hidden_size)。

    模型在每层输出处的 Hidden-states，加上可选的初始嵌入输出。

The FalconMambaForCausalLM forward 方法，覆盖了 __call__ 特殊方法。

尽管 forward 传递的配方需要在该函数内定义，但应在之后调用 Module 实例而不是此函数，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。

示例

>>> import torch
>>> from transformers import AutoTokenizer, FalconMambaForCausalLM

>>> tokenizer = AutoTokenizer.from_pretrained("tiiuae/falcon-mamba-7b")
>>> model = FalconMambaForCausalLM.from_pretrained("tiiuae/falcon-mamba-7b")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> outputs = model(**inputs, labels=inputs["input_ids"])
>>> loss = outputs.loss
>>> logits = outputs.logits
< > 在 GitHub 上更新

←Falcon3 FLAN-T5→