Transformers 文档

Mixtral

Transformers

加入 Hugging Face 社区

并获得增强的文档体验

在模型、数据集和 Spaces 上进行协作

通过加速推理获得更快的示例

切换文档主题

开始使用

该模型于 2023-12-11 发布，并于 2023-12-11 添加到 Hugging Face Transformers。

Mixtral

概述

Mixtral-8x7B 在 Albert Jiang, Alexandre Sablayrolles, Arthur Mensch, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Florian Bressand, Gianna Lengyel, Guillaume Lample, Lélio Renard Lavaud, Lucile Saulnier, Marie-Anne Lachaux, Pierre Stock, Teven Le Scao, Thibaut Lavril, Thomas Wang, Timothée Lacroix, William El Sayed 的 Mixtral of Experts 博客文章中被介绍。

博客文章的开头说道：

今天，我们团队很荣幸发布 Mixtral 8x7B，这是一款高质量的稀疏专家混合模型（SMoE），具有开放的权重。根据 Apache 2.0 许可。Mixtral 在大多数基准测试中，以 6 倍更快的推理速度超越 Llama 2 70B。它是拥有宽松许可的最强开放权重模型，也是在成本/性能权衡方面整体最佳的模型。特别是，它在大多数标准基准测试中与 GPT3.5 持平或超越 GPT3.5。

Mixtral-8x7B 是 mistral.ai 在 Mistral-7B 之后发布的第二个大型语言模型（LLM）。

架构细节

Mixtral-8x7B 是一个仅解码器的 Transformer 模型，具有以下架构选择：

Mixtral 是一个专家混合（MoE）模型，每个 MLP 有 8 个专家，总共有 450 亿个参数。要了解更多关于专家混合的信息，请参阅博客文章。
尽管该模型有 450 亿个参数，但单次前向传播所需的计算量与 140 亿参数模型相同。这是因为虽然每个专家都必须加载到 RAM 中（70B 左右的 RAM 要求），但每个 token 的隐藏状态都会被分派两次（前 2 名路由），因此计算量（每次前向计算所需的操作）仅为 2 x 序列长度。

以下实现细节与 Mistral AI 的第一个模型 Mistral-7B 相同：

滑动窗口注意力 - 使用 8k 上下文长度和固定缓存大小进行训练，理论注意力跨度为 128K 个 token。
GQA（分组查询注意力） - 允许更快的推理和更小的缓存大小。
Byte-fallback BPE 分词器 - 确保字符永远不会映射到词汇表外的 token。

更多详情请参阅发布博客文章。

许可证

Mixtral-8x7B 在 Apache 2.0 许可下发布。

使用技巧

Mistral 团队发布了 2 个检查点：

一个基础模型 Mixtral-8x7B-v0.1，该模型已在互联网规模的数据上进行了预训练，以预测下一个 token。
一个经过指令微调的模型 Mixtral-8x7B-Instruct-v0.1，该模型是基础模型，通过监督微调（SFT）和直接偏好优化（DPO）进行了对话优化。

基础模型可以按如下方式使用：

>>> from transformers import AutoModelForCausalLM, AutoTokenizer

>>> model = AutoModelForCausalLM.from_pretrained("mistralai/Mixtral-8x7B-v0.1", device_map="auto")
>>> tokenizer = AutoTokenizer.from_pretrained("mistralai/Mixtral-8x7B-v0.1")

>>> prompt = "My favourite condiment is"

>>> model_inputs = tokenizer([prompt], return_tensors="pt").to(model.device)

>>> generated_ids = model.generate(**model_inputs, max_new_tokens=100, do_sample=True)
>>> tokenizer.batch_decode(generated_ids)[0]
"My favourite condiment is to ..."

指令微调模型可以按如下方式使用：

>>> from transformers import AutoModelForCausalLM, AutoTokenizer

>>> model = AutoModelForCausalLM.from_pretrained("mistralai/Mixtral-8x7B-Instruct-v0.1", device_map="auto")
>>> tokenizer = AutoTokenizer.from_pretrained("mistralai/Mixtral-8x7B-Instruct-v0.1")

>>> messages = [
...     {"role": "user", "content": "What is your favourite condiment?"},
...     {"role": "assistant", "content": "Well, I'm quite partial to a good squeeze of fresh lemon juice. It adds just the right amount of zesty flavour to whatever I'm cooking up in the kitchen!"},
...     {"role": "user", "content": "Do you have mayonnaise recipes?"}
... ]

>>> model_inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to(model.device)

>>> generated_ids = model.generate(model_inputs, max_new_tokens=100, do_sample=True)
>>> tokenizer.batch_decode(generated_ids)[0]
"Mayonnaise can be made as follows: (...)"

可以看到，指令微调模型需要应用聊天模板，以确保输入以正确的格式准备。

使用 Flash Attention 加速 Mixtral

上面的代码片段展示了没有任何优化技巧的推理过程。然而，通过利用 Flash Attention 可以大幅提高模型速度，它是模型内部所使用的注意力机制的一种更快的实现方式。

首先，请确保安装最新版本的 Flash Attention 2，以包含滑动窗口注意力功能。

pip install -U flash-attn --no-build-isolation

请确保你的硬件与 Flash-Attention 2 兼容。在 flash attention 仓库的官方文档中阅读更多相关信息。此外，请确保以半精度（例如 torch.float16）加载模型。

要加载并运行使用 Flash Attention-2 的模型，请参阅以下代码片段：

>>> import torch
>>> from transformers import AutoModelForCausalLM, AutoTokenizer

>>> model = AutoModelForCausalLM.from_pretrained("mistralai/Mixtral-8x7B-v0.1", dtype=torch.float16, attn_implementation="flash_attention_2", device_map="auto")
>>> tokenizer = AutoTokenizer.from_pretrained("mistralai/Mixtral-8x7B-v0.1")

>>> prompt = "My favourite condiment is"

>>> model_inputs = tokenizer([prompt], return_tensors="pt").to(model.device)

>>> generated_ids = model.generate(**model_inputs, max_new_tokens=100, do_sample=True)
>>> tokenizer.batch_decode(generated_ids)[0]
"The expected output"

预期加速

以下是使用 mistralai/Mixtral-8x7B-v0.1 检查点的 transformers 原生实现与 Flash Attention 2 版本模型进行纯推理时间比较的预期加速图。

滑动窗口注意力

当前实现支持滑动窗口注意力机制和内存高效的缓存管理。要启用滑动窗口注意力，请确保您拥有与滑动窗口注意力兼容的 flash-attn 版本（>=2.3.0）。

Flash Attention-2 模型还使用了更内存高效的缓存切片机制 - 正如 Mistral 模型官方实现推荐的那样，我们保持缓存大小固定（self.config.sliding_window），仅支持 padding_side="left" 的批量生成，并使用当前 token 的绝对位置来计算位置嵌入。

通过量化缩小 Mixtral 的体积

由于 Mixtral 模型有 450 亿个参数，在半精度（float16）下大约需要 90GB 的 GPU RAM，因为每个参数存储为 2 字节。然而，可以通过量化来缩小模型体积。如果模型被量化到 4 位（每个参数半字节），则单个 A100 40GB RAM 就足以容纳整个模型，此时只需要大约 27 GB RAM。

量化模型就像向模型传递 quantization_config 一样简单。下面，我们将利用 bitsandbytes 量化库（但有关替代量化方法，请参阅此页面）。

>>> import torch
>>> from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig

>>> # specify how to quantize the model
>>> quantization_config = BitsAndBytesConfig(
...         load_in_4bit=True,
...         bnb_4bit_quant_type="nf4",
...         bnb_4bit_compute_dtype="torch.float16",
... )

>>> model = AutoModelForCausalLM.from_pretrained("mistralai/Mixtral-8x7B-Instruct-v0.1", quantization_config=True, device_map="auto")
>>> tokenizer = AutoTokenizer.from_pretrained("mistralai/Mixtral-8x7B-Instruct-v0.1")

>>> prompt = "My favourite condiment is"

>>> messages = [
...     {"role": "user", "content": "What is your favourite condiment?"},
...     {"role": "assistant", "content": "Well, I'm quite partial to a good squeeze of fresh lemon juice. It adds just the right amount of zesty flavour to whatever I'm cooking up in the kitchen!"},
...     {"role": "user", "content": "Do you have mayonnaise recipes?"}
... ]

>>> model_inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to(model.device)

>>> generated_ids = model.generate(model_inputs, max_new_tokens=100, do_sample=True)
>>> tokenizer.batch_decode(generated_ids)[0]
"The expected output"

该模型由Younes Belkada和Arthur Zucker贡献。原始代码可以在这里找到。

资源

一系列官方 Hugging Face 和社区（由 🌎 表示）资源，帮助您开始使用 Mixtral。如果您有兴趣提交资源以包含在此处，请随时打开一个 Pull Request，我们将对其进行审核！该资源应最好能展示新内容，而不是复制现有资源。

文本生成

使用 Hugging Face 工具对 Mixtral-8x7B 进行监督微调（SFT）的演示笔记本可以在这里找到。🌎
一篇关于使用 PEFT 微调 Mixtral-8x7B 的博客文章。🌎
Hugging Face 的Alignment Handbook包含用于使用 Mistral-7B 进行监督微调（SFT）和直接偏好优化（DPO）的脚本和配方。这包括全量微调、单加速器上的 QLoRa 以及多加速器微调的脚本。
因果语言建模任务指南

Transformers

Mixtral

概述

架构细节

许可证

使用技巧

使用 Flash Attention 加速 Mixtral

预期加速

滑动窗口注意力

通过量化缩小 Mixtral 的体积

资源

MixtralConfig

class transformers.MixtralConfig

MistralCommonBackend

class transformers.MistralCommonBackend

add_special_tokens

add_tokens

apply_chat_template

batch_decode

build_inputs_with_special_tokens

convert_added_tokens

create_token_type_ids_from_sequences

decode

编码

from_pretrained

get_chat_template

get_special_tokens_mask

get_vocab

num_special_tokens_to_add

prepare_for_model

save_chat_templates

save_pretrained

save_vocabulary

tokenize

truncate_sequences

MixtralModel

class transformers.MixtralModel

forward

MixtralForCausalLM

class transformers.MixtralForCausalLM

forward

MixtralForSequenceClassification

class transformers.MixtralForSequenceClassification

forward

MixtralForTokenClassification

class transformers.MixtralForTokenClassification

forward

MixtralForQuestionAnswering

class transformers.MixtralForQuestionAnswering

forward