FBGEMM

FBGEMM (Facebook GEneral Matrix Multiplication) 是一个低精度矩阵乘法库，适用于小批量大小，并支持诸如行式量化和离群值感知量化等最小化精度损失的技术。使用 FBGEMM，可以将模型的权重量化为 8 位/通道，将激活量化为 8 位/令牌（也称为 fp8 或 w8a8）。

您需要一个具有计算能力 9+ 的 GPU，例如 H100。

使用以下命令安装 FBGEMM_GPU 包，以确保您拥有最新版本。

pip install --upgrade accelerate fbgemm-gpu torch

如果您遇到安装问题，请尝试安装夜间构建版本。

创建一个 FbgemmFp8Config 并将其传递给 from_pretrained() 以将模型量化为 fp8。

from transformers import FbgemmFp8Config, AutoModelForCausalLM

quantization_config = FbgemmFp8Config()
quantized_model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Meta-Llama-3-8B",
    dtype="auto",
    device_map="auto",
    quantization_config=quantization_config
)

save_pretrained() 和 from_pretrained() 支持保存和加载量化模型。

quant_path = "/path/to/save/quantized/model"
model.save_pretrained(quant_path)
model = AutoModelForCausalLM.from_pretrained(quant_path, device_map="auto")

资源

阅读 Open-sourcing FBGEMM for state-of-the-art server-side inference 博客文章以获取 FBGEMM 的更多详细信息。

在 GitHub 上更新

Transformers

FBGEMM

资源