Transformers 文档
FBGEMM
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
FBGEMM
FBGEMM (Facebook 通用矩阵乘法) 是一个低精度矩阵乘法库,适用于小批量大小,并支持最小化精度损失的技术,例如逐行量化和异常值感知量化。 使用 FBGEMM,将模型权重量化为 8 位/通道,并将激活量化为 8 位/token(也称为 fp8 或 w8a8)。
您需要一个计算能力为 9+ 的 GPU,例如 H100。
使用以下命令安装 FBGEMM_GPU 包,以确保您拥有最新版本。
pip install --upgrade accelerate fbgemm-gpu torch
如果您在安装时遇到问题,请尝试安装每夜构建版本。
创建一个 FbgemmFp8Config 并将其传递给 from_pretrained() 以将模型量化为 fp8。
from transformers import FbgemmFp8Config, AutoModelForCausalLM
quantization_config = FbgemmFp8Config()
quantized_model = AutoModelForCausalLM.from_pretrained(
"meta-llama/Meta-Llama-3-8B",
torch_dtype="auto",
device_map="auto",
quantization_config=quantization_config
)
save_pretrained() 和 from_pretrained() 允许保存和加载量化模型。
quant_path = "/path/to/save/quantized/model"
model.save_pretrained(quant_path)
model = AutoModelForCausalLM.from_pretrained(quant_path, device_map="auto")
资源
阅读开源 FBGEMM 以实现最先进的服务器端推理博客文章,以获取有关 FBGEMM 的更多详细信息。
< > 更新 在 GitHub 上