Bitsandbytes 文档

其他算法

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

其他算法

WIP:仍未完成… 非常欢迎社区贡献!

这是 bitsandbytesbnb.functional API 的概述,我们认为它也可以作为独立实体使用。

使用 Int8 矩阵乘法

对于没有混合精度分解的直接 Int8 矩阵乘法,您可以使用 bnb.matmul(...)。要启用混合精度分解,请使用 threshold 参数

bnb.matmul(..., threshold=6.0)
< > 在 GitHub 上更新