Bitsandbytes 文档

其他算法

Hugging Face's logo
加入 Hugging Face 社区

并获得增强文档体验的访问权限

开始使用

其他算法

进行中:尚未完善……热烈欢迎社区贡献!

这是对 `bitsandbytes` 中 `bnb.functional` API 的概述,我们认为它们也作为独立实体非常有用。

使用 Int8 矩阵乘法

对于使用混合精度分解的直接 Int8 矩阵乘法,您可以使用 `bnb.matmul(...)`。要启用混合精度分解,请使用 `threshold` 参数

bnb.matmul(..., threshold=6.0)
< > 更新 在 GitHub 上