Bitsandbytes 文档
其他算法
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
其他算法
WIP:仍未完成… 非常欢迎社区贡献!
这是 bitsandbytes
中 bnb.functional
API 的概述,我们认为它也可以作为独立实体使用。
使用 Int8 矩阵乘法
对于没有混合精度分解的直接 Int8 矩阵乘法,您可以使用 bnb.matmul(...)
。要启用混合精度分解,请使用 threshold 参数
bnb.matmul(..., threshold=6.0)