其他算法
进行中:尚未完善……热烈欢迎社区贡献!
这是对 `bitsandbytes` 中 `bnb.functional` API 的概述,我们认为它们也作为独立实体非常有用。
使用 Int8 矩阵乘法
对于使用混合精度分解的直接 Int8 矩阵乘法,您可以使用 `bnb.matmul(...)`。要启用混合精度分解,请使用 `threshold` 参数
bnb.matmul(..., threshold=6.0)
进行中:尚未完善……热烈欢迎社区贡献!
这是对 `bitsandbytes` 中 `bnb.functional` API 的概述,我们认为它们也作为独立实体非常有用。
对于使用混合精度分解的直接 Int8 矩阵乘法,您可以使用 `bnb.matmul(...)`。要启用混合精度分解,请使用 `threshold` 参数
bnb.matmul(..., threshold=6.0)