Bitsandbytes 文档

故障排除

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

故障排除

没有可用的内核镜像

当 bitsandbytes 加载的 CUDA 版本不受您的 GPU 支持,或者您的 pytorch CUDA 版本不匹配时,会出现此问题。

要解决此问题,您需要调试 $LD_LIBRARY_PATH, $CUDA_HOME 以及 $PATH。您可以通过 echo $PATH 打印这些。您应该查找指向不同 CUDA 版本的多个路径。这可能包括 Anaconda 路径中的版本,例如 $HOME/anaconda3/lib。您可以通过 ls -l $HOME/anaconda3/lib/*cuda* 或等效路径检查这些版本。查看这些路径中文件的 CUDA 版本。它与 nvidia-smi 匹配吗?

如果您觉得自己运气好,也可以尝试从源代码编译库。如果您的 PATH 变量有多个 CUDA 版本,这仍然可能存在问题。因此,建议您在继续编译之前找出路径冲突。

fatbinwrap

如果 C++ 库中的 CUDA 版本与 CUDA 部分不匹配,则会发生此错误。确保您的 $PATH$LD_LIBRARY_PATH 变量中具有正确的 CUDA。在 conda 基本环境中,您可以在以下位置找到该库

ls $CONDA_PREFIX/lib/*cudart*

确保此路径已附加到 LD_LIBRARY_PATH,以便 bnb 可以找到 CUDA 运行时环境库 (cudart)。

如果这不能解决问题,请尝试从源代码编译。

如果这不起作用,请打开一个 issue,并在调用 make 时粘贴打印的环境以及运行 bnb 时的相关错误。

< > 在 GitHub 上更新