Bitsandbytes 文档
故障排除
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
故障排除
没有可用的内核镜像
当 bitsandbytes 加载的 CUDA 版本不受您的 GPU 支持,或者您的 pytorch CUDA 版本不匹配时,会出现此问题。
要解决此问题,您需要调试 $LD_LIBRARY_PATH
, $CUDA_HOME
以及 $PATH
。您可以通过 echo $PATH
打印这些。您应该查找指向不同 CUDA 版本的多个路径。这可能包括 Anaconda 路径中的版本,例如 $HOME/anaconda3/lib
。您可以通过 ls -l $HOME/anaconda3/lib/*cuda*
或等效路径检查这些版本。查看这些路径中文件的 CUDA 版本。它与 nvidia-smi
匹配吗?
如果您觉得自己运气好,也可以尝试从源代码编译库。如果您的 PATH 变量有多个 CUDA 版本,这仍然可能存在问题。因此,建议您在继续编译之前找出路径冲突。
fatbinwrap
如果 C++ 库中的 CUDA 版本与 CUDA 部分不匹配,则会发生此错误。确保您的 $PATH
和 $LD_LIBRARY_PATH
变量中具有正确的 CUDA。在 conda 基本环境中,您可以在以下位置找到该库
ls $CONDA_PREFIX/lib/*cudart*
确保此路径已附加到 LD_LIBRARY_PATH
,以便 bnb 可以找到 CUDA 运行时环境库 (cudart)。
如果这不能解决问题,请尝试从源代码编译。
如果这不起作用,请打开一个 issue,并在调用 make
时粘贴打印的环境以及运行 bnb 时的相关错误。