问题排查

无可用内核镜像 (No kernel image available)

当 bitsandbytes 加载的 CUDA 版本不被您的 GPU 支持，或者您的 PyTorch CUDA 版本不匹配时，会出现此问题。

要解决此问题，您需要调试 $LD_LIBRARY_PATH、$CUDA_HOME 以及 $PATH。您可以通过 echo $PATH 打印这些变量。您应该查找指向不同 CUDA 版本的多个路径。这可能包括您 anaconda 路径中的版本，例如 $HOME/anaconda3/lib。您可以通过 ls -l $HOME/anaconda3/lib/*cuda* 或等效路径来检查这些版本。查看这些路径中文件的 CUDA 版本。它是否与 nvidia-smi 的输出匹配？

如果您想碰碰运气，也可以尝试从源代码编译该库。如果您的 PATH 变量中有多个 CUDA 版本，这仍然可能会有问题。因此，建议在继续编译之前解决路径冲突。

fatbinwrap

如果 C++ 库和 CUDA 部分的 CUDA 版本不匹配，则会发生此错误。请确保您的 $PATH 和 $LD_LIBRARY_PATH 变量中有正确的 CUDA。在 conda 基础环境中，您可以在以下位置找到该库：

ls $CONDA_PREFIX/lib/*cudart*

请确保将此路径附加到 LD_LIBRARY_PATH 中，以便 bnb 可以找到 CUDA 运行时环境库 (cudart)。

如果这不能解决问题，请接下来尝试从源代码编译。

如果这仍然不起作用，请提交一个 issue，并粘贴您调用 make 时打印的环境信息以及运行 bnb 时的相关错误。