构建用于 TEI 的自定义容器

您可以使用 Docker 构建自己的 CPU 或 CUDA TEI 容器。要构建 CPU 容器，请在包含自定义 Dockerfile 的目录中运行以下命令

docker build .

要构建 CUDA 容器，必须确定运行时将使用的 GPU 的计算能力（计算能力）。此信息对于 CUDA 容器的正确配置至关重要。以下是各种 GPU 类型的运行时计算能力示例

• Turing（T4、RTX 2000 系列等） - runtime_compute_cap=75
• A100 - runtime_compute_cap=80
• A10 - runtime_compute_cap=86
• Ada Lovelace（RTX 4000 系列等） - runtime_compute_cap=89
• H100 - runtime_compute_cap=90

确定计算能力后，将其设置为 runtime_compute_cap 变量，并按照以下示例构建容器

runtime_compute_cap=80

docker build . -f Dockerfile-cuda --build-arg CUDA_COMPUTE_CAP=$runtime_compute_cap