为 TEI 构建自定义容器

您可以使用 Docker 构建自己的 CPU 或 CUDA TEI 容器。要构建 CPU 容器，请在包含自定义 Dockerfile 的目录中运行以下命令：

docker build .

要构建 CUDA 容器，确定运行时将使用的 GPU 的计算能力（compute cap）至关重要。此信息对于正确配置 CUDA 容器至关重要。以下是各种 GPU 类型的运行时计算能力示例：

• Turing (T4, RTX 2000 系列, …) - runtime_compute_cap=75
• A100 - runtime_compute_cap=80
• A10 - runtime_compute_cap=86
• Ada Lovelace (RTX 4000 系列, …) - runtime_compute_cap=89
• H100 - runtime_compute_cap=90

确定计算能力后，将其设置为 runtime_compute_cap 变量，并按照以下示例构建容器：

# Get submodule dependencies
git submodule update --init

runtime_compute_cap=80

docker build . -f Dockerfile-cuda --build-arg CUDA_COMPUTE_CAP=$runtime_compute_cap