使用 TGI 与 Intel GPU

TGI 优化模型在 Intel 数据中心 GPU Max1100, Max1550 上受支持，推荐通过 Docker 使用。

在由 Intel GPU 驱动的服务器上，可以使用以下命令启动 TGI

model=teknium/OpenHermes-2.5-Mistral-7B
volume=$PWD/data # share a volume with the Docker container to avoid downloading weights every run

docker run --rm --privileged --cap-add=sys_nice \
    --device=/dev/dri \
    --ipc=host --shm-size 1g --net host -v $volume:/data \
    ghcr.io/huggingface/text-generation-inference:3.2.2-intel-xpu \
    --model-id $model --cuda-graphs 0

使用 TGI 与 Intel CPU

Intel® Extension for PyTorch (IPEX) 还为 Intel CPU 提供了进一步的优化。IPEX 提供了诸如 flash attention、page attention、Add + LayerNorm、ROPE 等优化操作。

在由 Intel CPU 驱动的服务器上，可以使用以下命令启动 TGI

model=teknium/OpenHermes-2.5-Mistral-7B
volume=$PWD/data # share a volume with the Docker container to avoid downloading weights every run

docker run --rm --privileged --cap-add=sys_nice \
    --device=/dev/dri \
    --ipc=host --shm-size 1g --net host -v $volume:/data \
    ghcr.io/huggingface/text-generation-inference:3.2.2-intel-cpu \
    --model-id $model --cuda-graphs 0

启动的 TGI 服务器随后可以从客户端查询，请务必查看 “使用 TGI” 指南。

< > 在 GitHub 上更新