文本嵌入推理文档
在英特尔®硬件上使用 TEI 容器
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
在英特尔®硬件上使用 TEI 容器
本指南解释了如何构建和部署针对英特尔®硬件（包括 CPU、XPU 和 HPU）优化的 `text-embeddings-inference` 容器。
CPU
构建 Docker 镜像
要构建针对英特尔® CPU 优化的容器，请运行以下命令
platform="cpu" docker build . -f Dockerfile-intel --build-arg PLATFORM=$platform -t tei_cpu_ipex
部署 Docker 容器
要在英特尔® CPU 上部署模型，请使用以下命令
model='Qwen/Qwen3-Embedding-0.6B' volume=$PWD/data docker run -p 8080:80 -v $volume:/data tei_cpu_ipex --model-id $model
XPU
构建 Docker 镜像
要构建针对英特尔® XPU 优化的容器，请运行以下命令
platform="xpu" docker build . -f Dockerfile-intel --build-arg PLATFORM=$platform -t tei_xpu_ipex
部署 Docker 容器
要在英特尔® XPU 上部署模型，请使用以下命令
model='Qwen/Qwen3-Embedding-0.6B' volume=$PWD/data docker run -p 8080:80 -v $volume:/data --device=/dev/dri -v /dev/dri/by-path:/dev/dri/by-path tei_xpu_ipex --model-id $model --dtype float16
HPU
TEI 仅支持 Gaudi 2 和 Gaudi 3。Gaudi 1 **不**受支持。
构建 Docker 镜像
要构建针对英特尔® HPU (Gaudi) 优化的容器，请运行以下命令
platform="hpu" docker build . -f Dockerfile-intel --build-arg PLATFORM=$platform -t tei_hpu
部署 Docker 容器
要在英特尔® HPU (Gaudi) 上部署模型，请使用以下命令
model='Qwen/Qwen3-Embedding-0.6B' volume=$PWD/data docker run -p 8080:80 -v $volume:/data --runtime=habana -e HABANA_VISIBLE_DEVICES=all -e MAX_WARMUP_SEQUENCE_LENGTH=512 tei_hpu --model-id $model --dtype bfloat16
预构建的 Docker 镜像
为了方便起见，GitHub Container Registry (GHCR) 上提供了预构建的 Docker 镜像。您可以直接拉取这些镜像，无需手动构建它们
CPU
要使用针对英特尔® CPU 优化的预构建镜像，请运行
docker pull ghcr.io/huggingface/text-embeddings-inference:cpu-ipex-latest
XPU
要使用针对英特尔® XPU 优化的预构建镜像，请运行
docker pull ghcr.io/huggingface/text-embeddings-inference:xpu-ipex-latest
HPU
TEI 仅支持 Gaudi 2 和 Gaudi 3。Gaudi 1 **不**受支持。
要使用针对英特尔® HPU (Gaudi) 优化的预构建镜像，请运行
docker pull ghcr.io/huggingface/text-embeddings-inference:hpu-latest