文本嵌入推理文档
使用 TEI 容器配合 Intel® 硬件
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
使用 TEI 容器配合 Intel® 硬件
本指南将介绍如何构建和部署针对 Intel® 硬件（包括 CPU、XPU 和 HPU）进行优化的 text-embeddings-inference 容器。
CPU
构建 Docker 镜像
要构建针对 Intel® CPU 优化的容器，请运行以下命令
platform="cpu" docker build . -f Dockerfile-intel --build-arg PLATFORM=$platform -t tei_cpu_ipex
部署 Docker 容器
要将您的模型部署到 Intel® CPU 上，请使用以下命令
model='Qwen/Qwen3-Embedding-0.6B' volume=$PWD/data docker run -p 8080:80 -v $volume:/data tei_cpu_ipex --model-id $model
XPU
构建 Docker 镜像
要构建针对 Intel® XPU 优化的容器，请运行以下命令
platform="xpu" docker build . -f Dockerfile-intel --build-arg PLATFORM=$platform -t tei_xpu_ipex
部署 Docker 容器
要将您的模型部署到 Intel® XPU 上，请使用以下命令
model='Qwen/Qwen3-Embedding-0.6B' volume=$PWD/data docker run -p 8080:80 -v $volume:/data --device=/dev/dri -v /dev/dri/by-path:/dev/dri/by-path tei_xpu_ipex --model-id $model --dtype float16
HPU
TEI 支持 Gaudi 2 和 Gaudi 3。Gaudi 1 **不支持**。
构建 Docker 镜像
要构建针对 Intel® HPU (Gaudi) 优化的容器，请运行以下命令
platform="hpu" docker build . -f Dockerfile-intel --build-arg PLATFORM=$platform -t tei_hpu
部署 Docker 容器
要将您的模型部署到 Intel® HPU (Gaudi) 上，请使用以下命令
model='Qwen/Qwen3-Embedding-0.6B' volume=$PWD/data docker run -p 8080:80 -v $volume:/data --runtime=habana -e HABANA_VISIBLE_DEVICES=all -e MAX_WARMUP_SEQUENCE_LENGTH=512 tei_hpu --model-id $model --dtype bfloat16
预构建的 Docker 镜像
为了方便起见，GitHub Container Registry (GHCR) 提供了预构建的 Docker 镜像。您可以直接拉取这些镜像，无需手动构建。
CPU
要使用针对 Intel® CPU 优化的预构建镜像，请运行
docker pull ghcr.io/huggingface/text-embeddings-inference:cpu-ipex-latest
XPU
要使用针对 Intel® XPU 优化的预构建镜像，请运行
docker pull ghcr.io/huggingface/text-embeddings-inference:xpu-ipex-latest
HPU
TEI 支持 Gaudi 2 和 Gaudi 3。Gaudi 1 **不支持**。
要使用针对 Intel® HPU (Gaudi) 优化的预构建镜像，请运行
docker pull ghcr.io/huggingface/text-embeddings-inference:hpu-latest