在本地使用 TEI（CPU 版本）

您可以本地安装 text-embeddings-inference 以在自己的机器上运行。以下是安装的分步说明。

步骤 1：安装 Rust

在您的机器上安装 Rust，在您的终端中运行以下命令，然后按照说明操作

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

步骤 2：安装必要的软件包

根据您的机器架构，运行以下命令之一。

适用于 x86 机器

cargo install --path router -F mkl

适用于 M1 或 M2 机器

cargo install --path router -F metal

步骤 3：启动 Text Embeddings Inference

安装成功完成后，您可以使用以下命令在 CPU 上启动 Text Embeddings Inference。

model=Qwen/Qwen3-Embedding-0.6B

text-embeddings-router --model-id $model --port 8080

在某些情况下，您可能还需要安装 OpenSSL 库和 gcc。在 Linux 机器上，运行以下命令：

已复制

sudo apt-get install libssl-dev gcc -y

现在您已准备好在本地机器上使用 text-embeddings-inference。如果您想在本地使用 GPU 运行 TEI，请查看在本地使用 TEI（GPU 版本）页面。