在CPU上本地使用TEI

您可以在本地安装 `text-embeddings-inference` 并在自己的机器上运行它。以下是安装的逐步说明：

步骤1：安装Rust

在您的机器上安装 Rust，在您的终端中运行以下命令，然后按照说明操作

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

步骤2：安装必要的软件包

根据您的机器架构，运行以下命令之一：

适用于x86机器

cargo install --path router -F mkl

适用于M1或M2机器

cargo install --path router -F metal

步骤3：启动文本嵌入推理

安装成功完成后，您可以使用以下命令在CPU上启动文本嵌入推理：

model=Qwen/Qwen3-Embedding-0.6B

text-embeddings-router --model-id $model --port 8080

sudo apt-get install libssl-dev gcc -y

现在您已准备好在本地机器上使用 `text-embeddings-inference`。如果您想在本地使用GPU运行TEI，请查看在GPU上本地使用TEI页面。