使用 CPU 在本地使用 TEI

您可以在本地安装 text-embeddings-inference，以便在您自己的机器上运行它。以下是分步安装说明

步骤 1：安装 Rust

安装 Rust 在您的机器上，通过在终端中运行以下命令，然后按照说明操作

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

步骤 2：安装必要的软件包

根据您机器的架构，运行以下命令之一

对于 x86 机器

cargo install --path router -F mkl

对于 M1 或 M2 机器

cargo install --path router -F metal

步骤 3：启动文本嵌入推理

一旦成功完成安装，您可以使用以下命令在 CPU 上启动文本嵌入推理

model=BAAI/bge-large-en-v1.5
revision=refs/pr/5

text-embeddings-router --model-id $model --revision $revision --port 8080

sudo apt-get install libssl-dev gcc -y

现在您已准备好在本地机器上使用 text-embeddings-inference。如果您想在本地使用 GPU 运行 TEI，请查看使用 GPU 在本地使用 TEI页面。