文本嵌入推理文档

在 CPU 上本地使用 TEI

Hugging Face's logo
加入 Hugging Face 社区

并获得增强型文档体验

开始

在 CPU 上本地使用 TEI

您可以本地安装 text-embeddings-inference 以在您自己的机器上运行它。以下是安装的分步说明。

步骤 1:安装 Rust

安装 Rust 在您的机器上,通过在您的终端中运行以下命令,然后按照说明操作。

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

步骤 2:安装必要的软件包

根据您机器的架构,运行以下命令之一。

适用于 x86 机器

cargo install --path router -F mkl

适用于 M1 或 M2 机器

cargo install --path router -F metal

步骤 3:启动文本嵌入推理

安装成功完成后,您可以使用以下命令在 CPU 上启动文本嵌入推理。

model=BAAI/bge-large-en-v1.5
revision=refs/pr/5

text-embeddings-router --model-id $model --revision $revision --port 8080

在某些情况下,您可能还需要安装 OpenSSL 库和 gcc。在 Linux 机器上,运行以下命令。

sudo apt-get install libssl-dev gcc -y

现在您可以准备在您的机器上本地使用 text-embeddings-inference 了。如果您想在 GPU 上本地运行 TEI,请查看在 GPU 上本地使用 TEI页面。

< > 更新 在 GitHub 上