text-embeddings-inference 文档

在本地使用 TEI 和 Metal

Hugging Face's logo
加入 Hugging Face 社区

并获得增强型文档体验

开始使用

在本地使用 TEI 和 Metal

您可以本地安装 text-embeddings-inference 以在您自己的 Mac 上运行它并支持 Metal。以下是在您的终端运行以下命令进行安装的分步说明,然后按照说明操作。

步骤 1:安装 Rust

安装 Rust 到您的机器上,方法是在您的终端运行以下命令,然后按照说明操作

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

步骤 2:使用 Metal 支持进行安装

cargo install --path router -F metal

步骤 3:启动文本嵌入推理

安装成功后,可以使用以下命令启动使用 Metal 的文本嵌入推理

model=BAAI/bge-large-en-v1.5
revision=refs/pr/5

text-embeddings-router --model-id $model --revision $revision --port 8080

现在您已准备好使用 text-embeddings-inference 在本地机器上运行。

< > 在 GitHub 上更新