在本地使用 TEI 配合 Metal

您可以将 text-embeddings-inference 安装到本地，以便在支持 Metal 的 Mac 上运行。以下是安装的分步说明。

第一步：安装 Rust

在您的机器上安装 Rust，在您的终端中运行以下命令，然后按照说明操作

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

第二步：安装 Metal 支持

cargo install --path router -F metal

第三步：启动 Text Embeddings Inference

安装成功完成后，您可以使用以下命令启动 Text Embeddings Inference 与 Metal。

model=Qwen/Qwen3-Embedding-0.6B

text-embeddings-router --model-id $model --port 8080

现在您可以在本地机器上准备好使用 text-embeddings-inference 了。