使用 Metal 在本地运行 TEI

您可以在本地安装 text-embeddings-inference，以便在您自己的支持 Metal 的 Mac 上运行它。以下是分步安装说明

步骤 1：安装 Rust

安装 Rust 通过在您的终端中运行以下命令，然后按照说明操作

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

步骤 2：安装 Metal 支持

cargo install --path router -F metal

步骤 3：启动 Text Embeddings Inference

安装成功完成后，您可以使用以下命令启动带有 Metal 的 Text Embeddings Inference

model=BAAI/bge-large-en-v1.5
revision=refs/pr/5

text-embeddings-router --model-id $model --revision $revision --port 8080

现在您可以开始在本地机器上使用 text-embeddings-inference 了。