文本嵌入推理

服务私有和受限模型

如果您想服务的模型受限于访问权限，或者托管在 Hugging Face Hub 的私有模型仓库中，您需要拥有访问该模型的权限才能对其进行服务。

一旦您确认您已获得该模型的访问权限

导航到您账户的个人资料 | 设置 | 访问令牌页面。
生成并复制一个读取令牌。

如果您使用的是命令行界面，请设置 HF_TOKEN 环境变量。例如

export HF_TOKEN=<YOUR READ TOKEN>

或者，您可以在使用 Docker 部署模型时提供令牌

model=<your private model>
volume=$PWD/data
token=<your cli Hugging Face Hub token>

docker run --gpus all -e HF_TOKEN=$token -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:1.8 --model-id $model

在 GitHub 上更新