text-embeddings-inference 文档

提供私有和受限模型服务

Hugging Face's logo
加入 Hugging Face 社区

并获得增强型文档体验

入门

提供私有和受限模型服务

如果您要提供的模型受限于门控访问或位于 Hugging Face Hub 的私有模型存储库中,您将需要访问该模型才能提供服务。

确认您已访问模型后

如果您使用的是 CLI,请设置 HF_API_TOKEN 环境变量。例如

export HF_API_TOKEN=<YOUR READ TOKEN>

或者,您可以在使用 Docker 部署模型时提供令牌

model=<your private model>
volume=$PWD/data
token=<your cli Hugging Face Hub token>

docker run --gpus all -e HF_API_TOKEN=$token -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:1.5 --model-id $model
< > 更新 在 GitHub 上