text-generation-inference 文档
服务私有和受限模型
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
服务私有和受限模型
如果您希望服务的模型受到受限访问或 Hugging Face Hub 上的模型仓库是私有的,并且您有权访问该模型,您可以提供您的 Hugging Face Hub 访问令牌。您可以从 Hugging Face Hub 令牌页面生成并复制一个读取令牌。
如果您正在使用 CLI,请设置 HF_TOKEN
环境变量。例如:
export HF_TOKEN=<YOUR READ TOKEN>
如果您想通过 Docker 来完成,可以通过指定 HF_TOKEN
来提供您的令牌,如下所示。
model=meta-llama/Llama-2-7b-chat-hf
volume=$PWD/data
token=<your READ token>
docker run --gpus all \
--shm-size 1g \
-e HF_TOKEN=$token \
-p 8080:80 \
-v $volume:/data ghcr.io/huggingface/text-generation-inference:3.3.4 \
--model-id $model