text-generation-inference

服务私有模型和门控模型

如果您希望服务的模型受到门控访问限制，或者 Hugging Face Hub 上的模型仓库是私有的，并且您有权访问该模型，则可以提供您的 Hugging Face Hub 访问令牌。您可以从 Hugging Face Hub 令牌页面生成并复制读取令牌

如果您正在使用 CLI，请设置 HF_TOKEN 环境变量。例如

export HF_TOKEN=<YOUR READ TOKEN>

如果您想通过 Docker 执行此操作，可以通过指定 HF_TOKEN 来提供您的令牌，如下所示。

model=meta-llama/Llama-2-7b-chat-hf
volume=$PWD/data
token=<your READ token>

docker run --gpus all \
    --shm-size 1g \
    -e HF_TOKEN=$token \
    -p 8080:80 \
    -v $volume:/data ghcr.io/huggingface/text-generation-inference:3.2.2 \
    --model-id $model

< > 在 GitHub 上更新