在 Kubernetes 上部署 HUGS

HUGS (Hugging Face Generative AI 服务) 可以部署在 Kubernetes 上，以实现可扩展和可管理的 AI 模型推理。本指南将引导您完成在 Kubernetes 集群上部署 HUGS 的过程。

要求

Kubernetes 集群 (版本 1.23 或更高版本)
Helm 版本 v3 或更高版本

HUGS Helm Chart

要在您的 Kubernetes 集群上安装 HUGS chart，请按照以下步骤操作

验证工具设置和集群访问权限

# Check if helm is installed
helm version
# Make sure `kubectl` is configured correctly and you can access the cluster
kubectl get pods

获取 Helm Chart

添加 HUGS helm 仓库并更新

helm repo add hugs https://raw.githubusercontent.com/huggingface/hugs-helm-chart/main/charts/hugs
helm repo update hugs

获取默认的 values.yaml 配置文件

helm show values hugs/hugs > values.yaml

修改 values.yaml

编辑 values.yaml 文件以自定义 Helm chart，使其适应您的环境。以下是一些您可能需要修改的关键部分

模型选择

选择您要部署的 HUGS 模型。例如，部署 Gemma 2 9B Instruct 模型

image:
  repository: hfhugs
  name: nvidia-google-gemma-2-9b-it
  tag: latest

[!NOTE] 容器 URI 可能因您使用的发行版和模型而异。

资源限制

根据您集群的容量和模型的要求调整资源限制。例如

resources:
  limits:
    nvidia.com/gpu: 1
  requests:
    nvidia.com/gpu: 1

部署 (安装 Helm chart)

部署 HUGS Helm chart

# Create a HUGS namespace
kubectl create namespace hugs

# Deploy
helm upgrade --install \
  "hugs" \
  hugs/hugs \
  --namespace "hugs" \
  --values ./values.yaml

运行推理

一旦 HUGS 部署完成，您可以使用提供的 API 运行推理。有关详细说明，请参阅推理指南。

故障排除

如果您在 Kubernetes 上部署 HUGS 时遇到问题，请考虑以下事项

检查 Pod 状态：kubectl get pods -n hugs
查看 Pod 日志：kubectl logs <pod-name> -n hugs
确保您的集群有足够的资源来支持所选模型
如果使用 GPU 加速，请验证您的节点上是否安装了正确的 NVIDIA 驱动程序和 CUDA 版本

有关更具体的故障排除步骤，请查阅 HUGS 文档或社区论坛。

更新和升级

要在初始设置后更新您的 HUGS 部署，请修改您的 values.yaml 文件并再次运行 helm upgrade 命令

helm upgrade hugs hugs/hugs --namespace hugs --values ./values.yaml

在升级到新版本的 HUGS 时，请务必查看发行说明，了解任何重大更改或特定的升级说明。

通过遵循本指南，您应该能够成功地在您的 Kubernetes 集群上部署 HUGS，并开始使用您选择的 AI 模型运行推理。

< > 在 GitHub 上更新

Hugging Face Generative AI 服务 (HUGS)