在 Kubernetes 上运行 HUGS

HUGS (Hugging Face Generative AI Services) 可以部署在 Kubernetes 上，以实现可扩展和可管理的 AI 模型推理。本指南将引导您完成在 Kubernetes 集群上部署 HUGS 的过程。

要求

• 一个 Kubernetes 集群 (版本 1.23 或更高)
• Helm v3 或更高版本

HUGS Helm Chart

要将 HUGS Chart 安装到您的 Kubernetes 集群，请按照以下步骤操作

验证工具设置和集群访问

# Check if helm is installed
helm version
# Make sure `kubectl` is configured correctly and you can access the cluster
kubectl get pods

获取 Helm Chart

添加 HUGS Helm 仓库并更新

helm repo add hugs https://raw.githubusercontent.com/huggingface/hugs-helm-chart/main/charts/hugs
helm repo update hugs

获取默认的 values.yaml 配置文件

helm show values hugs/hugs > values.yaml

修改 values.yaml

编辑 values.yaml 文件以自定义 Helm Chart 以适应您的环境。以下是一些您可能需要修改的关键部分

模型选择

选择您想要部署的 HUGS 模型。例如，要部署 Gemma 2 9B Instruct 模型

image:
  repository: hfhugs
  name: nvidia-google-gemma-2-9b-it
  tag: latest

[!NOTE] 容器 URI 可能会因您使用的发行版和模型而异。

资源限制

根据集群的能力和模型的要求调整资源限制。例如

resources:
  limits:
    nvidia.com/gpu: 1
  requests:
    nvidia.com/gpu: 1

部署 (安装 Helm Chart)

部署 HUGS Helm Chart

# Create a HUGS namespace
kubectl create namespace hugs

# Deploy
helm upgrade --install \
  "hugs" \
  hugs/hugs \
  --namespace "hugs" \
  --values ./values.yaml

运行推理

部署 HUGS 后，您可以使用提供的 API 运行推理。有关详细说明，请参阅推理指南。

问题排查

如果您在 Kubernetes 上部署 HUGS 时遇到问题，请考虑以下几点

1. 检查 pod 状态：kubectl get pods -n hugs
2. 查看 pod 日志：kubectl logs <pod-name> -n hugs
3. 确保您的集群有足够的资源来支持所选模型
4. 如果使用 GPU 加速，请验证您的节点上是否安装了正确的 NVIDIA 驱动程序和 CUDA 版本

有关更具体的故障排除步骤，请查阅 HUGS 文档或社区论坛。

更新和升级

要在初始设置后更新您的 HUGS 部署，请修改您的 values.yaml 文件并再次运行 helm upgrade 命令

helm upgrade hugs hugs/hugs --namespace hugs --values ./values.yaml

在迁移到新版本的 HUGS 时，请务必检查发行说明中是否有任何重大更改或特定的升级说明。

通过遵循本指南，您应该能够成功地在您的 Kubernetes 集群上部署 HUGS，并开始使用您选择的 AI 模型运行推理。