Google Kubernetes Engine (GKE) 示例
此目录包含在 Google Kubernetes Engine (GKE) 中使用 Hugging Face 深度学习容器 (DLC) 的使用示例，用于训练和推理，重点关注大型语言模型 (LLM)。
训练示例
| 示例 | 标题 |
|---|---|
| trl-full-fine-tuning | 使用 PyTorch 训练 DLC 在 GKE 上使用 SFT 对 Gemma 2B 进行微调 |
| trl-lora-fine-tuning | 使用 PyTorch 训练 DLC 在 GKE 上使用 SFT + LoRA 对 Mistral 7B v0.3 进行微调 |
推理示例
| 示例 | 标题 |
|---|---|
| tei-deployment | 在 GKE 上使用 TEI DLC 部署 Snowflake 的 Arctic Embed |
| tei-from-gcs-deployment | 在 GKE 上使用 TEI DLC 从 GCS 部署 BGE Base v1.5 |
| tgi-deployment | 在 GKE 上使用 TGI DLC 部署 Meta Llama 3 8B |
| tgi-from-gcs-deployment | 在 GKE 上使用 TGI DLC 从 GCS 部署 Qwen2 7B |
| tgi-llama-405b-deployment | 在 GKE 上使用 TGI DLC 部署 Llama 3.1 405B |
| tgi-llama-vision-deployment | 在 GKE 上使用 TGI DLC 部署 Llama 3.2 11B Vision |
| tgi-multi-lora-deployment | 在 GKE 上使用 TGI DLC 部署带有多个 LoRA 适配器的 Gemma2 |
📍 在 GitHub 上找到完整的示例 这里!