Google Kubernetes Engine (GKE) 示例

此目录包含在 Google Kubernetes Engine (GKE) 中使用 Hugging Face 深度学习容器 (DLC) 进行训练和推理的示例，重点关注大型语言模型 (LLM)。

训练示例

示例	标题
trl-full-fine-tuning	在 GKE 上使用 SFT 微调 Gemma 2B 以及 PyTorch 训练 DLC
trl-lora-fine-tuning	使用 SFT + LoRA 在 GKE 上通过 PyTorch 训练 DLC 微调 Mistral 7B v0.3

推理示例

示例	标题
tei-deployment	在 GKE 上部署 Snowflake 的 Arctic Embed 和 TEI DLC
tei-from-gcs-deployment	在 GKE 上从 GCS 部署 BGE Base v1.5 与 TEI DLC
tgi-deployment	在 GKE 上使用 TGI DLC 部署 Meta Llama 3 8B
tgi-from-gcs-deployment	在 GKE 上从 GCS 部署带有 TGI DLC 的 Qwen2 7B
tgi-llama-405b-deployment	在 GKE 上使用 TGI DLC 部署 Llama 3.1 405B
tgi-llama-vision-deployment	在 GKE 上使用 TGI DLC 部署 Llama 3.2 11B Vision
tgi-multi-lora-deployment	在 GKE 上使用 TGI DLC 部署带有多个 LoRA 适配器的 Gemma2

---

< > 在 GitHub 上更新