📄 其他资源

了解如何在 Google Cloud 中使用 Hugging Face，请阅读以下博文、演示文稿、Google 文档和示例。

博客文章

• 为开放未来而构建——我们与 Google Cloud 的新合作
• Hugging Face 与 Google 合作推动开放人工智能协作
• Hugging Face 用户可使用 Google Cloud TPU
• 让数千个开放 LLM 在 Vertex AI 模型花园中绽放
• 在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B

演示文稿

• Gemma 开发者日（东京）| 使用 Hugging Face Text Generation Inference (TGI) 释放 Gemma 的生产能力

Google 文档

• Google Cloud Hugging Face 深度学习容器
• Google Cloud 适用于 DLC 的公共 Artifact Registry
• 使用 Hugging Face TGI 在 GKE 上通过 GPU 为 Gemma 开源模型提供服务
• Vertex 上的生成式 AI - 使用 Hugging Face 文本生成模型

示例

• 所有示例

Vertex AI

• 推理

  • 在 Vertex AI 上使用 PyTorch Inference DLC 部署 BERT 模型
  • 在 Vertex AI 上使用 TEI DLC 部署嵌入模型
  • 在 Vertex AI 上使用 PyTorch Inference DLC 部署 FLUX
  • 在 Vertex AI 上从 GCS 使用 TGI DLC 部署 Gemma 7B
  • 在 Vertex AI 上使用 TGI DLC 部署 Gemma 7B
  • 在 Vertex AI 上使用 TGI DLC 部署 Llama 3.2 11B Vision
  • 在 Vertex AI 上使用 TGI DLC 部署 Meta Llama 3.1 405B

• 训练

  • 在 Vertex AI 上使用 PyTorch Training DLC 通过 SFT + LoRA 微调 Gemma 2B
  • 在 Vertex AI 上使用 PyTorch Training DLC 通过 SFT 微调 Mistral 7B v0.3

• 评估

  • 使用 Vertex AI 和 Gemini 评估开放式 LLM

GKE

• 推理

  • 在 GKE 上从 GCS 部署 BGE Base v1.5 与 TEI DLC
  • 在 GKE 上使用 TGI DLC 部署带有多个 LoRA 适配器的 Gemma2
  • 在 GKE 上使用 TGI DLC 部署 Llama 3.1 405B
  • 在 GKE 上使用 TGI DLC 部署 Llama 3.2 11B Vision
  • 在 GKE 上使用 TGI DLC 部署 Meta Llama 3 8B
  • 在 GKE 上从 GCS 部署带有 TGI DLC 的 Qwen2 7B
  • 在 GKE 上部署 Snowflake 的 Arctic Embed 和 TEI DLC

• 训练

  • 在 GKE 上使用 SFT 微调 Gemma 2B 以及 PyTorch 训练 DLC
  • 使用 SFT + LoRA 在 GKE 上通过 PyTorch 训练 DLC 微调 Mistral 7B v0.3

Cloud Run

• 推理

  • 在 Cloud Run 上使用 TGI DLC 部署 Gemma2 9B
  • 在 Cloud Run 上使用 TGI DLC 部署 Llama 3.1 8B

在 GitHub 上更新