📄 其他资源

阅读以下博客文章、演示文稿、Google 文档和示例，了解如何在 Google Cloud 中使用 Hugging Face。

博客文章

• Hugging Face 和 Google 合作开展开放式人工智能合作
• Google Cloud TPUs 向 Hugging Face 用户开放
• 在 Vertex AI 模型花园中让数千个开放式 LLM 开花结果
• 在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B

演示文稿

• 东京 Gemma 开发者日 | 使用 Hugging Face 文本生成推理 (TGI) 在生产中释放 Gemma

Google 文档

• Google Cloud Hugging Face 深度学习容器
• Google Cloud 公共 Artifact Registry for DLC
• 使用 Hugging Face TGI 在 GKE 上使用 GPU 提供 Gemma 开放模型
• Vertex 上的生成式 AI - 使用 Hugging Face 文本生成模型

示例

• 所有示例

Vertex AI

• 推理

  • 使用 PyTorch 推理 DLC 在 Vertex AI 上部署 BERT 模型
  • 使用 TEI DLC 在 Vertex AI 上部署嵌入模型
  • 使用 PyTorch 推理 DLC 在 Vertex AI 上部署 FLUX
  • 从 GCS 在 Vertex AI 上部署使用 TGI DLC 的 Gemma 7B
  • 在 Vertex AI 上部署使用 TGI DLC 的 Gemma 7B
  • 在 Vertex AI 上部署使用 TGI DLC 的 Llama 3.2 11B Vision
  • 在 Vertex AI 上部署使用 TGI DLC 的 Meta Llama 3.1 405B

• 训练

  • 使用 PyTorch 训练 DLC 在 Vertex AI 上使用 SFT + LoRA 微调 Gemma 2B
  • 使用 PyTorch 训练 DLC 在 Vertex AI 上使用 SFT 微调 Mistral 7B v0.3

• 评估

  • 使用 Vertex AI 和 Gemini 评估开放式 LLM

GKE

• 推理

  • 从 GCS 在 GKE 上部署使用 TEI DLC 的 BGE Base v1.5
  • 在 GKE 上部署使用 TGI DLC 的 Gemma2 与多个 LoRA 适配器
  • 在 GKE 上部署使用 TGI DLC 的 Llama 3.1 405B
  • 在 GKE 上部署使用 TGI DLC 的 Llama 3.2 11B Vision
  • 在 GKE 上部署使用 TGI DLC 的 Meta Llama 3 8B
  • 从 GCS 在 GKE 上部署使用 TGI DLC 的 Qwen2 7B
  • 在 GKE 上部署使用 TEI DLC 的 Snowflake 的 Arctic Embed

• 训练

  • 使用 PyTorch 训练 DLC 在 GKE 上使用 SFT 微调 Gemma 2B
  • 使用 PyTorch 训练 DLC 在 GKE 上使用 SFT + LoRA 微调 Mistral 7B v0.3

(预览) Cloud Run

• 推理

  • 在 Cloud Run 上部署使用 TGI DLC 的 Meta Llama 3.1 8B

< > 更新 在 GitHub 上