(预览) Cloud Run 示例
此目录包含 Hugging Face 深度学习容器 (DLC) 在 Cloud Run 中的使用示例，目前仅用于推理，重点关注大型语言模型 (LLM)。
Cloud Run 现在提供对 NVIDIA L4 GPU 的按需访问，用于运行 AI 推理工作负载；但这仍然处于预览阶段，因此此存储库中的 Cloud Run 示例应仅用于测试和实验；请避免将这些示例用于生产工作负载。我们正在积极努力实现通用可用性，感谢您的理解。
推理示例
| 示例 | 标题 |
|---|---|
| tgi-deployment | 在 Cloud Run 上部署 Meta Llama 3.1 与 TGI DLC |
📍 在 GitHub 上找到完整的示例 这里！