Hugging Face 在 Google Cloud 上
Hugging Face 与 Google 在开放科学、开源、云和硬件方面开展合作,使企业能够使用 Hugging Face 的最新开放模型以及 Google Cloud 的最新云和硬件功能构建自己的 AI。
Hugging Face 为 Google Cloud 客户带来了全新的体验。他们可以轻松地在 Google Kubernetes Engine (GKE) 和 Vertex AI 上训练和部署 Hugging Face 模型,并使用 Hugging Face 深度学习容器 (DLC) 在 Google Cloud 中的任何可用硬件上运行。
如果您在使用 Hugging Face 在 Google Cloud 上时遇到任何问题,可以通过在专门用于 Google Cloud 用法的论坛中创建新主题来获取社区支持。
使用 Hugging Face 深度学习容器在 Google Cloud 上训练和部署模型
Hugging Face 为 Google Cloud 客户构建了深度学习容器 (DLC),以便在优化的环境中运行任何机器学习工作负载,而无需他们进行任何配置或维护。这些是预装了深度学习框架和库(如 🤗 Transformers、🤗 Datasets 和 🤗 Tokenizers)的 Docker 镜像。DLC 允许您直接服务和训练任何模型,从而跳过从头开始构建和优化服务和训练环境的复杂过程。
对于训练,我们的 DLC 可通过 🤗 Transformers 用于 PyTorch。它们包括对使用 🤗 TRL、Sentence Transformers 或 🧨 Diffusers 等库在 GPU 和 TPU 上进行训练的支持。
对于推理,我们有一个通用的 PyTorch 推理 DLC,用于在 CPU 和 GPU 上服务使用上述任何框架训练的模型。还有一个文本生成推理 (TGI) DLC,用于在 GPU 和 TPU 上对大型语言模型进行高性能文本生成。最后,还有一个文本嵌入推理 (TEI) DLC,用于在 CPU 和 GPU 上对嵌入模型进行高性能服务。
DLC 托管在Google Cloud Artifact Registry中,并且可以从任何 Google Cloud 服务(如 Google Kubernetes Engine (GKE)、Vertex AI 或 Cloud Run(预览版))中使用。
Hugging Face DLC 是开源的,并在Google-Cloud-Containers存储库中根据 Apache 2.0 许可。对于高级支持,我们的专家支持计划将为您提供来自我们团队的直接专用支持。
作为 Google Cloud 客户,您可以使用以下两种方法来利用这些 DLC
- 要开始使用,您可以在 Vertex AI 或 GKE 中使用我们的无代码集成。
- 对于更高级的场景,您可以直接在您的环境中从 Google Cloud Artifact Registry 中提取容器。此处列出了笔记本示例。