Google Cloud 文档
🔥 功能与优势
并获得增强的文档体验
开始使用
🔥 功能与优势
Hugging Face DLC (Domain-specific Container Images) 提供即用型、经过测试的环境，用于训练和部署 Hugging Face 模型。它们可以与 Google Cloud 产品（包括 Google Kubernetes Engine (GKE)、Vertex AI 和 Cloud Run）结合使用。GKE 是 Google Cloud 中完全托管的 Kubernetes 服务，可用于利用 Google Cloud 的基础设施大规模部署和运行容器化应用程序。Vertex AI 是一个机器学习 (ML) 平台，允许您训练和部署 ML 模型和 AI 应用程序，并自定义大型语言模型 (LLMs)。Cloud Run 是一种无服务器容器平台，允许开发人员部署和管理容器化应用程序，而无需管理基础设施，从而实现自动扩展并仅按使用量计费。
只需一个命令
借助新的 Hugging Face DLC，只需一行代码即可训练尖端的基于 Transformers 的 NLP 模型。Hugging Face PyTorch 训练 DLC 预装了所有必要的库，可以通过 TRL CLI 在任何环境中（例如单 GPU、单节点多 GPU 等）以单命令微调 LLM。
加速从科学到生产的机器学习
除了 Hugging Face DLC，我们还创建了一个一流的 Hugging Face 推理工具包 huggingface-inference-toolkit，它随 Hugging Face PyTorch 推理 DLC 一起提供，完全支持在 Google Cloud 上部署任何 PyTorch 模型。
只需再添加一行代码即可部署您的训练模型进行推理，或者从模型中心选择 747,000 多个兼容 Transformers 且公开可用的模型中的任意一个，并将它们部署到 Vertex AI、GKE 或 Cloud Run。
高性能文本生成和嵌入
除了面向 PyTorch 的 DLC 之外，Hugging Face 还通过其用于文本生成推理 (TGI) 和文本嵌入推理 (TEI) 的 DLC，分别为这两种模型提供高性能推理，分别对应于 Text Generation Inference (TGI) 和 Text Embeddings Inference (TEI)。
Hugging Face TGI DLC 使您能够部署 Hugging Face Hub 中任何支持的 +140,000 个文本生成推理模型，或者部署任何自定义模型，只要其架构受 TGI 支持。
Hugging Face TEI DLC 使您能够部署 Hugging Face Hub 中任何支持的 +10,000 个嵌入、重排或序列分类模型，或者部署任何自定义模型，只要其架构受 TEI 支持。
此外，这些 DLC 完全支持 Google Cloud，这意味着从 Google Cloud Storage (GCS) 部署模型也很直接，无需任何配置。
内置性能
Hugging Face DLC 具有针对 PyTorch 的内置性能优化，可更快地训练模型。DLC 还让您可以灵活地选择最符合工作负载的性价比的训练基础架构。
Hugging Face 训练 DLC 与 Google Cloud 完全集成，能够利用 Google Cloud Compute Engine 上最新一代实例。
Hugging Face 推理 DLC 为您提供生产就绪的端点，可与您的 Google Cloud 环境快速扩展，并具有内置监控和大量企业功能。
有关 Vertex AI 的更多信息，请参阅其官方文档；有关 GKE 的更多信息，请参阅其官方文档；有关 Cloud Run 的更多信息，请参阅其官方文档。
在 GitHub 上更新