🔥 特性和优势

Hugging Face DLCs 提供即用型、经过测试的环境，用于训练和部署 Hugging Face 模型。它们可与 Google Cloud 产品结合使用，包括 Google Kubernetes Engine (GKE) 和 Vertex AI。GKE 是 Google Cloud 中一项完全托管的 Kubernetes 服务，可用于使用 Google Cloud 基础设施大规模部署和操作容器化应用程序。Vertex AI 是一个机器学习 (ML) 平台，可让您训练和部署 ML 模型和 AI 应用程序，并自定义大型语言模型 (LLM)。

只需一个命令

借助全新的 Hugging Face DLC，您可以通过一行代码训练最先进的基于 Transformers 的 NLP 模型。用于训练的 Hugging Face PyTorch DLC 预装了所有库，可通过 TRL CLI 等方式运行单个命令，以在任何设置下微调 LLM，无论是单 GPU、单节点多 GPU 还是其他情况。

加速机器学习从科学到生产

除了 Hugging Face DLCs，我们还为推理创建了一个一流的 Hugging Face 库，huggingface-inference-toolkit，它随 Hugging Face PyTorch DLCs 一起提供，用于推理，并完全支持在 Google Cloud 上提供任何 PyTorch 模型。

只需再一行代码即可部署您训练好的模型进行推理，或者从模型中心选择超过 17 万个公开可用的模型中的任意一个，并将其部署到 Vertex AI 或 GKE 上。

高性能文本生成和嵌入

除了面向 PyTorch 的 DLC，Hugging Face 还通过 Hugging Face DLC 为文本生成推理 (TGI) 和文本嵌入推理 (TEI) 提供高性能推理。

Hugging Face DLC for TGI 允许您部署Hugging Face Hub 中支持的超过 140,000 个文本生成推理模型中的任何一个，或任何自定义模型，只要其架构在 TGI 中受支持。

Hugging Face DLC for TEI 使您能够部署来自 Hugging Face Hub 的超过 10,000 个嵌入、重新排序或序列分类支持的模型，或任何自定义模型，只要其架构在 TEI 中受支持。

此外，这些 DLC 完全支持 Google Cloud，这意味着从 Google Cloud Storage (GCS) 部署模型也非常简单，无需配置。

内置性能

Hugging Face DLC 具有针对 PyTorch 的内置性能优化，可加快模型训练速度。DLC 还为您提供了选择最适合您工作负载性价比的训练基础设施的灵活性。

Hugging Face 训练 DLC 与 Google Cloud 完全集成，可以使用Google Cloud Compute Engine 上提供的最新一代实例。

Hugging Face 推理 DLC 为您提供可与您的 Google Cloud 环境快速扩展的生产就绪端点、内置监控以及大量企业级功能。

如需了解更多关于 Vertex AI 的信息，请参阅其官方文档；如需了解更多关于 GKE 的信息，请参阅其官方文档。

< > 在 GitHub 上更新