🔥 特性与优势

Hugging Face DLC 提供了可随时使用且经过测试的环境，用于训练和部署 Hugging Face 模型。它们可以与 Google Cloud 产品（包括 Google Kubernetes Engine (GKE) 和 Vertex AI）结合使用。GKE 是 Google Cloud 中一个完全托管的 Kubernetes 服务，可用于使用 Google Cloud 的基础设施大规模部署和运行容器化应用程序。Vertex AI 是一个机器学习 (ML) 平台，可让您训练和部署 ML 模型和 AI 应用程序，以及自定义大型语言模型 (LLM)。

一条命令即可完成

使用新的 Hugging Face DLC，只需一行代码即可训练最先进的基于 Transformer 的 NLP 模型。用于训练的 Hugging Face PyTorch DLC 预装了所有库，以便通过例如 TRL CLI 运行单一命令来微调 LLM，无论是在单 GPU、单节点多 GPU 等任何设置上。

加速机器学习，从科学到生产

除了 Hugging Face DLC 之外，我们还为推理创建了一个一流的 Hugging Face 库，huggingface-inference-toolkit，它与用于推理的 Hugging Face PyTorch DLC 捆绑在一起，并完全支持在 Google Cloud 上提供任何 PyTorch 模型。

只需再添加一行代码即可部署您训练好的模型以进行推理，或者从模型集线器中 170,000 多个公开模型中选择任意一个并将其部署到 Vertex AI 或 GKE 上。

高性能文本生成和嵌入

除了面向 PyTorch 的 DLC 之外，Hugging Face 还分别通过 Hugging Face DLC 为文本生成推理 (TGI) 和文本嵌入推理 (TEI) 提供了高性能的文本生成和嵌入模型推理。

Hugging Face 的 TGI DLC 使您能够部署 Hugging Face 集线器中 140,000 多个支持文本生成推理的模型中的任意一个，或者任何自定义模型，只要其架构在 TGI 中受支持。

Hugging Face 的 TEI DLC 使您能够部署 Hugging Face 集线器中 10,000 多个支持嵌入、重新排序或序列分类的模型中的任意一个，或者任何自定义模型，只要其架构在 TEI 中受支持。

此外，这些 DLC 完全支持 Google Cloud，这意味着从 Google Cloud Storage (GCS) 部署模型也十分简单，无需任何配置。

内置性能

Hugging Face DLC 具有针对 PyTorch 的内置性能优化功能，可以更快地训练模型。DLC 还让您可以灵活地选择最符合您的工作负载价格/性能比的训练基础设施。

Hugging Face 训练 DLC 与 Google Cloud 完全集成，可以使用 Google Cloud Compute Engine 上最新的实例。

Hugging Face 推理 DLC 为您提供可根据您的 Google Cloud 环境快速扩展的生产就绪端点，以及内置监控和大量企业功能。

有关 Vertex AI 和 GKE 的更多信息，请阅读其官方文档和其官方文档。

< > 更新在 GitHub 上