简介

Hugging Face 为 Amazon Web Services 客户构建了深度学习容器 (DLC)，以便他们在优化的环境中运行任何机器学习工作负载，无需进行配置或维护。这些 Docker 镜像预装了深度学习框架和库，例如 🤗 Transformers、🤗 Datasets 和 🤗 Tokenizers。DLC 允许您直接提供和训练任何模型，从而跳过从头开始构建和优化服务和训练环境的复杂过程。

这些容器由 Hugging Face 和 AWS 团队公开维护、更新和定期发布，所有 AWS 客户都可以在 AWS 的弹性容器注册表中获取它们。它们可以用于任何 AWS 服务，例如：

• Amazon SageMaker AI：Amazon SageMaker AI 是一个完全托管的机器学习 (ML) 平台，供数据科学家和开发人员快速、自信地构建、训练和部署 ML 模型到生产就绪的托管环境。
• Amazon Bedrock：Amazon Bedrock 是一项完全托管的服务，它通过统一的 API 提供来自领先 AI 公司和 Amazon 的高性能基础模型 (FM)，供您构建生成式 AI 应用程序。
• Amazon Elastic Kubernetes Service (EKS)：Amazon EKS 是在 AWS 云中运行 Kubernetes 集群的顶级平台。
• Amazon Elastic Container Service (ECS)：Amazon ECS 是一项完全托管的容器编排服务，可帮助您轻松部署、管理和扩展容器化应用程序。
• Amazon Elastic Compute Cloud (EC2)：Amazon EC2 在 Amazon Web Services (AWS) 云中提供按需、可扩展的计算容量。

Hugging Face DLCs 是开源的，并根据 Apache 2.0 许可。如果您有任何问题，请随时在我们的社区论坛上联系我们。

功能与优势

Hugging Face DLC 提供了即用型、经过测试的环境，用于训练和部署 Hugging Face 模型。

只需一条命令

通过新的 Hugging Face DLC，您可以通过一行代码训练和部署最先进的基于 Transformer 的 NLP 模型。用于训练的 Hugging Face PyTorch DLC 预装了所有必要的库，可以通过一条命令（例如通过 TRL CLI）在任何设置下（无论是单 GPU、单节点多 GPU 还是其他）对 LLM 进行微调。

加速机器学习，从科学到生产

除了 Hugging Face DLC，我们还为推理创建了一个一流的 Hugging Face 库，即 sagemaker-huggingface-inference-toolkit，该库随 Hugging Face PyTorch DLC 一起提供用于推理，全面支持在 AWS 上提供任何 PyTorch 模型。

只需再一行代码即可部署训练好的模型进行推理，或者从不断增长的公共可用模型 Hub 中选择任何模型。

高性能文本生成和嵌入

除了面向 PyTorch 的 DLC，Hugging Face 还通过分别用于文本生成推理 (TGI) 和文本嵌入推理 (TEI) 的 Hugging Face DLC 提供高性能推理，用于文本生成和嵌入模型。

用于 TGI 的 Hugging Face DLC 使您能够部署 Hugging Face Hub 中支持的 225,000 多个文本生成推理模型中的任何一个，或任何自定义模型，只要其架构在 TGI 中受支持即可。

用于 TEI 的 Hugging Face DLC 使您能够部署 Hugging Face Hub 中支持的 12,000 多个嵌入、重排序或序列分类模型中的任何一个，或任何自定义模型，只要其架构在 TEI 中受支持即可。

此外，这些 DLC 完全支持 AWS，这意味着从 Amazon Simple Storage Service (S3) 部署模型也非常简单，无需任何配置。

内置性能

Hugging Face DLC 具有针对 PyTorch 的内置性能优化功能，可更快地训练模型。DLC 还使您可以灵活地选择最适合您的工作负载价格/性能比的训练基础设施。

Hugging Face 推理 DLC 为您提供可与您的 AWS 环境快速扩展的生产就绪端点、内置监控以及大量企业级功能。

< > 在 GitHub 上更新