在 AWS 上部署的文档
Hugging Face on AWS
并获得增强的文档体验
开始使用
Hugging Face on AWS
Hugging Face 与 Amazon Web Services (AWS) 合作，旨在使人工智能 (AI) 民主化，使开发人员能够利用 AWS 强大的云基础设施，无缝地构建、训练和部署最先进的机器学习模型。
此次合作旨在让开发人员能够通过在广泛的 AWS 服务和硬件平台上使用 Hugging Face 开源库，访问 Hugging Face Hub 中日益增长的预训练模型和数据集目录。
我们为开发人员构建了全新的体验，无论他们是使用 Amazon SageMaker AI 和 AWS Bedrock 等 AWS AI 平台，还是使用 Elastic Container Service (ECS)、Elastic Kubernetes Service (EKS) 以及 Amazon Elastic Compute Cloud (EC2) 上的虚拟服务器等 AWS 计算服务，都能无缝地训练和部署 Hugging Face 模型。
我们正在开发新工具，以简化对 AWS Inferentia 和 AWS Trainium 等自定义 AI 加速器的采用，这些加速器旨在提高机器学习工作负载的性能和成本效率。
通过将 Hugging Face 的开源模型和库与 AWS 可扩展且安全的云服务相结合，开发人员可以更轻松、更经济地将先进的 AI 功能集成到其应用程序中。
[!WARNING][SageMaker Python SDK v3 最近已发布](https://github.com/aws/sagemaker-python-sdk)，因此除非另有说明，所有文档和教程仍在使用 SageMaker Python SDK v2。我们正在积极更新所有教程和示例，但在此期间请务必将 SageMaker SDK 安装为
pip install "sagemaker<3.0.0"。
在 AWS 上部署模型
在 AWS 上部署 Hugging Face 模型可以通过多种服务实现，每种服务都适用于不同的部署场景。以下是您可以使用 AWS 和 Hugging Face 提供的方案来部署模型的方法。
您可以使用以下方式在 AWS 上部署任何 Hugging Face 模型：
- Amazon Sagemaker SDK
- Amazon Sagemaker Jumpstart
- AWS Bedrock
- Hugging Face Inference Endpoints
- ECS, EKS 和 EC2
使用 Sagemaker SDK 部署
Amazon SageMaker 是一项全托管的 AWS 服务，用于大规模构建、训练和部署机器学习模型。SageMaker SDK 简化了通过编程与 SageMaker 交互的方式。Amazon SageMaker SDK 为 Hugging Face 模型提供了专门设计的无缝集成，简化了托管端点的部署流程。通过此集成，您可以将预训练的 Hugging Face 模型或您自己微调的模型快速部署到 SageMaker 托管端点中，从而显著降低设置复杂性和缩短生产上线时间。
使用 Sagemaker Jumpstart 部署
Amazon SageMaker JumpStart 是一个精选模型目录，您只需点击几下即可部署模型。我们在目录中维护了一个 Hugging Face 板块，允许您在自己的 VPC 中自托管最著名的开源模型，并采用高性能的默认配置，其底层由 Hugging Face 深度学习目录 (DLCs) 提供支持。
使用 AWS Bedrock 部署
Amazon Bedrock 使开发人员能够通过单一 API 轻松构建和扩展生成式 AI 应用程序。通过 Bedrock Marketplace，您现在可以将 SageMaker JumpStart 的易用性与 Amazon Bedrock 的全托管基础设施相结合，包括与 Agents、Knowledge Bases、Guardrails 和 Model Evaluations 等高级 API 的兼容性。
使用 Hugging Face Inference Endpoints 部署
Hugging Face Inference Endpoints 允许您部署由 Hugging Face 直接托管的模型，这些模型经过全托管且针对性能进行了优化。它非常适合快速部署和可扩展的推理工作负载。
Hugging Face Inference Endpoints 快速入门.
使用 ECS, EKS 和 EC2 部署
Hugging Face 为 AWS 用户提供推理深度学习容器 (DLCs)，这些是预配置了 Hugging Face 推理库的优化环境，原生集成在 SageMaker SDK 和 JumpStart 中。此外，HF DLCs 也可以在 ECS、EKS 和 EC2 等其他 AWS 服务中使用。
AWS Elastic Container Service (ECS)、Elastic Kubernetes Service (EKS) 和 Elastic Compute Cloud (EC2) 允许您直接利用 DLCs。
在 AWS 上训练模型
在 AWS 上训练 Hugging Face 模型可以通过多种服务实现。以下是您可以使用 AWS 和 Hugging Face 提供的方案来微调模型的方法。
您可以使用以下方式在 AWS 上微调任何 Hugging Face 模型：
使用 Sagemaker SDK 训练
Amazon SageMaker 是一项全托管的 AWS 服务，用于大规模构建、训练和部署机器学习模型。SageMaker SDK 简化了通过编程与 SageMaker 交互的方式。Amazon SageMaker SDK 为 Hugging Face 模型提供了专门设计的无缝集成，简化了训练作业的管理。通过此集成，您可以快速创建自己的微调模型，从而显著降低设置复杂性和缩短生产上线时间。
使用 ECS, EKS 和 EC2 进行训练
Hugging Face 为 AWS 用户提供了训练深度学习容器 (DLCs)，这些优化环境预配置了用于训练的 Hugging Face 库，并原生集成在 SageMaker SDK 中。此外，HF DLCs 也可以在 ECS、EKS 和 EC2 等其他 AWS 服务中使用。
AWS Elastic Container Service (ECS)、Elastic Kubernetes Service (EKS) 和 Elastic Compute Cloud (EC2) 允许您直接利用 DLCs。
在 GitHub 上更新