在 AWS 上部署的文档
Hugging Face on AWS
并获得增强的文档体验
开始使用
Hugging Face on AWS
Hugging Face 与亚马逊网络服务 (AWS) 合作，共同致力于人工智能 (AI) 的民主化，让开发者能够利用 AWS 强大的云基础设施，无缝地构建、训练和部署最先进的机器学习模型。
此次合作旨在让开发者能够访问 Hugging Face Hub 上日益增长的预训练模型和数据集目录，并在广泛的 AWS 服务和硬件平台上使用 Hugging Face 的开源库。
我们为开发者打造了全新的体验，无论他们使用 Amazon SageMaker AI 和 AWS Bedrock 等 AWS AI 平台，还是使用弹性容器服务 (ECS)、弹性 Kubernetes 服务 (EKS) 和 Amazon 弹性计算云 (EC2) 上的虚拟服务器等 AWS 计算服务，都能够无缝地训练和部署 Hugging Face 模型。
我们开发了新工具来简化对 AWS Inferentia 和 AWS Trainium 等定制 AI 加速器的采用，这些加速器旨在提高机器学习工作负载的性能和成本效益。
通过将 Hugging Face 的开源模型和库与 AWS 的可扩展且安全的云服务相结合，开发者可以更轻松、更经济地将先进的 AI 功能集成到他们的应用程序中。
在 AWS 上部署模型
通过各种服务，在 AWS 上部署 Hugging Face 模型变得非常简单，每种服务都适用于不同的部署场景。以下是您如何使用 AWS 和 Hugging Face 的产品来部署模型。
您可以在 AWS 上通过以下方式部署任何 Hugging Face 模型：
- Amazon Sagemaker SDK
- Amazon Sagemaker Jumpstart
- AWS Bedrock
- Hugging Face Inference Endpoints
- ECS、EKS 和 EC2
使用 Sagemaker SDK 部署
Amazon SageMaker 是一项完全托管的 AWS 服务，用于大规模构建、训练和部署机器学习模型。SageMaker SDK 简化了以编程方式与 SageMaker 的交互。Amazon SageMaker SDK 提供了专为 Hugging Face 模型设计的无缝集成，简化了托管端点的部署过程。通过此集成，您可以快速将预训练的 Hugging Face 模型或您自己微调的模型直接部署到 SageMaker 托管的端点上，显著降低了设置复杂性和投产时间。
使用 Sagemaker Jumpstart 部署
Amazon SageMaker JumpStart 是一个精选的模型目录，您只需点击几下即可部署模型。我们在该目录中维护了一个 Hugging Face 专区，让您可以在您的 VPC 中，通过性能优化的默认配置，自托管最著名的开源模型，其底层由Hugging Face 深度学习容器 (DLC) 提供支持。
使用 AWS Bedrock 部署
Amazon Bedrock 使开发者能够通过单一 API 轻松构建和扩展生成式 AI 应用程序。借助 Bedrock Marketplace，您现在可以将 SageMaker JumpStart 的易用性与 Amazon Bedrock 的完全托管基础设施相结合，包括与 Agents、Knowledge Bases、Guardrails 和 Model Evaluations 等高级 API 的兼容性。
使用 Hugging Face Inference Endpoints 部署
Hugging Face Inference Endpoints 允许您部署由 Hugging Face 直接托管的模型，这些模型完全托管并为性能进行了优化。它非常适合快速部署和可扩展的推理工作负载。
Hugging Face Inference Endpoints 快速入门.
使用 ECS、EKS 和 EC2 部署
Hugging Face 向 AWS 用户提供推理深度学习容器 (DLC)，这些容器是预配置了 Hugging Face 推理库的优化环境，并原生集成在 SageMaker SDK 和 JumpStart 中。然而，HF DLC 也可以在 ECS、EKS 和 EC2 等其他 AWS 服务中使用。
AWS 弹性容器服务 (ECS)、弹性 Kubernetes 服务 (EKS) 和弹性计算云 (EC2) 允许您直接利用 DLC。
在 AWS 上训练模型
通过各种服务，在 AWS 上训练 Hugging Face 模型变得非常简单。以下是您如何使用 AWS 和 Hugging Face 的产品来微调模型。
您可以在 AWS 上通过以下方式微调任何 Hugging Face 模型：
使用 Sagemaker SDK 训练
Amazon SageMaker 是一项完全托管的 AWS 服务，用于大规模构建、训练和部署机器学习模型。SageMaker SDK 简化了以编程方式与 SageMaker 的交互。Amazon SageMaker SDK 提供了专为 Hugging Face 模型设计的无缝集成，简化了训练作业的管理。通过此集成，您可以快速创建自己微调的模型，显著降低了设置复杂性和投产时间。
使用 ECS、EKS 和 EC2 训练
Hugging Face 向 AWS 用户提供训练深度学习容器 (DLC)，这些容器是预配置了 Hugging Face 训练库的优化环境，并原生集成在 SageMaker SDK 中。然而，HF DLC 也可以在 ECS、EKS 和 EC2 等其他 AWS 服务中使用。
AWS 弹性容器服务 (ECS)、弹性 Kubernetes 服务 (EKS) 和弹性计算云 (EC2) 允许您直接利用 DLC。
< > 在 GitHub 上更新