Hugging Face 在 Amazon SageMaker 上

cover

深度学习容器

深度学习容器 (DLC) 是预装了深度学习框架和库（例如 🤗 Transformers、🤗 Datasets 和 🤗 Tokenizers）的 Docker 镜像。 DLC 使您可以立即开始训练模型，从而跳过从头开始构建和优化训练环境的复杂过程。我们的 DLC 经过全面测试和优化，适用于深度学习环境，无需您进行任何配置或维护。特别是，Hugging Face Inference DLC 配备了预先编写的服务堆栈，这大大降低了深度学习服务的技术门槛。

我们的 DLC 在 Amazon SageMaker 可用的任何地方都可用。虽然可以在不使用 SageMaker Python SDK 的情况下使用 DLC，但使用 SageMaker 训练模型有很多优势

经济高效：训练实例仅在您的作业持续期间处于活动状态。作业完成后，训练集群将停止，您将不再被收费。 SageMaker 还支持 Spot 实例，这可以将成本降低高达 90%。
内置自动化：SageMaker 会自动将训练元数据和日志存储在无服务器托管的元数据存储中，并完全管理与 S3 的 I/O 操作，用于您的数据集、检查点和模型工件。
多种安全机制：SageMaker 提供静态加密、传输中加密、虚拟私有云连接以及身份和访问管理，以保护您的数据和代码安全。

Hugging Face DLC 是开源的，并根据 Apache 2.0 获得许可。如果您有任何问题，请随时在我们的社区论坛上联系。如需高级支持，我们的专家加速计划为您提供我们团队的直接专属支持。

特性与优势 🔥

Hugging Face DLC 使在 SageMaker 中训练 Transformer 模型比以往任何时候都更容易。以下是您应该考虑使用 Hugging Face DLC 来训练和部署您的下一个机器学习模型的原因

一行命令即可满足您的需求

借助新的 Hugging Face DLC，只需一行代码即可训练基于 Transformer 的尖端 NLP 模型。从多个 DLC 变体中进行选择，每个变体都针对 TensorFlow 和 PyTorch、单 GPU、单节点多 GPU 和多节点集群进行了优化。

加速机器学习从科学到生产

除了 Hugging Face DLC 之外，我们还为 SageMaker Python SDK 创建了一流的 Hugging Face 扩展，以加速数据科学团队的工作，从而将设置和运行实验所需的时间从几天减少到几分钟。

您可以将 Hugging Face DLC 与 SageMaker 的自动模型调优结合使用，以优化您的训练超参数并提高模型的准确性。

只需再添加一行代码即可部署您训练好的模型以进行推理，或者从模型 Hub 中选择 10,000 多个公开可用的模型，并使用 SageMaker 部署它们。

在 SageMaker Studio 基于 Web 的集成开发环境 (IDE) 中轻松跟踪和比较您的实验和训练工件。

内置性能

Hugging Face DLC 具有针对 PyTorch 和 TensorFlow 的内置性能优化，可更快地训练 NLP 模型。 DLC 还使您可以灵活地选择最符合您的工作负载性价比的训练基础设施。

Hugging Face 训练 DLC 与 SageMaker 分布式训练库完全集成，可以使用 Amazon Elastic Compute Cloud 上提供的最新一代实例，比以往更快地训练模型。

Hugging Face 推理 DLC 为您提供生产就绪的终端节点，这些终端节点可以随着您的 AWS 环境快速扩展、内置监控以及大量企业功能。

资源、文档和示例 📄

查看我们发布的博客文章、视频、文档、示例笔记本和脚本，以获得有关 SageMaker 上的 Hugging Face DLC 的更多帮助和更多背景信息。

博客和视频

文档

示例笔记本

< > 在 GitHub 上更新