AWS 上可用的 DLC

以下列出了 AWS 上所有可用的深度学习容器 (DLC)。

针对每种支持的使用场景（训练、推理）、加速器类型（CPU、GPU、Neuron）和框架（PyTorch、TGI、TEI）组合都创建了容器。

用于在 AWS Trainium 和 AWS Inferentia 实例上进行训练和推理的 Neuron DLC 可以在Optimum Neuron 文档中找到。

训练

Pytorch 训练 DLC：对于训练，我们的 DLC 通过 Transformers 可用于 PyTorch。它们支持在 GPU 和 AWS AI 芯片上进行训练，并使用 TRL、Sentence Transformers 或 Diffusers 等库。

您还可以在此处跟踪最新的 Pytorch 训练 DLC 版本。

推理

Pytorch 推理 DLC

对于推理，我们有一个通用的 PyTorch 推理 DLC，用于在 CPU、GPU 和 AWS AI 芯片上提供使用上述任何框架训练的模型。

您还可以在此处跟踪最新的 Pytorch 推理 DLC 版本。

LLM TGI

还有 LLM 文本生成推理 (TGI) DLC，用于在 GPU 和 AWS AI 芯片上进行 LLM 的高性能文本生成。

您还可以在此处跟踪最新的 LLM TGI DLC 版本。

文本嵌入推理

最后，还有一个文本嵌入推理 (TEI) DLC，用于在 CPU 和 GPU 上高性能地提供嵌入模型。

常见问题

如何为我的用例选择正确的推理容器？

注意：请参阅此处获取推理工具包中支持的任务列表。

注意：浏览 Hub 以查看您的模型是否标记为“text-generation-inference”或“text-embeddings-inference”

如何查找我的容器的 URI？

URI 由 AWS 账户 ID 和 AWS 区域构建。这两个值需要根据您的用例进行替换。假设您想在 GPU 上使用训练 DLC

• dlc-aws-account-id：拥有 ECR 存储库的 AWS 账户的 AWS 账户 ID。您可以在此处找到它们
• region：您要使用它的 AWS 区域。

如何更简单地查找我的容器的 URI？

Python SagemMaker SDK 实用函数并不总是最新的，但它比您自己重建镜像 URI 要简单得多。

from sagemaker.huggingface import HuggingFaceModel, get_huggingface_llm_image_uri

print(f"TGI GPU: {get_huggingface_llm_image_uri('huggingface')}")
print(f"TEI GPU: {get_huggingface_llm_image_uri('huggingface-tei')}")
print(f"TEI CPU: {get_huggingface_llm_image_uri('huggingface-tei-cpu')}")
print(f"TGI Neuron: {get_huggingface_llm_image_uri('huggingface-neuronx')}")

对于 Pytorch 训练和 Pytorch 推理 DLC，没有此类实用程序。