Optimum Neuron 容器

我们为 Amazon SageMaker 提供预构建的 Optimum Neuron 容器。 这些容器预装了所有 Hugging Face 库和依赖项，因此您可以立即开始使用它们。 我们有用于训练和推理的容器，以及使用 TGI 优化的文本生成容器。 该表是最新的，仅包含每个容器的最新版本。 您可以在深度学习容器发行说明中找到旧版本

我们建议使用 sagemaker Python SDK 来检索您想要使用的容器的镜像 URI。 这是一个代码片段，用于检索最新的文本生成推理容器镜像 URI

from sagemaker.huggingface import get_huggingface_llm_image_uri
 
# retrieve the llm image uri
llm_image = get_huggingface_llm_image_uri(
  "huggingface-neuronx"
)

print(f"llm image uri: {llm_image}")

可用的 Optimum Neuron 容器

请将 763104351884 替换为正确的 AWS 账户 ID，并将 region 替换为您正在使用的 AWS 区域。