Optimum Neuron 容器

我们为 Amazon SageMaker 提供了预构建的 Optimum Neuron 容器。这些容器预装了所有的 Hugging Face 库和依赖项，因此您可以立即开始使用。我们提供用于训练和推理的容器，以及带有 TGI 的优化文本生成容器。下表是最新版本，仅包含每个容器的最新版本。您可以在 深度学习容器发布说明 中找到旧版本。

我们建议使用 sagemaker Python SDK 来检索您想要使用的容器的镜像 URI。以下代码片段用于检索最新的文本生成推理容器镜像 URI：

from sagemaker.huggingface import get_huggingface_llm_image_uri
 
# retrieve the llm image uri
llm_image = get_huggingface_llm_image_uri(
  "huggingface-neuronx"
)

print(f"llm image uri: {llm_image}")

可用的 Optimum Neuron 容器

请将 763104351884 替换为正确的 AWS 账户 ID，并将 region 替换为您正在使用的 AWS 区域。