AWS Trainium & Inferentia 文档

安装

Hugging Face's logo
加入 Hugging Face 社区

并获得增强文档体验的访问权限

开始

安装

我们建议您使用 Hugging Face Neuron 深度学习 AMI (DLAMI)。DLAMI 预先打包了所有所需的库,包括 Optimum Neuron、Neuron 驱动程序、Transformers、Datasets 和 Accelerate。

但它也可以使用下面描述的 pip 进行安装。

在安装 optimum-neuron 之前,请确保您已安装 Neuron 驱动程序和工具,请查看 此处提供的更详细指南

添加 pip 包 URL

指向 AWS Neuron 存储库

python -m pip config set global.extra-index-url https://pip.repos.neuron.amazonaws.com

为 AWS Trainium (trn1) 或 AWS inferentia2 (inf2) 安装 optimum-neuron

python -m pip install --upgrade-strategy eager optimum[neuronx]

为 AWS inferentia (inf1) 安装 optimum-neuron

python -m pip install --upgrade-strategy eager optimum[neuron]