AWS Trainium & Inferentia 文档
安装
加入 Hugging Face 社区
并获得增强的文档体验
开始
安装
我们建议使用 Hugging Face Neuron 深度学习 AMI (DLAMI)。DLAMI 预装了所有必需的库，包括 Optimum Neuron、Neuron 驱动程序、Transformers、Datasets 和 Accelerate。
但它也可以使用 pip 安装，如下所述。
在安装 optimum-neuron 之前，请确保您已安装 Neuron 驱动程序和工具，请查看此处更详细的指南。
添加 pip 包 URL
指向 AWS Neuron 仓库
python -m pip config set global.extra-index-url https://pip.repos.neuron.amazonaws.com为 AWS Trainium (trn1) 或 AWS inferentia2 (inf2) 安装 optimum-neuron
python -m pip install --upgrade-strategy eager optimum-neuron[neuronx]
为 AWS inferentia (inf1) 安装 optimum-neuron
python -m pip install --upgrade-strategy eager optimum-neuron[neuron]