AWS Trainium & Inferentia 文档
安装
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
安装
我们建议使用 Hugging Face Neuron 深度学习 AMI (DLAMI)。DLAMI 预装了所有必需的库，包括 Optimum Neuron、Neuron 驱动程序、Transformers、Datasets 和 Accelerate。
但也可以通过 pip 安装，如下所述。
在安装 optimum-neuron 之前，请确保已安装 Neuron 驱动程序和工具，请参阅此处的详细指南。
添加 pip 包 URL
指向 AWS Neuron 仓库
python -m pip config set global.extra-index-url https://pip.repos.neuron.amazonaws.com安装用于 AWS Trainium ( trn1 ) 或 AWS Inferentia2 ( inf2 ) 的 optimum-neuron
python -m pip install --upgrade-strategy eager optimum-neuron[neuronx]
安装用于 AWS Inferentia ( inf1 ) 的 optimum-neuron
python -m pip install --upgrade-strategy eager optimum-neuron[neuron]