AWS Trainium & Inferentia 文档

Inferentia Exporter

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

Inferentia Exporter

您可以使用 🤗 Optimum 将 PyTorch 模型导出到 Neuron,以便在 AWS Inferentia 1Inferentia 2 上运行推理。

导出函数

每一代 Inferentia 加速器都有一个导出函数,INF1 上使用 export_neuron,INF2 上使用 export_neuronx。但您将能够直接使用导出函数 export,它会根据环境选择正确的导出函数。

此外,您可以通过 validate_model_outputs 检查导出的模型是否有效,该函数会将已编译模型在 Neuron 设备上的输出与 PyTorch 模型在 CPU 上的输出进行比较。