Inferentia 导出器

您可以使用 🤗 Optimum 将 PyTorch 模型导出到 Neuron，以便在 AWS Inferentia 1 和 Inferentia 2 上运行推理。

导出函数

Inferentia 加速器的每一代都有一个导出函数，INF1 使用 export_neuron，INF2 使用 export_neuronx，但是您可以直接使用导出函数 export，它会根据环境选择合适的导出函数。

此外，您可以通过 validate_model_outputs 检查导出的模型是否有效，该函数会将 Neuron 设备上编译模型的输出与 CPU 上 PyTorch 模型的输出进行比较。