ONNX 🤝 ONNX Runtime

ONNX 是一个开放标准，它定义了一组通用的运算符和一个通用的文件格式，用于表示各种框架（包括 PyTorch 和 TensorFlow）中的深度学习模型。当模型导出为 ONNX 格式时，这些运算符用于构建计算图（通常称为中间表示），该计算图表示数据在神经网络中的流动。

您可以使用 Netron 在 Hugging Face Hub 上可视化任何 ONNX 文件。只需将文件 URL 附加到 http://netron.app?url=，如本示例所示

通过公开具有标准化运算符和数据类型的图，ONNX 使在框架之间切换变得容易。例如，在 PyTorch 中训练的模型可以导出为 ONNX 格式，然后在 TensorFlow 中导入（反之亦然）。

ONNX 真正发挥作用的地方在于它与专用加速器（如 ONNX Runtime 或简称 ORT）结合使用时。ORT 提供了通过运算符融合和常量折叠等技术优化 ONNX 图的工具，并定义了一个与执行提供程序之间的接口，使您可以在不同类型的硬件上运行模型。

Optimum