ONNX 🤝 ONNX Runtime

ONNX 是一个开放标准，它定义了一组通用的操作符和一种通用的文件格式，用于表示各种框架（包括 PyTorch 和 TensorFlow）中的深度学习模型。当模型导出为 ONNX 格式时，这些操作符用于构建一个计算图（通常称为*中间表示*），该图表示数据通过神经网络的流向。

您可以使用 Netron 在 Hugging Face Hub 上可视化任何 ONNX 文件。只需将文件 URL 附加到 http://netron.app?url=，如此示例所示。

通过公开包含标准化操作符和数据类型的图，ONNX 可以轻松地在不同框架之间切换。例如，在 PyTorch 中训练的模型可以导出为 ONNX 格式，然后导入到 TensorFlow（反之亦然）。

ONNX 真正发挥作用的地方在于它与专用加速器（如 ONNX Runtime，简称 ORT）结合使用时。ORT 提供工具，通过算子融合和常量折叠等技术优化 ONNX 图，并定义了一个执行提供者接口，允许您在不同类型的硬件上运行模型。

Optimum