ONNX 🤝 ONNX Runtime

ONNX 是一种开放标准，它定义了一组通用的算子和一种通用的文件格式，用于表示各种框架（包括 PyTorch 和 TensorFlow）中的深度学习模型。当模型导出为 ONNX 格式时，这些算子用于构建一个计算图（通常称为中间表示），该图表示数据流经神经网络的过程。

您可以使用 Netron 可视化 Hugging Face Hub 上的任何 ONNX 文件。只需将文件的 URL 附加到 http://netron.app?url=，例如此示例

通过公开具有标准化算子和数据类型的图，ONNX 使在框架之间切换变得容易。例如，在 PyTorch 中训练的模型可以导出为 ONNX 格式，然后导入到 TensorFlow 中（反之亦然）。

ONNX 真正闪耀的地方在于它与专用的加速器（如 ONNX Runtime 或简称 ORT）相结合。ORT 提供了通过算子融合和常量折叠等技术优化 ONNX 图的工具，并定义了一个接口到执行提供程序，允许您在不同类型的硬件上运行模型。

Optimum