🤗 Optimum Intel

🤗 Optimum Intel 是连接 🤗 Transformers 和 Diffusers 库与 Intel 提供的各种工具和库之间的接口，用于在 Intel 架构上加速端到端流水线。

Intel Neural Compressor 是一个开源库，支持使用最流行的压缩技术，如量化、剪枝和知识蒸馏。它支持自动精度驱动的调优策略，以便用户可以轻松生成量化模型。用户可以轻松应用静态、动态和感知训练的量化方法，同时给出预期的准确性标准。它还支持不同的权重剪枝技术，从而能够创建满足预定义稀疏度目标的剪枝模型。

OpenVINO 是一个开源工具包，为 Intel CPU、GPU 和专用的深度学习推理加速器（请参阅 支持设备的完整列表）提供高性能推理能力。它提供了一套工具，通过量化、剪枝和知识蒸馏等压缩技术来优化您的模型。Optimum Intel 提供了一个简单的接口来优化您的 Transformers 和 Diffusers 模型，将它们转换为 OpenVINO 中间表示（IR）格式，并使用 OpenVINO Runtime 运行推理。

Intel® Extension for PyTorch* (IPEX) 是一个开源库，为 eager 模式和 graph 模式都提供了优化。然而，与 eager 模式相比，PyTorch* 中的 graph 模式通常能通过操作融合等优化技术获得更好的性能。