🤗 Optimum Intel

🤗 Optimum Intel 是 🤗 Transformers 和 Diffusers 库与 Intel 提供的不同工具和库之间的接口，用于加速 Intel 架构上的端到端pipeline。

Intel Neural Compressor 是一个开源库，可以使用最流行的压缩技术，如量化、剪枝和知识蒸馏。它支持自动的精度驱动的调优策略，以便用户轻松生成量化模型。用户可以轻松应用静态、动态和感知训练的量化方法，同时给出预期的精度标准。它还支持不同的权重剪枝技术，可以创建剪枝模型，并提供预定义的稀疏性目标。

OpenVINO 是一个开源工具包，为 Intel CPU、GPU 和专用 DL 推理加速器提供高性能推理能力 (查看支持设备的完整列表)。它提供了一套工具，可以使用压缩技术（如量化、剪枝和知识蒸馏）来优化您的模型。Optimum Intel 提供了一个简单的接口来优化您的 Transformers 和 Diffusers 模型，将它们转换为 OpenVINO 中间表示 (IR) 格式，并使用 OpenVINO Runtime 运行推理。

Intel Extension for PyTorch (IPEX) 是一个开源库，为 eager 模式和 graph 模式都提供了优化，但是，与 eager 模式相比，PyTorch* 中的 graph 模式通常从优化技术（如操作融合）中获得更好的性能。