🤗 英特尔优化

🤗 英特尔优化是 🤗 Transformers 和 Diffusers 库与英特尔提供的用于在英特尔架构上加速端到端管道的不同工具和库之间的接口。

英特尔神经压缩器 是一个开源库，它支持使用最流行的压缩技术，例如量化、剪枝和知识蒸馏。它支持自动的精度驱动调优策略，使用户能够轻松生成量化模型。用户可以轻松地应用静态、动态和感知训练量化方法，同时给出预期的精度标准。它还支持不同的权重剪枝技术，从而能够创建具有预定义稀疏目标的剪枝模型。

OpenVINO 是一款开源工具包，它为英特尔 CPU、GPU 和特殊 DL 推理加速器提供高性能推理功能 (查看 支持设备的完整列表)。它提供了一组工具来使用压缩技术（如量化、剪枝和知识蒸馏）优化您的模型。英特尔优化提供了一个简单的接口来优化您的 Transformers 和 Diffusers 模型，将它们转换为 OpenVINO 中间表示 (IR) 格式，并使用 OpenVINO 运行时运行推理。

英特尔 PyTorch 扩展 (IPEX) 是一个开源库，它为急切模式和图形模式都提供了优化，但是，与急切模式相比，PyTorch* 中的图形模式通常会从优化技术（例如操作融合）中获得更好的性能。

< > 更新 on GitHub