Optimum

Optimum 库支持英特尔、Furiosa、ONNX Runtime、GPTQ 和低级 PyTorch 量化函数的量化。如果您使用特定的优化硬件（例如英特尔 CPU、Furiosa NPU 或 ONNX Runtime 等模型加速器），请考虑使用 Optimum 进行量化。