Diffusers 文档

量化

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

量化

量化技术侧重于用更少的信息表示数据,同时尽量不损失太多精度。这通常意味着转换数据类型以用更少的比特表示相同的信息。例如,如果您的模型权重存储为 32 位浮点数,并且量化为 16 位浮点数,这将使模型大小减半,从而更容易存储并减少内存使用。较低的精度还可以加速推理,因为它使用更少的比特执行计算所需的时间更少。

有兴趣向 Diffusers 添加新的量化方法吗?请参阅“贡献新的量化方法指南”以了解有关添加新量化方法的更多信息。

如果您是量化领域的新手,我们建议您查看这些与 DeepLearning.AI 合作的关于量化的初学者友好课程

何时使用什么?

Diffusers 目前支持以下量化方法。

此资源很好地概述了不同量化技术的优缺点。

< > 在 GitHub 上更新