DeMo：解耦动量优化

概述

• 名为 DeMo 的新型优化器可减少人工智能模型训练期间 GPU/加速器之间的通信需求
• 与标准 AdamW 优化器相比，实现了更好或相同的结果
• 无需昂贵的高速硬件连接即可训练大型模型
• 利用信号处理概念优化加速器之间的数据共享
• 开源实现可在 GitHub 上获取

通俗解释

训练大型人工智能模型就像多个厨师在不同的厨房里一起工作。目前，他们需要不断分享关于烹饪过程的每一个细节。DeMo 的解耦优化表明，这种密集的通信并非必要。

DeMo 不再让每个“厨师”（GPU）分享所有信息，而是让他们更独立地工作，只分享最重要的信息。这类似于音乐压缩的工作原理——保留关键部分，同时减少不必要的数据。

这种方法使在基本硬件设置上进行训练变得更加实用。可以将其想象为能够通过基本电话线协调一个复杂的项目，而不是需要高速视频会议系统。

主要发现

研究表明，分布式模型训练可以在设备之间大幅减少通信量的情况下有效工作。使用 DeMo 训练的模型性能与使用标准方法训练的模型相同或更好。

该方法将通信需求降低了几个数量级——这意味着以前需要数千兆字节数据传输的任务现在只需数兆字节或更少的数据即可完成。

技术解释

DeMo 通过分离优化过程中的动量更新来工作。传统的多加速器训练需要持续同步优化器状态。DeMo 允许这些状态以受控方式发散。

该系统应用了信号处理中的频率分解原理。这使其能够识别优化过程中哪些部分真正需要跨设备同步。

该方法增加了最小的计算开销，并且适用于任何网络架构或硬件设置。

批判性分析

尽管这项研究很有前景，但它可以从更广泛的不同类型模型和训练场景测试中受益。该论文没有充分探讨通信减少可能影响模型质量的潜在边缘情况。

关于自适应学习方法如何影响系统在非常长的训练运行中的稳定性，仍存在疑问。

该方法在超大型模型（万亿+参数）上的性能需要进一步验证。

结论

DeMo 代表着大规模人工智能训练在可及性方面的一大进步。通过大幅降低通信需求，它使更多组织能够在无需专用硬件的情况下训练大型模型。

此处展示的原则可能会影响未来的优化算法和分布式计算方法。这可能导致更高效和可访问的人工智能开发基础设施。