🎲 [ICLR 2025] DICE：去中心化学习中的数据影响力级联

Tongtian Zhu

TongtianZhu

关注

标签: 数据影响 (Data_Influence), 去中心化学习 (Decentralized_Learning)

作者:   Tongtian Zhu¹    Wenhao Li¹    Can Wang¹    Fengxiang He²

¹浙江大学      ²爱丁堡大学

📄 论文 • 💻 代码 • 📚 预印本 • 🔗 推特 • 🖼️ 海报 • 📊 PPT • 🎥 视频 (中文)

正在更新中，敬请期待更多内容！ 😉

🗓️ 2025-07-17 — 更新了主要结果

主要结果

定理 (r-hop DICE-GT 的近似)

r-hop DICE-GT 影响 ${\mathcal{I}}_{\mathrm{D}\mathrm{I}\mathrm{C}\mathrm{E}-\mathrm{G}\mathrm{T}}^{(r)}({\mathit{z}}_j^t,{\mathit{z}}^{\mathrm{\prime }})\backslash mathcal\{I\}\_\{\backslash mathrm\{DICE-GT\}\}^\{(r)\}(\backslash boldsymbol\{z\}\_j^t,\; \backslash boldsymbol\{z\}^\{\backslash prime\})$ 可以近似如下：

其中 ${\mathrm{\Delta }}_j({\mathit{\theta }}_j^t,{\mathit{z}}_j^t)={\mathcal{O}}_j({\mathit{\theta }}_j^t,{\mathit{z}}_j^t)-{\mathit{\theta }}_j^t\backslash Delta\_j(\backslash boldsymbol\{\backslash theta\}\_j^t,\backslash boldsymbol\{z\}\_j^t)\; =\; \backslash mathcal\{O\}\_j(\backslash boldsymbol\{\backslash theta\}\_j^t,\backslash boldsymbol\{z\}\_j^t)-\backslash boldsymbol\{\backslash theta\}\_j^t$, 且 $k_0=jk\_0\; =\; j$. 这里的 $P_j^{(\rho )}P\_j^\{(\backslash rho)\}$ 表示所有满足 $k_s\in {\mathcal{N}}_{\mathrm{o}\mathrm{u}\mathrm{t}}^{(1)}(k_{s-1})k\_s\; \backslash in\; \backslash mathcal\{N\}\_\{\backslash mathrm\{out\}\}^\{(1)\}(k\_\{s-1\})$（对于 $s=1,\dots ,\rho s=1,\backslash dots,\backslash rho$）的序列 $(k_1,\dots ,k_{\rho })(k\_1,\; \backslash dots,\; k\_\{\backslash rho\})$ 的集合。 $\mathit{H}({\mathit{\theta }}_{k_s}^{t+s};{\mathit{z}}_{k_s}^{t+s})\backslash boldsymbol\{H\}(\backslash boldsymbol\{\backslash theta\}\_\{k\_s\}^\{t+s\};\; \backslash boldsymbol\{z\}\_\{k\_s\}^\{t+s\})$ 是损失函数 $LL$ 关于 $\mathit{\theta }\backslash boldsymbol\{\backslash theta\}$ 在 ${\mathit{\theta }}_{k_s}^{t+s}\backslash boldsymbol\{\backslash theta\}\_\{k\_s\}^\{t+s\}$ 和数据 ${\mathit{z}}_{k_s}^{t+s}\backslash boldsymbol\{z\}\_\{k\_s\}^\{t+s\}$ 处求值的 Hessian 矩阵。

引用

@inproceedings{zhu2025dice,
  title="{DICE: Data Influence Cascade in Decentralized Learning}",
  author="Tongtian Zhu and Wenhao Li and Can Wang and Fengxiang He",
  booktitle="The Thirteenth International Conference on Learning Representations",
  year="2025",
  url="[https://openreview.net/forum?id=2TIYkqieKw](https://openreview.net/forum?id=2TIYkqieKw)"
}