致敬本年度 NeurIPS 论文时间检验奖获奖者
本年度 NeurIPS 时间检验奖授予了两篇开创性论文：
- 生成对抗网络（Goodfellow 等人）
- 使用神经网络的序列到序列学习（Ilya 等人）
让我们来探讨这些论文是如何帮助开创当今人工智能领域的突破的。
- 生成对抗网络（Goodfellow 等人）
GANs 论文（目前已被引用超过 8.5 万次）引入了一种出色的生成建模方法——将其视为两个神经网络之间的对抗性博弈：一个生成器（G）创建样本，一个判别器（D）试图区分真实样本和虚假样本。
在一般的 GANs 架构中，生成器 G 接收随机噪声 z 并将其映射到合成数据，而判别器 D 则输出其输入来自真实数据的概率。它们同时进行训练——G 试图最小化 log(1-D(G(z)))，而 D 试图最大化 log(D(x)) + log(1-D(G(z)))。
GANs 解决了一个根本性问题：以前的生成模型依赖于显式密度估计或马尔可夫链。GANs 通过对抗过程直接学习生成过程，从而绕过了这个问题。这使得能够对更复杂的分布进行建模。其影响是什么？GANs 直接促成了以下突破：
- StyleGAN 用于照片级人脸合成
- CycleGAN 用于无配对图像翻译
- BigGAN 用于高保真图像生成
- Stable Diffusion 的图像生成组件
作者还全面总结了当时生成建模面临的挑战，并详细介绍了 GANs 的优缺点。
- 使用神经网络的序列到序列学习（Ilya 等人）
该论文展示了我们可以使用编码器-解码器架构端到端地转换可变长度序列，即将意义编码成向量，再解码成新的序列向量。这一突破使得高效的神经机器翻译成为可能，并显著影响了当今大型语言模型背后的架构。
这项工作被认为呼应了备受喜爱的 Transformer 架构的发明。
seq2seq 架构使用两个多层长短期记忆（LSTM）模型——一个将输入序列编码为固定长度向量，另一个从该向量解码输出序列。
这种端到端学习框架消除了对复杂的手工设计特征的需求。
作者指出，虽然通用序列学习最简单的方法是使用 RNN，但它们被证明很难进行端到端训练，“因为会产生长期依赖性”——这意味着序列开头的信息在到达末尾时会丢失。
或者用技术术语来说，RNN 在处理长序列时难以保持有用信息，因为它们的梯度在训练过程中会消失或爆炸，这使得它们难以学习序列中遥远部分之间的连接。
这项工作目前已被引用超过 2.7 万次，它启发了注意力机制的发明——该机制用于 Transformer 架构，为当今的大型语言模型提供动力。
从早期的序列学习到如今的数十亿参数模型，每一步都可追溯到这些核心思想。
毫无疑问，这些论文值得获得时间检验奖，这要归功于其背后的杰出人才：Ilya Sutskever 等人，Ian Goodfellow 等人。这就是为什么本帖子旨在纪念他们在该领域的卓越贡献 🫡
就这些，感谢阅读。我最近实现了“使用神经网络的序列到序列学习”这篇论文，这是我的 Jupyter Notebook 链接：https://github.com/Jaykef/ai-algorithms/blob/main/seq2seq.ipynb