简化对齐：从 RLHF 到直接偏好优化 (DPO)

大型语言模型 (LLM) 每天都在变得更智能，但如何教会它们做**我们**想做的事，使它们与人类偏好对齐，仍然是一个难题。作为深度学习从业者，我们知道如果想让模型学习某样东西，就需要给它数据，对吧？那么，为什么不收集一些我们喜欢的东西的例子，然后让模型学习这些偏好呢？

这就是带人类反馈的强化学习 (RLHF) 的用武之地。它是一种通过使用反馈数据来教会 LLM 遵循人类偏好的巧妙方法。但 RLHF 可能有点麻烦——它引入了强化学习，优化很快变得棘手。

直接偏好优化 (DPO) 应运而生。DPO 跳过了 RL 部分，但仍然能够教会模型遵循偏好。它更简单、更清晰，而且说实话，谁不喜欢简单呢？

在这篇博客中，我们将踏上从 RLHF 到 DPO 的旅程，分解其中的数学（别担心，我们会保持轻松），并探讨为什么 DPO 可能是一个更智能、更简单的前进方向。

带人类反馈的强化学习 (RLHF)

RLHF 是一个通过结构化的三阶段过程，使语言模型与人类偏好对齐的框架。每个阶段都建立在前一个阶段的基础上，不断完善模型，使其更好地理解和生成符合人类期望的回复。让我们来详细分解一下。

1. 监督微调 (SFT)

我们首先使用高质量的、特定任务的数据对预训练语言模型进行微调。这个过程生成一个基础策略 ${\pi }_{\text{SFT}}(y\mid x)\backslash pi\_\{\backslash text\{SFT\}\}(y\; \backslash mid\; x)$，它表示模型在给定输入 $xx$ 的情况下生成输出 $yy$ 的概率。

这个基础策略是一个强大的起点，它捕捉了与任务相关的通用行为，但仍需要进一步细化以与人类偏好对齐。

2. 偏好采样与奖励学习

此阶段侧重于收集有关人类偏好的数据并构建一个**奖励模型**以数字方式表示这些偏好。

偏好采样

其工作原理如下：

1. 监督微调模型为给定输入或提示 $xx$ 生成**回复对** $(y_1,y_2)(y\_1,\; y\_2)$。
2. 人类标注者比较这些回复，并选择他们偏好的回复 $y_{w}y\_w$（“赢家”），而不是不那么偏好的回复 $y_{l}y\_l$（“输家”）。

这些人类偏好将作为下一步的训练数据。

奖励建模

我们希望创建一个**奖励模型** $r_{\varphi }(x,y)r\_\backslash phi(x,\; y)$，它为给定提示 $xx$ 的每个回复 $yy$ 分配一个数值分数（奖励）。这个分数反映了回复与人类偏好的一致程度。

偏好对建模

为了训练这个奖励模型，我们依赖于回复 $y_{w}y\_w$（赢家）和 $y_{l}y\_l$（输家）的**偏好对比较**。偏好使用**Bradley-Terry 框架**进行建模，该框架为偏好分配一个概率。

1. $y_{w}y\_w$ 优于 $y_{l}y\_l$ 的概率为： $$p_{\varphi }(y_w>y_l\mid x)=\frac{\exp r_{\varphi }(x,y_w)}{\exp r_{\varphi }(x,y_w)+\exp r_{\varphi }(x,y_l)}\mathrm{.}p\_\backslash phi(y\_w\; >\; y\_l\; \backslash mid\; x)\; =\; \backslash frac\{\backslash exp\; r\_\backslash phi(x,\; y\_w)\}\{\backslash exp\; r\_\backslash phi(x,\; y\_w)\; +\; \backslash exp\; r\_\backslash phi(x,\; y\_l)\}.$$

   • $r_{\varphi }(x,y_w)r\_\backslash phi(x,\; y\_w)$ 和 $r_{\varphi }(x,y_l)r\_\backslash phi(x,\; y\_l)$：分别分配给赢家和输家的奖励（分数）。
   • 分子 $\exp r_{\varphi }(x,y_w)\backslash exp\; r\_\backslash phi(x,\; y\_w)$：表示赢家是偏好选择的可能性。
   • 分母通过包含两个选项来确保概率总和为 1： $\exp r_{\varphi }(x,y_w)+\exp r_{\varphi }(x,y_l)\backslash exp\; r\_\backslash phi(x,\; y\_w)\; +\; \backslash exp\; r\_\backslash phi(x,\; y\_l)$。

2. 重新整理后，我们将概率写成奖励差的形式： $$p_{\varphi }(y_w>y_l\mid x)=\frac{1}{1+\exp [r_{\varphi }(x,y_l)-r_{\varphi }(x,y_w)]}\mathrm{.}p\_\backslash phi(y\_w\; >\; y\_l\; \backslash mid\; x)\; =\; \backslash frac\{1\}\{1\; +\; \backslash exp\; \backslash left[\; r\_\backslash phi(x,\; y\_l)\; -\; r\_\backslash phi(x,\; y\_w)\; \backslash right]\}.$$

   • $r_{\varphi }(x,y_l)-r_{\varphi }(x,y_w)r\_\backslash phi(x,\; y\_l)\; -\; r\_\backslash phi(x,\; y\_w)$：输家和赢家分数之间的差值。
   • $\exp (\cdot )\backslash exp(\backslash cdot)$：将此差值转换为概率的缩放因子。

3. 使用**sigmoid 函数** $\sigma (z)=\frac{1}{1+e^{-z}}\backslash sigma(z)\; =\; \backslash frac\{1\}\{1\; +\; e^\{-z\}\}$，方程变为： $$p_{\varphi }(y_w>y_l\mid x)=\sigma (r_{\varphi }(x,y_w)-r_{\varphi }(x,y_l))\mathrm{.}p\_\backslash phi(y\_w\; >\; y\_l\; \backslash mid\; x)\; =\; \backslash sigma(r\_\backslash phi(x,\; y\_w)\; -\; r\_\backslash phi(x,\; y\_l)).$$

   • $r_{\varphi }(x,y_w)-r_{\varphi }(x,y_l)r\_\backslash phi(x,\; y\_w)\; -\; r\_\backslash phi(x,\; y\_l)$：如果赢家的分数远高于输家，则概率接近 1（赢家被强烈偏好）。

训练奖励模型

为了训练 $r_{\varphi }r\_\backslash phi$，我们对其进行优化，使其尽可能与人类偏好匹配。这通过**最大似然估计 (MLE)** 完成。

• 奖励模型的损失函数为：$${\mathcal{L}}_R(r_{\varphi },\mathcal{D})=-{\mathbb{E}}_{(x,y_w,y_l)\sim \mathcal{D}}[\log \sigma (r_{\varphi }(x,y_w)-r_{\varphi }(x,y_l))]\mathrm{.}\backslash mathcal\{L\}\_R(r\_\backslash phi,\; \backslash mathcal\{D\})\; =\; -\backslash mathbb\{E\}\_\{(x,\; y\_w,\; y\_l)\; \backslash sim\; \backslash mathcal\{D\}\}\; \backslash big[\; \backslash log\; \backslash sigma(r\_\backslash phi(x,\; y\_w)\; -\; r\_\backslash phi(x,\; y\_l))\; \backslash big].$$

  • $\mathcal{D}\backslash mathcal\{D\}$: 人类偏好数据集（每个提示 $xx$ 的配对 $y_w,y_{l}y\_w,\; y\_l$）。
  • $\log \sigma (\cdot )\backslash log\; \backslash sigma(\backslash cdot)$: 惩罚将低概率分配给实际人类偏好的预测。
  • 目标是最小化负对数似然，确保奖励模型将其预测与收集到的人类反馈对齐。

3. 强化学习（RL）优化

最后一步涉及使用强化学习微调策略 ${\pi }_{\varphi }(y\mid x)\backslash pi\_\backslash phi(y\; \backslash mid\; x)$ 以最大化奖励。然而，直接最大化奖励可能导致与基本策略 ${\pi }_{\text{SFT}}\backslash pi\_\{\backslash text\{SFT\}\}$ 出现过度偏差，导致不自然或过度优化的行为。为了解决这个问题，我们添加一个惩罚来约束策略

强化学习目标

优化目标是：$$\underset{{\pi }_{\varphi }}{\max }{\mathbb{E}}_{x\sim \mathcal{D},y\sim {\pi }_{\varphi }(y\mid x)}[r_{\varphi }(x,y)]-\beta {\text{D}}_{\text{KL}}[{\pi }_{\varphi }(y\mid x)\mathrm{\parallel }{\pi }_{\text{ref}}(y\mid x)]\mathrm{.}\backslash max\_\{\backslash pi\_\backslash phi\}\; \backslash \; \backslash mathbb\{E\}\_\{x\; \backslash sim\; \backslash mathcal\{D\},\; y\; \backslash sim\; \backslash pi\_\backslash phi(y\; \backslash mid\; x)\}\; \backslash big[\; r\_\backslash phi(x,\; y)\; \backslash big]\; -\; \backslash beta\; \backslash text\{D\}\_\{\backslash text\{KL\}\}\; \backslash big[\; \backslash pi\_\backslash phi(y\; \backslash mid\; x)\; \backslash Vert\; \backslash pi\_\{\backslash text\{ref\}\}(y\; \backslash mid\; x)\; \backslash big].$$

• 第一项: $\mathbb{E}[r_{\varphi }(x,y)]\backslash mathbb\{E\}[r\_\backslash phi(x,\; y)]$

  • 鼓励策略生成具有更高奖励的响应。

• 第二项: ${\text{D}}_{\text{KL}}\backslash text\{D\}\_\{\backslash text\{KL\}\}$

  • ${\text{D}}_{\text{KL}}(P\mathrm{\parallel }Q)\backslash text\{D\}\_\{\backslash text\{KL\}\}(P\; \backslash Vert\; Q)$: Kullback-Leibler (KL) 散度，衡量 $PP$ 与 $QQ$ 差异的度量。
  • 惩罚策略 ${\pi }_{\varphi }\backslash pi\_\backslash phi$ 偏离参考策略 ${\pi }_{\text{ref}}\backslash pi\_\{\backslash text\{ref\}\}$ （通常是 ${\pi }_{\text{SFT}}\backslash pi\_\{\backslash text\{SFT\}\}$）过远。

• $\beta \backslash beta$: 权重因子，控制最大化奖励与保持接近参考策略之间的平衡。

这个过程完成了 RLHF 流程，其中强化学习确保模型生成响应，最大化与人类偏好的对齐，同时保持自然和与任务相关的行为。

RLHF 的挑战

1. 语言输出的不可微性:
   语言生成涉及采样离散的标记，这在优化过程中会中断梯度流。这使得直接使用基于梯度的方法（深度学习的支柱）来调整模型变得棘手。

2. 奖励模型难以泛化:
   奖励模型学习预测人类偏好，但很难捕捉人类真正偏好的细微差别和多样性。如果奖励模型未能泛化，可能导致不对齐或有偏见的优化。

3. 计算和实现开销:
   强化学习显著增加了流程的复杂性。从设计奖励函数到调整超参数（如 KL 惩罚），它需要专业的知识，并且比简单的微调方法需要更多的计算能力。

从 RLHF 到直接偏好优化（DPO）

在本节中，我们将重新构建 RLHF 目标并引入关键变量变换。这种重新构建将为理解直接偏好优化（DPO）的工作原理以及为什么它是 RLHF 更简单、更高效的替代方案铺平道路。

RLHF 目标重构

RLHF 目标最初为

$$\underset{\pi }{\max }{\mathbb{E}}_{x\sim \mathcal{D},y\sim \pi (y\mid x)}[r(x,y)]-\beta {\text{D}}_{\text{KL}}[\pi (y\mid x)\mathrm{\parallel }{\pi }_{\text{ref}}(y\mid x)]\mathrm{.}\backslash max\_\{\backslash pi\}\; \backslash \; \backslash mathbb\{E\}\_\{x\; \backslash sim\; \backslash mathcal\{D\},\; y\; \backslash sim\; \backslash pi(y\; \backslash mid\; x)\}\; \backslash big[\; r(x,\; y)\; \backslash big]\; -\; \backslash beta\; \backslash text\{D\}\_\{\backslash text\{KL\}\}\; \backslash big[\; \backslash pi(y\; \backslash mid\; x)\; \backslash Vert\; \backslash pi\_\{\backslash text\{ref\}\}(y\; \backslash mid\; x)\; \backslash big].$$

此目标平衡两个目标

1. 最大化奖励：鼓励模型 $\pi (y\mid x)\backslash pi(y\; \backslash mid\; x)$ 生成与人类偏好对齐的输出 $yy$，如奖励 $r(x,y)r(x,\; y)$ 所捕捉。
2. 约束偏差：防止模型偏离参考策略 ${\pi }_{\text{ref}}(y\mid x)\backslash pi\_\{\backslash text\{ref\}\}(y\; \backslash mid\; x)$ （通常是监督微调模型）过远，这确保了稳定性和避免了过于激进的更改。

展开 KL 散度项

KL 散度衡量当前策略 $\pi (y\mid x)\backslash pi(y\; \backslash mid\; x)$ 与参考策略 ${\pi }_{\text{ref}}(y\mid x)\backslash pi\_\{\backslash text\{ref\}\}(y\; \backslash mid\; x)$ 之间的“距离”。展开后得到

$${\text{D}}_{\text{KL}}[\pi (y\mid x)\mathrm{\parallel }{\pi }_{\text{ref}}(y\mid x)]={\mathbb{E}}_{y\sim \pi (y\mid x)}[\log \pi (y\mid x)-\log {\pi }_{\text{ref}}(y\mid x)]\mathrm{.}\backslash text\{D\}\_\{\backslash text\{KL\}\}\backslash big[\backslash pi(y\; \backslash mid\; x)\; \backslash Vert\; \backslash pi\_\{\backslash text\{ref\}\}(y\; \backslash mid\; x)\backslash big]\; =\; \backslash mathbb\{E\}\_\{y\; \backslash sim\; \backslash pi(y\; \backslash mid\; x)\}\; \backslash big[\; \backslash log\; \backslash pi(y\; \backslash mid\; x)\; -\; \backslash log\; \backslash pi\_\{\backslash text\{ref\}\}(y\; \backslash mid\; x)\; \backslash big].$$

此项惩罚 $\pi \backslash pi$ 偏离 ${\pi }_{\text{ref}}\backslash pi\_\{\backslash text\{ref\}\}$。将其代回原始目标得到

$$\underset{\pi }{\max }{\mathbb{E}}_{x\sim \mathcal{D},y\sim \pi (y\mid x)}[r(x,y)-\beta \log \pi (y\mid x)+\beta \log {\pi }_{\text{ref}}(y\mid x)]\mathrm{.}\backslash max\_\{\backslash pi\}\; \backslash \; \backslash mathbb\{E\}\_\{x\; \backslash sim\; \backslash mathcal\{D\},\; y\; \backslash sim\; \backslash pi(y\; \backslash mid\; x)\}\; \backslash big[\; r(x,\; y)\; -\; \backslash beta\; \backslash log\; \backslash pi(y\; \backslash mid\; x)\; +\; \backslash beta\; \backslash log\; \backslash pi\_\{\backslash text\{ref\}\}(y\; \backslash mid\; x)\; \backslash big].$$

转换为最小化形式

为简单起见，我们将目标重写为最小化问题（最大化目标的负数最小化）

$$\underset{\pi }{\min }{\mathbb{E}}_{x\sim \mathcal{D},y\sim \pi (y\mid x)}[\log \pi (y\mid x)-\log {\pi }_{\text{ref}}(y\mid x)-\frac{r(x,y)}{\beta }]\mathrm{.}\backslash min\_\{\backslash pi\}\; \backslash \; \backslash mathbb\{E\}\_\{x\; \backslash sim\; \backslash mathcal\{D\},\; y\; \backslash sim\; \backslash pi(y\; \backslash mid\; x)\}\; \backslash big[\; \backslash log\; \backslash pi(y\; \backslash mid\; x)\; -\; \backslash log\; \backslash pi\_\{\backslash text\{ref\}\}(y\; \backslash mid\; x)\; -\; \backslash frac\{r(x,\; y)\}\{\backslash beta\}\; \backslash big].$$

这突出了权衡

• $\log \pi (y\mid x)\backslash log\; \backslash pi(y\; \backslash mid\; x)$ 项鼓励策略关注可能的输出。
• $-\log {\pi }_{\text{ref}}(y\mid x)-\backslash log\; \backslash pi\_\{\backslash text\{ref\}\}(y\; \backslash mid\; x)$ 项确保输出与参考模型保持接近。
• $\frac{-r(x,y)}{\beta }\backslash frac\{-r(x,\; y)\}\{\backslash beta\}$ 项使策略偏向高奖励响应。

引入配分函数

我们引入一个函数 $Z(x)Z(x)$

$$Z(x)=\sum _y{\pi }_{\text{ref}}(y\mid x)\exp \left[\frac{r(x,y)}{\beta }\right]\mathrm{.}Z(x)\; =\; \backslash sum\_y\; \backslash pi\_\{\backslash text\{ref\}\}(y\; \backslash mid\; x)\; \backslash exp\backslash big[\; \backslash frac\{r(x,\; y)\}\{\backslash beta\}\; \backslash big].$$

使用 $Z(x)Z(x)$，我们可以将 $\pi (y\mid x)\backslash pi(y\; \backslash mid\; x)$ 表示为

$$\pi (y\mid x)=\frac{1}{Z(x)}{\pi }_{\text{ref}}(y\mid x)\exp \left[\frac{r(x,y)}{\beta }\right]\mathrm{.}\backslash pi(y\; \backslash mid\; x)\; =\; \backslash frac\{1\}\{Z(x)\}\; \backslash pi\_\{\backslash text\{ref\}\}(y\; \backslash mid\; x)\; \backslash exp\backslash big[\; \backslash frac\{r(x,\; y)\}\{\backslash beta\}\; \backslash big].$$

这是直觉

• ${\pi }_{\text{ref}}(y\mid x)\backslash pi\_\{\backslash text\{ref\}\}(y\; \backslash mid\; x)$: 作为基线分布（我们的起点）。
• $\exp \left[\frac{r(x,y)}{\beta }\right]\backslash exp\backslash big[\backslash frac\{r(x,\; y)\}\{\backslash beta\}\backslash big]$: 根据其奖励缩放输出 $yy$，使高奖励输出更可能。
• $Z(x)Z(x)$: 归一化分布，使概率之和为 1。

这种公式使我们能够通过结合奖励模型中编码的偏好来重新加权参考策略，而无需直接强化学习。

DPO 损失的推导

直接偏好优化（DPO）的关键技巧是关注成对偏好，这简化了优化。让我们分解一下

成对偏好

对于两个完成项 $y_{1}y\_1$（胜者）和 $y_{2}y\_2$（败者），我们关心人类偏好 $y_{1}y\_1$ 胜过 $y_{2}y\_2$ 的概率。使用 Bradley-Terry 模型，该概率为

$$p(y_1>y_2\mid x)=\sigma (\beta \log \frac{\pi (y_1\mid x)}{{\pi }_{\text{ref}}(y_1\mid x)}-\beta \log \frac{\pi (y_2\mid x)}{{\pi }_{\text{ref}}(y_2\mid x)}),p(y\_1\; >\; y\_2\; \backslash mid\; x)\; =\; \backslash sigma\backslash big(\backslash beta\; \backslash log\; \backslash frac\{\backslash pi(y\_1\; \backslash mid\; x)\}\{\backslash pi\_\{\backslash text\{ref\}\}(y\_1\; \backslash mid\; x)\}\; -\; \backslash beta\; \backslash log\; \backslash frac\{\backslash pi(y\_2\; \backslash mid\; x)\}\{\backslash pi\_\{\backslash text\{ref\}\}(y\_2\; \backslash mid\; x)\}\backslash big),$$

其中 $\sigma (z)=\frac{1}{1+e^{-z}}\backslash sigma(z)\; =\; \backslash frac\{1\}\{1\; +\; e^\{-z\}\}$ 是 Sigmoid 函数。

简化 $\pi (y\mid x)\backslash pi(y\; \backslash mid\; x)$

从之前的重构中，代入 $\pi (y\mid x)\backslash pi(y\; \backslash mid\; x)$，得到

$$\pi (y\mid x)=\frac{1}{Z(x)}{\pi }_{\text{ref}}(y\mid x)\exp \left[\frac{r(x,y)}{\beta }\right]\mathrm{.}\backslash pi(y\; \backslash mid\; x)\; =\; \backslash frac\{1\}\{Z(x)\}\; \backslash pi\_\{\backslash text\{ref\}\}(y\; \backslash mid\; x)\; \backslash exp\backslash big[\; \backslash frac\{r(x,\; y)\}\{\backslash beta\}\; \backslash big].$$

当比较两个输出 $y_{1}y\_1$ 和 $y_{2}y\_2$ 时，分配函数 $Z(x)Z(x)$ 会抵消（因为两者相同），留下：

$$p(y_1>y_2\mid x)=\sigma (r(x,y_1)-r(x,y_2))\mathrm{.}p(y\_1\; >\; y\_2\; \backslash mid\; x)\; =\; \backslash sigma\backslash big(r(x,\; y\_1)\; -\; r(x,\; y\_2)\backslash big).$$

这简化了计算，因为我们不再需要显式计算 $Z(x)Z(x)$。Sigmoid 函数确保更高的奖励对应更高的概率。

DPO 损失

为了训练 ${\pi }_{\theta }\backslash pi\_\backslash theta$（参数化策略），我们使用人类偏好的**最大似然估计（MLE）**。DPO 损失变为：

$${\mathcal{L}}_{\text{DPO}}({\pi }_{\theta },{\pi }_{\text{ref}})=-{\mathbb{E}}_{(x,y_w,y_l)\sim \mathcal{D}}[\log \sigma (\beta \log \frac{{\pi }_{\theta }(y_w\mid x)}{{\pi }_{\text{ref}}(y_w\mid x)}-\beta \log \frac{{\pi }_{\theta }(y_l\mid x)}{{\pi }_{\text{ref}}(y_l\mid x)}\left)\right]\mathrm{.}\backslash mathcal\{L\}\_\{\backslash text\{DPO\}\}(\backslash pi\_\backslash theta,\; \backslash pi\_\{\backslash text\{ref\}\})\; =\; -\backslash mathbb\{E\}\_\{(x,\; y\_w,\; y\_l)\; \backslash sim\; \backslash mathcal\{D\}\}\; \backslash big[\; \backslash log\; \backslash sigma\backslash big(\backslash beta\; \backslash log\; \backslash frac\{\backslash pi\_\backslash theta(y\_w\; \backslash mid\; x)\}\{\backslash pi\_\{\backslash text\{ref\}\}(y\_w\; \backslash mid\; x)\}\; -\; \backslash beta\; \backslash log\; \backslash frac\{\backslash pi\_\backslash theta(y\_l\; \backslash mid\; x)\}\{\backslash pi\_\{\backslash text\{ref\}\}(y\_l\; \backslash mid\; x)\}\backslash big)\; \backslash big].$$

为什么这个技巧有效？

1. 无需强化学习:
   通过将问题重新定义为成对偏好，并重新加权参考策略，DPO 消除了对复杂强化学习的需求。

2. 更简单的优化:
   在成对比较中，分配函数 $Z(x)Z(x)$ 会抵消，从而降低了计算开销。训练直接专注于与人类偏好对齐。

3. 提高稳定性:
   来自 ${\pi }_{\text{ref}}(y\mid x)\backslash pi\_\{\backslash text\{ref\}\}(y\; \backslash mid\; x)$ 的 KL 约束确保 ${\pi }_{\theta }\backslash pi\_\backslash theta$ 保持基础，避免了强化学习中常见的极端行为变化。

4. 专注于人类偏好:
   通过直接优化成对偏好概率，DPO 将学习过程集中在人类标注数据上，使输出更自然地符合人类预期。

结论

直接偏好优化通过用直接优化框架取代 RLHF 的强化学习阶段，简化了大型语言模型的对齐。通过处理成对偏好并避免强化学习，DPO 在降低计算和实现开销的情况下实现了对齐，使其成为对齐大型模型的有力替代方案。

随着对齐技术的发展，DPO 示例了简化假设如何为人工智能中的现实世界挑战带来实用且有效的解决方案。