Argunauts 训练第三阶段：RLVF（基于事后指令重标注、自我纠正和动态课程）

格雷戈尔·贝茨

ggbetz

关注

• 🤗 DebateLabKIT/Llama-3.1-Argunaut-1-8B-HIRPO
• 👩‍💻 debatelab/argdown-feedback

引言

在本文中，我将解释如何使用可验证奖励强化学习（RLVF）来提高大型语言模型（LLM）的批判性思维和论证分析能力。本文是我正在进行的工作的一个快照，也是关于 Argunauts 项目系列文章的延续。

☑️ Argunauts：动机与目标 ↪
☑️ 第一阶段：SFT 训练 ↪
☑️ 第二阶段：逐行自玩微调 ↪
✅ 第三阶段：✨RLVF（基于事后指令重标注、自我纠正和动态课程）✨

使用 RLVF 提高开放式大型语言模型的论证分析能力面临四大挑战：

• 我们需要为论证图绘制和逻辑论证分析中涉及的各种任务定义**强且可验证**的奖励。
• 训练必须处理针对**多个难度各异的任务**的**多个奖励**。
• 侧重于可验证的奖励，尤其是那些可以形式化或符号化验证的奖励，增加了奖励漏洞的风险。
• 我们的基础模型在一些它们本应学习的任务上达到了**零准确率**。

我正尝试通过以下方式解决这些挑战：

1. 🏃‍♀️ 识别——非常符合 deepa2 的精神——论证图绘制和论证分析中涉及的各种**核心任务**；
2. ⛹️‍♀️ 基于第一点，设计涉及多个核心任务的连贯和协调解决方案的额外**复杂任务**；
3. 🌲 将各种任务（来自第一点和第二点）之间的**要求**映射到**教学依赖有向无环图（DAG）**中；
4. 🕵️‍♀️ 利用 Argdown 语法、逻辑一致性和有效性，以及控制复杂任务的连贯性约束，构建**可验证的二元奖励**，并为任意候选解决方案生成详细的**自然语言错误消息**；
5. 🛜 采用**在线 DPO** 作为一种简单干净的强化学习范式，可灵活扩展（如下文第 6、7、8 点所述）；
6. 👀 将**事后指令重标注（HIR）**应用于 DPO，利用**自然语言错误消息**（来自第 4 点），使模型能够**从负面反馈中学习**并防止部分/不完美奖励的过度泛化；
7. 🪞 在强化学习流程中集成**多步自我纠正循环**，以生成带有评论或修订的额外偏好对；
8. 🔄 训练期间，根据模型在每个任务（来自第 1 点和第 2 点）上的当前表现以及教学依赖 DAG（第 3 点）中任务的要求，**持续调整训练课程**。

论证分析任务与练习

四个核心任务涵盖论证文本标注、论证图绘制、非形式论证重构和形式论证重构

在上述核心任务的基础上，我定义了六个复合任务，它们涉及多个核心任务的协调解决方案。这些复合任务旨在通过要求解决方案的不同部分相互连贯，来提供额外的**可验证语义约束**。

另外四个顺序任务旨在通过从源文本的论证分析而非纯源文本本身开始，帮助模型学习更具挑战性的任务。

教学依赖与动态训练课程

不同任务之间存在我们**先验**可识别的依赖关系：

1. 掌握复合任务的前提是系统掌握该复合任务所涉及的组成任务。
2. 从训练角度来看，掌握顺序任务的前提是系统掌握前置任务，因为顺序任务的输入将由模型在线自动生成。

这给我们提供了以下**教学依赖 DAG**

顶部节点代表最苛刻的任务，其中系统应生成源文本的语法和逻辑有效的标注、论证图和形式论证重构，所有这些都要求相互连贯。在 DAG 的底部，有两个根节点，代表论证映射和论证文本标注的核心任务。节点形状表示任务类型，圆形代表核心任务，六边形代表复合任务，矩形代表顺序任务。

Shi 等人（2025）证明了强化学习受益于仔细选择对模型来说既不太容易也不太难解决的任务。很明显，我们可以利用上述教学依赖 DAG 动态确定模型在给定时间应训练的任务，同时考虑到模型在任务上的当前表现。

例如，如果模型甚至不知道如何生成语法正确的 Argdown 论证图，那么练习创建与论证文本标注连贯的论证图就没有意义。

我目前是这样实现这个想法的：

假设我们每个训练周期总共有 $N$ 个练习预算。现在我们需要详细说明如何根据不同的任务 $t=1,...,14$ 动态分配这个预算。

我将 10% 的训练预算保留给四个核心任务，并均匀分配。非核心任务的初始预算为零。

剩余预算根据模型在不同任务上的当前表现 $a_i;(i=1...14)$ 递归分配。基本思想是训练模型尚未掌握，但依赖于模型已掌握的任务。

通过这种动态训练课程，我们期望模型首先训练简单/核心任务，然后逐步转向更具挑战性的任务。

事后指令重标注直接偏好优化（HIRPO）

事后指令重标注（Hindsight Instruction Relabeling）是一种优雅的强化学习可验证奖励（RLVR）方法，最初由Zhang 等人（2023）提出。

在一个单一的 HIR 训练周期中，我们进行以下操作：

1. 在线从模型中抽取答案，
2. 评估答案，
3. 将正确解决的指令和答案用作训练项，
4. 对带有不正确答案的指令进行重新标注（例如，要求模型犯错），然后
5. 将重新标注的指令和答案用作训练项，最后
6. 使用监督微调（SFT）目标对模型进行训练。

让我们用一个简单的例子来说明事后指令重标注

Zhang 等人（2023）证明，与仅使用正确解决的指令进行训练相比，将重新标注的指令添加到训练数据中可以显著提高模型的性能。这是因为 HIR “能够从失败案例中学习”（这可能有助于我们解决 GRPO 的一个明显缺点 (Xiong 等人 2025)）。

Argunauts 项目将最初为 SFT 设计的 HIR 范式，迁移到在线 DPO 训练（→HIRPO）。在 HIRPO 中，我们还利用了在构建偏好对时存在不同类型错误的事实。以上述例子为例：

将 HIR 引入 DPO 的另一个好处现在变得显而易见：通过将第 2 行的偏好对添加到训练数据中，我们向模型展示了为什么第 1 行的选中答案优于被拒绝的答案。其直觉是，这可能有助于防止部分奖励的过度泛化。

但这还不是全部。

通过 HIRPO，即使模型没有生成任何正确答案，我们也可以构建偏好对：

此外，我们还可以奖励除了答案正确或不正确之外的优秀行为

在进行 HIRPO 实验的同时，Sun 等人（2025）发表了令人兴奋且更通用的“多层次感知偏好学习：增强复杂多指令任务的 RLHF”论文，其中包含了 HIRPO 的思想。我计划未来将 MAPL-DPO 整合到 Argunauts 项目中。以下是我目前看到的其他与 HIRPO 相关的方法：

HIRPO 如何应用于 Argunauts？

对于 14 项论证分析任务，我定义了大约**40 种可验证奖励**（其中部分已在上文列出），所有这些奖励都会生成二元奖励信号（正确/不正确）和高度具体的错误消息，这些错误消息反过来可以用于构建带有 HIRPO 的训练数据。

在此基础上，我还定义了另外**40 项额外的优秀分数**，用于评估模型答案的质量，这些分数不仅限于严格的正确性，例如论证图中的标签是否简洁，论证的前提是否与源文本一致，或者论证图是否密集（支持和攻击关系是否很多）。

带自我纠正的在线 DPO

根据Kamoi 等人（2024）的研究，他们表明 LLM 的“自我纠正在可以使用可靠外部反馈的任务中效果良好”，我们利用可验证奖励的自然语言反馈，不仅用于构建 HIRPO 偏好对，还用于使模型能够

• 生成建设性反馈和
• 修订其原始答案。

当所有主要候选解决方案都不正确时，将触发自我批评工作流程。

在自我批评工作流程中，模型在看到不正确的答案和详细的错误消息后，被提示——作为老师——为学生提供建设性反馈。对于相应生成的每个反馈，然后要求模型修改其原始答案。所有修改后的答案将再次进行评估。

我们现在可以进一步构建偏好对，如下所示：

1️⃣ 我们对修订后的（而不是主要的）解决方案进行纯 HIRPO（如前所述）。
2️⃣ 我们根据不同反馈文本的有效性进行比较，即它们如何更好地帮助模型改进其答案。
3️⃣ 我们将修订后的答案与原始解决方案进行比较。

训练

问题集

我们正在使用来自DebateLabKIT/arguments-and-debates集合子集中的、经过精心挑选的、来自不同领域、长度各异的论证文本作为练习。

拥有一份内容深刻且多样化的论证文本阅读材料对于培养学生的批判性思维和论证分析能力非常有价值。扩展和改进论证文本的选择是一项持续的努力，我欢迎社区的贡献。

基础模型

我们使用的基础模型是 Argunauts 项目**第二阶段**的 Argunaut 模型 Llama-3.1-Argunaut-1-8B-SPIN，它是 meta-llama/Llama-3.1-8B-Instruct 的微调版本。

训练过程

每个训练周期包含以下步骤：

1. 从论证文本集合中**抽取** `exercises_per_epoch` 个练习；并根据当前任务权重将练习**分配**给不同的任务类型。
2. 为每个练习和任务**生成**答案和 HIRPO 对。
3. **混入**之前周期生成的训练项，优先考虑那些对比有效和无效答案的项。
4. 使用生成的 HIRPO 对，通过 DPO **训练**模型。

我们每隔 evaluate_epochs 个周期评估当前训练的模型，并根据模型在任务上的表现重新计算任务权重（参见动态课程）。

total_epochs: 128
evaluate_epochs: 4

采样参数

exercises_per_epoch: 512
eval_gen_kwargs:
    temperature: 0.2
    max_tokens: 4096
    top_p: 0.95
    min_p: 0.05
gen_kwargs:
    temperature: 0.8
    max_tokens: 4096
    min_p: 0.05
feedback_gen_kwargs:
    temperature: 0.8
    max_tokens: 1024
    min_p: 0.05

训练参数

loss_type: sigmoid
num_train_epochs: 2
per_device_train_batch_size: 2
gradient_accumulation_steps: 8
learning_rate: 5.0e-7
lr_scheduler_type: linear
warmup_ratio: 0.5

框架

• trl
• vLLM 和 vLLM Production Stack
• DeepSpeed
• Spectrum
• Liger Kernels
• argdown-feedback

训练指标

训练损失在**每个周期内**和**从一个周期到另一个周期**都在下降

在 HIRPO 训练期间，模型在各种论证分析任务中的表现，根据评估集中的练习进行评估，显著提高

值得注意

• 模型获得了它最初根本不具备的技能，例如非形式论证重构（infreco，大约在第 4 个周期）、逻辑论证分析（logreco，大约在第 20 个周期），以及较不成功的，连贯的论证映射和标注（argmap_plus_arganno，大约在第 40 个周期）。
• 在达到高水平表现后，指标会持续出现特征性波动，反映出随着训练重点动态转移到其他任务而出现的性能下降，然后随着训练返回到性能下降的任务而反弹。
• Llama-3.1-Argunaut-1-8B-HIRPO 未能掌握更复杂的任务，例如连贯标注和逻辑分析（arganno_plus_logreco）。我将在未来的迭代中尝试解决这个问题，从更精确和详细的指令/提示开始。

随着模型掌握越来越多的技能，训练课程也会动态调整，这体现在每个周期生成的训练项目数量上：

这也表明，螺旋式课程（训练回到之前掌握的任务）是训练过程的一个**新兴特征**（比较 infreco 或 logreco 训练项目的波动数量）。

我们可以根据所犯的错误类型来分解性能。因此，模型可能由于非常不同的原因（例如，格式错误的边界代码块、缺少结论、缺少推断数据、格式错误的逻辑公式等）未能生成论证文本的有效逻辑重构。下图显示了模型在 logreco 任务中不同错误（问题）的发生率：

我们发现模型正在显著改进，并且在任务达到最低性能水平（大约第 20 个周期）之前，它就已经开始成功避免特定的错误。这是因为模型成功地从它一直在练习的其他任务中迁移了见解，或者因为它纯粹从负面反馈（失败类型偏好对）中学习。

评估

聊天体验

让我分享一下与 ggbetz/Llama-3.1-Argunaut-1-8B-HIRPO-dev4-Q4_K_M-GGUF 的聊天记录。

[Conclusion~1]: School uniforms deter crime and increase student safety.
    <+ <Subargument 1>： 
        <+ [Conclusion~2]: Implementing school uniforms reduces bullying based on appearance or economic background.
            <+ <Subargument 2>： 
                <+ [Premise]: 83% of teachers think that a good school uniform can prevent bullying based on appearance or economic background.
        <+ [Premise]: Reducing bullying based on appearance or economic background contributes to a sense of belonging and social acceptance among students.
        <+ [Premise]: A sense of belonging and social acceptance among students is a desirable outcome.

(1) 83% of teachers think that a good school uniform can prevent bullying based on appearance or economic background.
(2) Reducing bullying based on appearance or economic background contributes to a sense of belonging and social acceptance among students.
(3) A sense of belonging and social acceptance among students is a desirable outcome.
--
School uniforms deter crime and increase student safety.

(1) 83% of teachers think that a good school uniform can prevent bullying based on appearance or economic background.
(2) Reducing bullying based on appearance or economic background contributes to a sense of belonging and social acceptance among students.
(3) A sense of belonging and social acceptance among students is a desirable outcome.
(4) A positive school environment contributes to a safer school environment.
--------------------------
(5) School uniforms deter crime and increase student safety.

我的结论是，评估所证明的论证分析性能的提高并不能直接转化为聊天中更好的性能。……可能还表明，在某个时候，Argunaut 模型将不得不经历最终的经典指令微调阶段。

基准测试

🚧 即将推出，欢迎投稿

后续步骤

• 有太多需要实证检验和彻底评估的工作……所以，如果您是正在寻找具有易于实现成果的优秀项目的研究生或初级研究员，请与我联系！