重构对齐

一篇名为“重构对齐”*的最新论文引入了REALIGN，这是一种旨在提高大型语言模型（LLM）指令数据质量的新方法，使其更好地与人类价值观对齐。该方法将指令数据响应“重构”为符合预设标准和证据的格式，从而减少了与手动标注和LLM幻觉相关的错误和扩展问题。该方法与现有技术正交，并在不需要新数据或高级训练技术的情况下，显著提高了LLM的性能。

方法概述

REALIGN主要分为三个步骤：标准定义，定义各种场景的偏好；检索增强，拓宽任务的知识库；以及重构，使响应与标准和证据对齐。以下是概述：

REALIGN 概述

因此，给定一个（查询，响应）对的数据集，REALIGN会重构响应并更改数据集。现在，这个数据集用于微调，而不是原始数据集。以下是应用REALIGN前后响应的定性示例：

原始响应（左）与REALIGN响应（右）

结果

实验表明，REALIGN在通用对齐、数学推理、事实性和可读性方面显著提升了LLM的性能。例如，它将LLaMA-2-13B的数学推理能力准确率从46.77%提高到56.63%。

数学推理结果

此外，5%的REALIGN数据使得通用对齐能力提高了67%，这表明了该方法的效率和有效性。这些结果突出了REALIGN在不增加额外数据或复杂训练方法的情况下，提升LLM在各种任务中性能的潜力。

结论

REALIGN提出了一种通过重构指令数据来提高LLM与人类价值观对齐的简单有效方法。更多详情请参阅完整论文和代码。

恭喜各位作者取得的伟大成就！

*范、润泽等。“重构对齐。”（2024年）。