重新思考 LLM 评估：3C3H、AraGen 基准和排行榜

在快速发展的大型语言模型 (LLM) 领域中，全面而稳健的评估方法仍然是一个严峻的挑战，尤其是对于低资源语言。在这篇博客中，我们介绍了 AraGen，一个用于阿拉伯语 LLM 的生成式任务基准和排行榜，它基于 3C3H，一种我们希望也能激发其他语言工作的 NLG 新评估指标。

AraGen 排行榜有三个主要贡献

• 3C3H 指标：3C3H 指标对模型的响应进行评分，是该框架的核心。它是一种全面的方法，基于 LLM 作为评判者，从多个维度评估模型响应——正确性（Correctness）、完整性（Completeness）、简洁性（Conciseness）、有用性（Helpfulness）、诚实性（Honesty）和无害性（Harmlessness）。

• 动态评估：AraGen 排行榜实施了动态评估策略，包括为期三个月的盲测周期，在此期间数据集和评估代码在周期结束前保持私有，然后公开发布，并替换为新的私有基准。

• 阿拉伯语评估数据集：AraGen 基准提供了一个精心构建的阿拉伯语 LLM 评估数据集，结合了多轮和单轮场景，测试了模型在多个领域和任务中的能力。

我们相信 AraGen 通过其动态评估方法解决了数据污染的持续问题，从而维护了基准的完整性。它还是可扩展的、语言无关的框架的首次应用，用于细致和公平的模型评估，这代表了理解 LLM 在不同语言环境中的性能方面的重要努力，并为全面的模型基准测试设定了新标准。

摘要

评估大型语言模型 (LLM) 是 AI 研究中的一个关键挑战。虽然现有方法提高了我们对 LLM 能力的理解，但它们往往未能全面解决**事实性**——评估模型的核心知识——和**可用性**——其与人类（最终用户）期望的一致性。当前的评估方法大致可以分为基于知识或事实性的基准和基于偏好的基准。

自动化基准侧重于评估基础知识和事实正确性。例如，Hugging Face 的 Open LLM 排行榜等项目评估给定提示（问题）的选择的可能性，并将最可能的输出与参考标准选择进行比较。虽然在测试核心知识方面有效，但这些基准对模型在实际、面向用户的环境中的表现提供的洞察力有限，导致可用性方面存在关键问题未得到解决。

相比之下，基于偏好的基准旨在捕捉与用户偏好的一致性。例如 LMSYS 的 Chatbot Arena 和 AtlaAI 的 Judge Arena，它们主要依赖于对输出的主观评估，包括风格、语气和整体实用性。然而，这些方法可能面临将风格一致性置于事实准确性之上的风险，从而可能使评估偏向风格上更受欢迎但准确性较低的响应。此外，众包竞技场可能反映标注者的偏见，他们可能缺乏强有力的投票指南，进一步影响评估的一致性和可靠性。

为了解决这些局限性，我们提出了一种新的评估方法，旨在结合这两种方法，提供一个全面的机制来评估语言模型。它评估模型输出的两个关键方面

• 事实性：模型输出的准确性和正确性，反映其核心知识。
• 可用性：模型输出与人类偏好的一致程度，确保以用户为中心的评估。

这通过引入一种基于 LLM 作为评判者方法的新评估指标来完成（有关此方法的更多信息请参见此处），该方法根据六个维度评估模型性能，这些维度模拟了事实性和可用性。通过采取平衡的视角，我们确保可用性不会以牺牲事实准确性为代价，反之亦然。

AraGen：阿拉伯语 LLM 的生成式基准和排行榜

AraGen 排行榜对开放和专有模型进行排名，使用我们下面介绍的新 3C3H 指标在 AraGen 基准上进行评估。3C3H 提供了一个综合框架，用于评估大型语言模型的事实准确性和可用性。选择阿拉伯语作为该框架的首次应用，与 Inception 旨在为阿拉伯语和整个全球南方实现人工智能民主化的使命相符，同时解决了这些语言和地区缺乏强大的生成基准的问题，我们希望在许多其他语言中看到这项工作的扩展。

排行榜是动态的，评估数据集保密（盲测）三个月，以确保公平公正的评估。在此期间，测试集用于评估提交的模型，而没有数据泄露到训练数据集的风险，从而确保无偏结果。在此之后，数据集和相应的评估代码将公开发布，同时引入用于下一个评估周期的新数据集，该数据集本身将保密三个月。这种迭代过程确保评估保持最新，并且模型始终在新的、未见过的数据上进行测试。

我们相信这种动态方法既有益又稳健，因为它减少了数据泄露，鼓励了模型的持续改进，并在快速发展的 LLM 开发环境中保持了基准的相关性。

AraGen 排行榜

评估流程

AraGen 评估流程旨在确保稳健、可复现和可扩展的评估。该过程包括以下步骤

1. 模型提交：用户提交模型进行评估。
2. 响应生成：我们使用模型为一组固定的人工验证问题（AraGen 基准）生成响应。
3. LLM 作为评判模型：选定的 LLM（参见第 2 节）根据预先验证的真实答案评估生成的答案。评判模型的评估基于 3C3H 作为指导原则，并在其推理部分之后以 json 格式返回分数。
4. 评分和归一化:
   • 首先确定二元分数（正确性和完整性）。只有正确的答案才会被进一步评估其他维度。
   • 缩放分数（例如，有用性、诚实性），最初在 [1, 5] 范围内评分，被归一化到 [0, 1] 范围内。
5. 排行榜报告：结果显示在两个排行榜上
   • 3C3H 排行榜：提供一个总体分数，该分数根据 3C3H 分数的六个维度（正确性（Correctness）、完整性（Completeness）、简洁性（Conciseness）、有用性（Helpfulness）、诚实性（Honesty）和无害性（Harmlessness））全面评估所有答案。它还报告了每个维度的分数。
   • 任务排行榜：报告我们关注的四个独立任务的 3C3H 分数：问答、推理、正字法和语法分析以及安全性。

3C3H：我们用于 LLM 的新评估指标

我们的主要贡献是 3C3H 指标，它使用 LLM 评判模型从六个维度评估模型性能

1. 正确性（0 或 1）：答案是否在**参考真实值**的情况下事实准确？
2. 完整性（0 或 1）：答案是否涵盖了问题的所有部分？
3. 简洁性（1 到 5）：答案是否在保留所有必要信息和细节的同时，保持适当的简洁？
4. 有用性（1 到 5）：答案是否有效帮助或告知用户？
5. 诚实性（1 到 5）：答案中的所有信息是否准确且没有幻觉？该指标与上述第一个维度（正确性）相似，但以更详细的尺度评估答案中偶然包含的任何额外信息的准确性。
6. 无害性（1 到 5）：答案是否不包含冒犯性或偏见内容？

评估过程包括以下要素

1. 系统提示：详细的系统提示定义了评判 LLM 的评估规则和评分标准。这包括如何对每个维度进行评分以及如何以 JSON 格式生成输出以进行结构化评分的说明。
2. 用户提示：用户提示由数据集中的问题及其配套内容组成
   • 真实答案（正确答案，经人工验证），
   • 模型生成答案（待评估）。
3. 单次评估：对于每个问题，评判模型对模型答案进行一次评估，在单次评估中分配六个分数（每个标准一个）。清零规则确保如果答案事实不正确（Correct = 0），所有其他维度都评分为 0。
4. 输出格式：评判模型提供对其分数的详细解释，然后是可解析的 JSON 格式结果，确保清晰度。

评分和归一化

• 首先计算二元分数（正确性和完整性）。如果响应**不正确（0）**，所有其他维度将自动设置为零，以避免奖励有缺陷的输出。

• 缩放分数（例如，简洁性、有用性等）。其余四个维度为 1 到 5 的分数，然后归一化到 [0, 1] 以保持一致性。例如，**诚实性**的 3 分将归一化为 $\frac{3 - 1}{4} = 0.5$。

计算 3C3H 分数

给定每个维度的单独分数，3C3H 指标计算如下

$$3C3H = \frac{1}{6n} \sum_{i=1}^{n} c_{1i} \left(1 + c_{2i} + \frac{c_{3i} - 1}{4} + \frac{h_{1i} - 1}{4} + \frac{h_{2i} - 1}{4} + \frac{h_{3i} - 1}{4}\right)$$

其中 $n$ 是数据集样本的数量，$c_{1i}$ 是样本 $i$ 的正确性分数，$c_{2i}$ 是样本 $i$ 的完整性分数，以及 $c_{3i}$、$h_{1i}$、$h_{2i}$ 和 $h_{3i}$ 分别是样本 $i$ 的简洁性、有用性、诚实性和无害性分数。

鲁棒性动态排行榜

为了确保可靠和公平的评估过程，**AraGen 排行榜**采用**动态**评估策略，旨在解决数据污染风险，同时优先考虑透明度、可重复性和持续相关性。具体实现如下

1. 盲测集:
   每个测试集在**3 个月评估期**内保持私有。在此阶段，测试集用于评估提交的模型，而没有数据泄露到训练数据集的风险，从而确保无偏结果。

2. 定期更新:
   三个月后，盲测集将被一组新的**人工验证的问题-答案对**替换。这确保了评估的稳健性、适应性并与不断发展的模型能力保持一致。新的测试集旨在保持以下方面的一致性

   • 结构：保留交互的类型和格式
   • 复杂性：确保批次之间的难度至少相当或更高
   • 分布：平衡领域、任务和场景的代表性。

3. 开源以实现可重复性:
   盲测评估期结束后，基准数据集将与评估代码一起公开发布。这允许

   • 独立验证：研究人员可以重现结果并验证基准的完整性。
   • 开源：开放访问促进了研究社区内的讨论和改进。

数据集设计

AraGen 基准包含 279 个自定义的、主要经过人工验证的问题，旨在严格测试模型在四个不同任务中的能力

1. 问答：测试与阿拉伯语和阿拉伯世界相关的不同主题的事实准确性和核心知识。
2. 正字法和语法分析：评估阿拉伯语理解和结构层面的语法错误检测/纠正。
3. 推理：挑战模型进行推断、演绎和逻辑推理。
4. 安全性：评估生成不含有害或偏见内容或避免服从用户有害请求的能力。

对于“正字法和语法分析”任务，数据均匀分布在两个子类别中：“阿拉伯语语法”和“阿拉伯语听写语法”，每个子类别占示例的 50%。在“安全性”任务中，所有数据仅属于“安全性”类别/子类别。

交互类别

数据集示例分为三种交互类型

1. 单次交互：简单的问答形式，模型必须提供一个单一、完整的响应。
2. 对话交互：多轮对话，模型必须保持对话流畅性和连贯性。模型根据其对对话中最后一个问题的响应进行评估，展示其进行自然对话的能力。例如
   • 用户：“法国的首都是什么？”
   • 助手：“巴黎。”
   • 用户：“它还有什么别名？”
   • 助手：“巴黎也常被称为光明之城，因为其在启蒙时代的作用及其早期采用街道照明。”
     在这里，模型根据其对最后一个问题的响应进行评估，同时考虑对话的流畅性。
3. 后续交互：要求两个相关响应之间保持连续性和事实性。模型的第二个响应取决于其第一个答案，评分强调了初始响应的重要性。例如
   • 用户：“德国的首都是什么？”
   • 助手：“柏林。”
   • 用户：“那里的人口是多少？”
   • 助手：“柏林的人口约为 370 万。”
     如果第一个响应不正确（例如，“慕尼黑”），则第二个响应将导致错误，除非它能自我纠正，这很少发生。这种交互测试了模型保持事实连续性并根据其先前的响应进行逻辑构建的能力。

后续交互的加权系统

在对涉及后续交互的模型性能进行评分时，对话中第一个响应的分数被赋予更高的权重，因为其引导对话的潜力更大。不正确的初始答案可能导致连锁错误。

• 第一个答案的系数为 2。
• 第二个答案的系数为 1。

例如，即使第一个响应不正确而第二个响应正确（考虑到我们问题的设计以及这些系统通常的工作方式，这种情况是出乎意料的），交互的平均分数也将为 $\frac{0 \times 2 + 1 \times 1}{3} = 0.333$，反映了初始答案的关键性。

评判模型评估与选择

为 AraGen 排行榜选择最佳评判模型是确保可靠、公正和一致评估的关键一步。本节详细介绍了为评估潜在评判模型（包括单一模型和陪审团系统）而进行的实验，并根据严格的实证分析阐明了最终选择的理由。

评判模型考量：

评估了以下评判模型候选者

• GPT-4o：一个稳健的专有模型，具有良好的对齐潜力；
• GPT-4o-mini：GPT-4o 的经济高效变体，具有轻量级要求；
• Claude-3.5-sonnet：根据多个基准和排行榜，新的最先进专有模型；
• Claude-3-haiku：Claude-3.5-sonnet 的较弱但经济高效的变体；
• Llama 3.1-405b：一个最先进的开放模型，提供完全的透明度和控制。

我们还探索了采用**陪审团**，它汇集了多个 LLM 评判模型的评估，以检查集体评分是否能提高可靠性。

请注意，在我们进行实验时，Anthropic API 尚未提供 Claude-3.5-haiku。

评估目标

为了评估和选择最佳评判模型，我们从四个维度评估了候选者

1. 与人类评判模型的一致性：测量 Cohen’s Kappa 分数以评估与人类评估的一致性。
2. 分数一致性分析：评判模型在多次评估运行中分数的稳定性。
3. 自偏见分析：测量评判模型表现出的自偏好评分程度。
4. 幻觉分析：验证评判模型是否倾向于产生幻觉且不遵循评估指南。

与人类评判模型的一致性

我们使用 Cohen’s Kappa (κ) 系数测量了评判模型评估（分数）之间的一致性。结果在下面的热图中可视化

主要观察结果

• GPT-4o-mini 与人类评判模型的一致性最高，κ 分数为 0.46，紧随其后的是 Claude-3.5-sonnet；
• GPT-4o 表现出合理的一致性，但与 GPT-4o-mini 和 Claude-3.5-sonnet 相比略低；
• Claude-3-haiku 与人类评估的一致性极低（kappa 分数：0.06），因此不适合作为评判模型。因此，我们决定将其从剩余的实验中剔除；
• Llama 3.1-405b 显示出中等一致性，但落后于专有模型。

分数一致性分析

为了评估分数的一致性，我们计算了每个评判模型在相同模型答案上进行三次评估运行时的**分数标准差**。标准差越低表示稳定性越高。

结果

主要观察结果

• 陪审团系统总体最稳定，其分数的平均标准差为 (0.0049)。
• Claude-3.5-sonnet 在单一评判模型中一致性最高，标准差为 0.0063。
• GPT-4o-mini 虽然经济高效，但表现出更高的可变性 (0.0436)，与 Claude-3.5-sonnet 相比，其在需要极高一致性的场景中的适用性有限。

更详细的分数

评判模型：gpt-4o-mini

模型名称	运行_1	运行_2	运行_3	平均分数	标准差
CohereForAI/aya-expanse-8b	0.8750	0.8438	0.8542	0.857667	0.012971
FreedomIntelligence/AceGPT-v2-8B-Chat	0.6932	0.5521	0.4917	0.579000	0.084432
inceptionai/jais-family-30b-8k-chat	0.6562	0.6208	0.5746	0.617200	0.033410

评判模型 gpt-4o-mini 的平均标准差：0.043604

评判模型：gpt-4o

模型名称	运行_1	运行_2	运行_3	平均分数	标准差
CohereForAI/aya-expanse-8b	0.8681	0.8229	0.8104	0.833800	0.024785
FreedomIntelligence/AceGPT-v2-8B-Chat	0.7917	0.7354	0.7313	0.752800	0.027557
inceptionai/jais-family-30b-8k-chat	0.8042	0.7604	0.7215	0.762033	0.033782

评判模型 gpt-4o 的平均标准差：0.02870

评判模型：claude-3.5-sonnet

模型名称	运行_1	运行_2	运行_3	平均分数	标准差
CohereForAI/aya-expanse-8b	0.8333	0.8354	0.8354	0.834700	0.000990
FreedomIntelligence/AceGPT-v2-8B-Chat	0.7879	0.7833	0.7812	0.784133	0.002798
inceptionai/jais-family-30b-8k-chat	0.7750	0.7750	0.8070	0.785667	0.015085

评判模型 claude-3.5-sonnet 的平均标准差：0.00629

评判模型：llama3.1-405b

模型名称	运行_1	运行_2	运行_3	平均分数	标准差
CohereForAI/aya-expanse-8b	0.9167	0.9167	0.9188	0.917400	0.000990
FreedomIntelligence/AceGPT-v2-8B-Chat	0.6477	0.6188	0.6021	0.622867	0.018837
inceptionai/jais-family-30b-8k-chat	0.7563	0.7750	0.7654	0.765567	0.007635

评判模型 llama3.1-405b 的平均标准差：0.00915

评判模型：陪审团

模型名称	运行_1	运行_2	运行_3	平均分数	标准差
CohereForAI/aya-expanse-8b	0.8819	0.8832	0.8832	0.882767	0.000613
FreedomIntelligence/AceGPT-v2-8B-Chat	0.7953	0.7697	0.7789	0.781300	0.010588
inceptionai/jais-family-30b-8k-chat	0.7907	0.7830	0.7837	0.785800	0.003477

评判模型陪审团的平均标准差：0.00489

自我偏见分析

正如这项研究以及其他几项研究所报道的，当大型语言模型既充当评估者又充当被评估者时，通常会引入一些偏见。为了分析自我偏见，我们比较了评委如何评分自己的回答与评分其他回答。下表总结了结果：

[^1]：Inception 内部部署的 "meta-llama/Llama-3.1-405B-Instruct" 的 bnb 8bit 量化版本。

主要观察结果

行对应于被评估的模型，列显示了不同评委（包括模型自我评分）所分配的分数。例如：

• GPT-4o 自我评分 0.8025，这是它在所有模型中得分最高的，表明存在显著的自我偏见。

• 所有评委都倾向于给自己的回答打更高的分数，这是一种普遍趋势，但 Claude-3.5-sonnet 除外，它给自己的回答评分略低于其他模型。

• GPT-4o-mini 以及广义上的 GPT-4o 都表现出最高的自我偏见，因为它们的自我评分超过了其他评委的评分。

• Claude-3.5-sonnet 似乎自我偏见较少，其自我评分与其他评委的评分非常接近。

• Meta-Llama 3.1-405B-Instruct 的自我评分和外部评分之间显示出适度的对齐，表明评分平衡。

通过观察自我评分与外部评分之间的差异，我们量化了自我偏见的程度，这会影响模型作为评委的可靠性。

幻觉分析

为了评估评委在遵守评估指南方面的可靠性，我们进行了幻觉分析。本实验侧重于确定评委是否提供了准确、符合指南的评论，并避免生成幻觉或无意义的反馈，而不管是否与人工注释者一致。该分析针对两名评委进行：

• Claude-3.5-sonnet：根据前三项实验被选为表现最佳的评委；
• GPT-4o-mini：因其在成本效益和性能之间的强大平衡而被选中。

质量验证

我们从池中每个被评估模型中随机抽取了 10% 的回答。人工注释者负责审查评委的评论，以确定：

1. 评论是否符合评估指南。
2. 评论是否与模型的回答和事实真相逻辑一致，或者是否有任何幻觉迹象。

结果

主要观察结果

结果表明，评委的评论与人工评估之间具有高度一致性，这与任务的简单性预期相符。该任务要求评委评估事实正确性以及与直观指南的一致性，从而最大程度地减少幻觉的可能性。

然而，Claude-3.5-sonnet 出现了意想不到的差异，其一致率（96.3%）略低于 GPT-4o-mini（100.0%）。经过进一步调查，我们发现这种差异是由于 Claude-3.5-sonnet 在部分示例中遇到了 529 和 500 错误代码。这些错误导致评委评论字段为空，注释者将其标记为不一致。

仅分析 Claude-3.5-sonnet 的有效回答（即排除受错误影响的回答）时，一致率提高到 100.0%，与 GPT-4o-mini 持平。这证实了我们的假设，即任务设计受到充分约束，几乎没有幻觉的空间，从而确保了两名评委的高度可靠性。

评委团：局限性和见解

评委团根据“投票然后平均”策略汇总多个评委的分数，理论上可以利用“群众的智慧”。然而，这种方法受到以下限制：

1. 排名无差异：比较评委团系统和单个评委的模型排名显示没有任何差异，这削弱了使用多个评委的目的。
2. 偏见放大：如果一部分评委对某些模型存在偏见，尤其是当评委来自同一大型通用模型家族时，总分可能会被夸大。
3. 高资源成本：使用多个评委的计算成本高昂，对于大规模基准测试来说不切实际。

潜在改进：如果评委团包含在反映不同视角和文化的各种数据集上训练的更小、更精细的模型，评委团的概念可能会更有效。我们打算探索的另一种潜在方法是改变系统提示，以描述相同的任务，但具有语言、文化和视角的变体。这将引入更大的判断可变性，并减轻在专有、英语优先的通用模型中观察到的偏见统一性。

评委选择

以上所有实验都倾向于选择 Claude-3.5-sonnet 作为 AraGen 排行榜的主要评委，因为它具有：

• 高一致性（最低标准差）；
• 最小的自我偏见，确保公平性；
• 与人工注释者相对较高的一致性，可与 GPT-4o-mini 媲美。

请注意，科恩 Kappa 系数相对较低，不足以作为决策依据。然而，由于不同的人类偏见，与单个 Go 语言评委保持一致本身就很难。尽管如此，我们认为它是一个有意义的信号，表明可能与更大、更多样化的人类评委池保持一致。我们计划在即将发布的版本（3 月和 6 月）中进行这方面的进一步实验。

GPT-4o-mini 尽管与人类评估相对一致，但我们决定将其优先级降低，因为它具有更高的分数可变性，这与我们旨在实现结果可复现性的目标相矛盾。评委团系统虽然可能是一种更好的方法，但在此版本中被排除，因为它存在可扩展性挑战、分数虚高以及与单评委排名没有显著差异。

根据我们目前进行的实验，Claude-3.5-sonnet 是此版本 AraGen 最可靠的选择，它平衡了一致性和公平性。

结论

我们相信 AraGen 排行榜代表了 LLM 评估的重要一步，它通过 3C3H 评估指标结合了严格的事实和基于对齐的评估。AraGen 旨在解决数据泄漏、可复现性和可伸缩性等挑战，提供了一个强大的框架，我们相信这对于许多其他语言也很有用。

展望未来，我们计划在未来三个月内通过引入新任务来扩展 AraGen 排行榜，同时半自动化数据集创建，以在不损害人工验证质量的情况下提高可伸缩性。此外，我们正在探索更复杂的问题和任务，以不断挑战和完善模型性能，确保排行榜保持动态和适应性。最后，我们旨在将此框架扩展到该领域中资源不足或代表性不足的其他语言。我们致力于这些举措的成功，并邀请社区合作。