🐺🐦‍⬛ LLM 比较/测试：DeepSeek-V3、QVQ-72B-Preview、Falcon3 10B、Llama 3.3 70B、Nemotron 70B 在我更新的 MMLU-Pro CS 基准测试中

• 🆕 更新 2025-01-04：进一步分析后的额外见解
• 🆕 更新 2025-01-05：分析了所有未解决问题的结果

引言

新年新基准！我测试了一些在我最新的报告之后发布的新模型（**DeepSeek-V3**、**QVQ-72B-Preview**、**Falcon3 10B**），以及一些我尚未测试的“旧”模型（**Llama 3.3 70B Instruct**、**Llama 3.1 Nemotron 70B Instruct**）。

所有这些都是对我 2024 年 12 月原始报告的更新，在该报告中，您将找到关于我在这一系列 MMLU-Pro CS 基准测试中测试和比较的所有其他（25 个！）模型的更多详细信息：LLM 比较/测试：通过 59 次 MMLU-Pro CS 基准测试运行对 25 个 SOTA LLM（包括 QwQ）进行测试

新测试的模型

1. **DeepSeek-V3**是新的开源明星，它是一个庞然大物，拥有 671B 参数，其专家混合（Mixture-of-Experts）架构中包含 37B 活跃参数。我通过官方 DeepSeek API 对其进行了测试，它的速度非常快（约 50 tokens/秒），而且非常便宜（4 次运行共计 1.4M tokens，花费 66 美分）。

   然而，令人惊讶的是，它并未成为本地模型中的第一名——至少在我的 MMLU-Pro CS 基准测试中没有，它“仅仅”获得了 78% 的分数，与更小的 Qwen2.5 72B 相同，甚至低于更小的 QwQ 32B Preview！但它仍然是一个不错的成绩，并且击败了 GPT-4o、Mistral Large、Llama 3.1 405B 和大多数其他模型。

   此外，有很多关于该模型的积极报告——所以如果可以的话（无论是本地运行还是通过 API），一定要仔细研究并用您自己的用例进行测试。这条建议通常适用于所有模型和基准测试！

   话虽如此，就我个人而言，我仍然犹豫不决，因为我遇到了一些重复问题，这让我想起了过去本地 LLM 的时代。然而，这可能有各种解释，所以我将继续调查和进一步测试它，因为它无疑是开放式 LLM 的一个里程碑。

2. **Llama 3.3 70B Instruct**是 Meta Llama 系列的最新迭代，专注于多语言性，因此其通用性能与前代产品没有太大差异。尽管如此，即使量化到仅 4 位，它仍获得了约 71% 的分数，这比未量化（！）的 Llama 3.1 70B Instruct 稍好，几乎与 gpt-4o-2024-11-20 持平！

   这里没什么好说的了，Llama 在其他模型，尤其是来自中国的模型面前，有些黯然失色。所以期待 Llama 4 能带来什么，希望能尽快到来。

3. **Llama 3.1 Nemotron 70B Instruct** 是这批模型中最老的一个，3 个月大的它在 LLM 领域已基本算是“古董”了。不过，它仍然表现稳健，在约 4 位量化下得分约为 70%，与它所基于的未量化 Llama 3.1 70B 非常接近。

   测试中并未反映出其使用感受——它与其他模型不同，更像是一种多项选择对话，而非普通聊天。这可能是好是坏，取决于您的用例。对于客户支持机器人等场景，这种风格可能非常适合。

4. 和 DeepSeek-V3 一样，我很惊讶（甚至有些失望）**QVQ-72B-Preview** 没有取得更高的分数。QwQ 32B 的表现好得多，但即使拥有 16K 的最大 token，QVQ 72B 也没有通过更多推理来提高性能。它只得了 70%，而 QwQ 32B 是 79%，Qwen2.5 72B 是 78%。

   但这也许是意料之中的，因为 QVQ 专注于视觉推理——这并不是这个基准测试所衡量的。然而，考虑到它基于 Qwen，以及 QwQ 32B 和 Qwen 72B 模型的出色表现，我曾希望 QVQ 兼具 72B 和推理能力能对其整体性能产生更大的影响。

   因此，我们必须继续等待 QwQ 72B 的发布，看看更多的参数能否进一步提高推理能力，以及提高多少。但如果您有视觉推理的用例，这可能是本地模型中最好（也是唯一）的选择。

5. **Falcon3 10B Instruct**表现出乎意料的好，得分 61%。大多数小型模型甚至无法通过 50% 的阈值，根本无法进入排行榜（例如，我测试的 IBM Granite 8B 就未能入选）。

   Falcon3 10B 甚至超越了 Mistral Small，后者虽然有 22B，但体积是它的两倍多。如果您需要一个体积小巧但能够处理英语、法语、西班牙语或葡萄牙语的模型，绝对值得一试。

关于基准

MMLU-Pro基准是一个全面的评估大型语言模型的工具，涵盖计算机科学、数学、物理、化学等多个类别。它旨在评估模型在广泛学科中理解和应用知识的能力，为通用智能提供一个稳健的衡量标准。虽然它是一个多项选择题测试，但与前身 MMLU 中的 4 个答案选项不同，现在每个问题有 10 个选项，这大大降低了偶然答对的概率。此外，重点日益放在复杂的推理任务而非纯粹的事实知识上。

对于我的基准测试，目前我仅限于计算机科学类别，其中包含 410 个问题。这一务实决定基于几个因素：首先，我特别重视我的日常工作环境中模型的响应，因为我经常在日常工作中使用这些模型。其次，在消费级硬件上运行本地模型存在计算时间的实际限制——一次运行对于大型模型来说已经需要几个小时，而我通常会进行至少两次运行以确保一致性。

与通常只报告单一分数的基准测试不同，我为每个模型进行多次测试运行，以捕捉性能的可变性。这种全面的方法可以更准确、细致地了解每个模型的真实能力。通过对每个模型执行至少两次基准测试运行，我建立了对性能水平和一致性的稳健评估。结果中包含误差条，显示标准差，说明了性能在不同测试运行中的变化情况。

仅这项研究的基准测试就耗费了超过70 **88** 小时的运行时间。如果增加额外的类别或运行次数，在可用资源下，测试时长会变得如此之长，以至于研究完成时，被测试的模型就已经过时了。因此，建立实用的框架条件和限制对于在合理的时间范围内获得有意义的结果至关重要。

详细结果

这是完整的表格，包括原始报告中的先前结果

• 模型：模型名称（含相关参数和设置详情）
• HF 主模型名称：Hugging Face 上列出的被测模型的完整名称
• HF 草稿模型名称（推测解码）：用于推测解码的草稿模型（如果适用）
• 大小：参数数量
• 格式：模型格式类型（HF、EXL2 等）
• API：服务提供商（TabbyAPI 表示本地部署）
• GPU：用于本次基准测试运行的显卡
• GPU 内存：分配给模型和配置的显存
• 运行：基准测试运行序列号
• 持续时间：基准测试总运行时间
• 总计：正确答案数量（决定排名！）
• %：正确答案百分比
• TIGER-Lab：TIGER-Lab（MMLU-Pro 的开发者）的 CS 基准测试结果与我的比较
• 正确随机猜测：当 MMLU-Pro 无法明确识别模型的答案选择时，它会默认进行随机猜测，并报告这些随机猜测的数量及其准确性（高比例的随机猜测表明在遵循响应格式方面存在问题）
• 提示令牌数：输入文本的令牌计数
• 每秒令牌数：每秒处理的令牌数
• 完成令牌数：生成响应的令牌计数
• 每秒令牌数：每秒生成的令牌数

---

🆕 更新 2025-01-04：进一步分析后的额外见解

受到Teortaxes 在 X 上的宝贵反馈启发，我进行了额外的分析，揭示了引人入胜的见解

一个关键发现出现在比较 DeepSeek-V3 和 Qwen2.5-72B-Instruct 时：尽管两个模型都达到了 77.93% 的相同准确率，但它们的响应模式却大相径庭。尽管总体性能匹配，但它们在 101 个问题上给出了不同的答案！此外，它们共享了 45 个错误响应，这与它们各自的错误是分开的。

对未回答问题的分析也产生了同样有趣的结果：在顶级本地模型（Athene-V2-Chat、DeepSeek-V3、Qwen2.5-72B-Instruct 和 QwQ-32B-Preview）中，410 个问题中只有 30 个（7.32%）所有模型都给出了错误答案。当将分析范围扩大到包括 Claude 和 GPT-4 时，所有模型都未能解决的问题数量下降到 23 个（5.61%）。

这证明 MMLU-Pro CS 基准测试没有 78% 的软上限。如果存在上限，那它应该在 95% 左右，这证实了该基准测试现在和可预见的未来仍然是评估 LLM 的一个稳健有效的工具。

---

🆕 更新 2025-01-05：分析了所有未解决问题的结果

在分析了我测试模型中所有未解决问题的结果后，只有 410 个问题中的 10 个（2.44%）仍未解决。

这表明 MMLU-Pro CS 基准测试保持了较高的上限，并且仍然是评估高级语言模型的宝贵工具。

---

Wolfram Ravenwolf 是一名德国人工智能工程师，也是一名活跃于国际的顾问和知名研究员，他对本地语言模型尤其充满热情。您可以在X和Bluesky上关注他，在 HF 和Reddit上阅读他之前的 LLM 测试和比较，在Hugging Face上查看他的模型，在Ko-fi上给他打赏，或者预约他的咨询服务。