🐺🐦⬛ LLM 比较/测试：Phi-4、Qwen2 VL 72B Instruct、Aya Expanse 32B 在我更新的 MMLU-Pro CS 基准测试中
社区文章 发布于 2025 年 1 月 10 日
引言
我已更新我的 MMLU-Pro 计算机科学 LLM 基准测试结果，其中包含了来自最新测试模型的新数据：三个 Phi-4 变体（微软官方权重，以及 Unsloth 的修复版 HF 和 GGUF 版本）、Qwen2 VL 72B Instruct 和 Aya Expanse 32B。
在添加这些新模型的同时，我通过删除除主模型外所有表现始终优异的 QwQ-32B-Preview 变体，简化了图表。我还纳入了 Claude、gemini-1.5-pro-002 和 Athene-V2-Chat 的第三次评估运行结果，由于 Athene 分数的波动，其排名有所下降。
以下是一个额外的可视化，它将每个模型表示为 3D 条形图，其中高度显示 MMLU 分数（%），深度表示模型参数的十亿数量，对于量化模型，条形图分为一个全彩色前段（与量化大小成比例）和一个浅色后段（显示与全精度（16 位）模型相比的内存节省）。
新测试模型
Phi-4
- Unsloth 修复的 Transformers 实现版在基准测试中性能差异很小，其中 GGUF 版本的准确率略高。需要进一步测试才能确定这种改进是统计学上显著的趋势还是随机变化。
- 温度设置对性能有显著影响：设置为 0 时，响应一致但重复；设置为 1 时，输出变得不稳定且不可预测。
- 与以前的版本相比，德语性能大幅提高。虽然它是一个小型模型，偶尔会导致过于字面的翻译，但德语输出的整体质量足以满足大多数用途。
- 通过基本的提示工程技术可以完全规避审查。
- 仍然不确定 Phi-4 在实际使用中对通用任务的表现如何——但通常建议您如果可以的话，运行一个更大、更好的模型。
Qwen2 VL 72B Instruct
- 鉴于其分数相对较低，并且依赖于较旧的 Qwen2 系列而非更优秀的 2.5 架构，我期待 Qwen2.5 VL 72B 模型的发布。
Aya Expanse 32B
- 虽然这个模型在图表上显示的分数最低，但请记住，我只包含了分数高于 50% 的模型。还有其他更差的模型低于此阈值，根本没有出现在可视化中。
- 它的主要优势是支持 23 种语言，这使其成为当您需要多语言能力且没有更好替代方案时的可靠选择。当然，如果您的目标语言有更好的模型支持，请改用该模型。
关于基准测试
MMLU-Pro 基准测试是对大型语言模型在各个类别（包括计算机科学、数学、物理、化学等）进行的综合评估。它旨在评估模型在广泛学科中理解和应用知识的能力，提供衡量通用智能的可靠标准。虽然它是一个多项选择题测试，但与其前身 MMLU 中的 4 个选项不同，现在每个问题有 10 个选项，这大大降低了偶然答对的概率。此外，其重点越来越倾向于复杂的推理任务，而非纯粹的事实知识。
对于我的基准测试，我目前仅限于计算机科学类别，其中包含 410 个问题。这一务实决定基于几个因素：首先，我特别重视我的日常工作环境中模型的响应，因为我经常在这一背景下使用这些模型。其次，在消费级硬件上运行本地模型存在计算时间上的实际限制——单个运行对于大型模型而言已经需要数小时，而我通常会进行至少两次运行以确保一致性。
与仅报告单一分数的典型基准测试不同，我对每个模型进行多次测试运行以捕捉性能的可变性。这种全面的方法提供了对每个模型真实能力的更准确和细致的理解。通过对每个模型执行至少两次基准测试运行，我建立了对性能水平和一致性的可靠评估。结果显示了标准差的误差条，说明了性能在不同测试运行中的变化情况。
仅本研究的基准测试就耗时超过 103 小时。如果增加更多类别或运行次数，可用资源下的测试时间会变得非常长，以至于在研究完成时，测试的模型可能已经过时。因此，建立实际的框架条件和边界对于在合理的时间范围内获得有意义的结果至关重要。
详细结果
以下是完整的表格，包括先前报告的结果：
| 模型 | HF 主模型名称 | HF 草稿模型名称（推测解码） | 大小 | 格式 | API | GPU | GPU 内存 | 运行 | 时长 | 总计 | % | 正确随机猜测 | 提示词 token | 每秒令牌数 | 完成令牌数 | 每秒令牌数 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| claude-3-5-sonnet-20241022 | - | - | - | - | Anthropic | - | - | 1/3 | 31 分 50 秒 | 340/410 | 82.93% | 694458 | 362.78 | 97438 | 50.90 | |
| claude-3-5-sonnet-20241022 | - | - | - | - | Anthropic | - | - | 2/3 | 31 分 39 秒 | 338/410 | 82.44% | 694458 | 364.82 | 97314 | 51.12 | |
| 🆕 claude-3-5-sonnet-20241022 | - | - | - | - | Anthropic | - | - | 3/3 | 28 分 56 秒 | 337/410 | 82.20% | 867478 | 498.45 | 84785 | 48.72 | |
| gemini-1.5-pro-002 | - | - | - | - | Gemini | - | - | 1/3 | 31 分 7 秒 | 335/410 | 81.71% | 648675 | 346.82 | 78311 | 41.87 | |
| 🆕 gemini-1.5-pro-002 | - | - | - | - | Gemini | - | - | 2/3 | 29 分 52 秒 | 333/410 | 81.22% | 648675 | 361.38 | 77030 | 42.91 | |
| gemini-1.5-pro-002 | - | - | - | - | Gemini | - | - | 3/3 | 30 分 40 秒 | 327/410 | 79.76% | 648675 | 351.73 | 76063 | 41.24 | |
| QwQ-32B-Preview (8.0bpw EXL2, max_tokens=16384) | bartowski/QwQ-32B-Preview-exl2_8_0 | Qwen/Qwen2.5-Coder-0.5B-Instruct | 32B | EXL2 | TabbyAPI | RTX 6000 | 38436MiB | 1/2 | 2 小时 3 分 30 秒 | 325/410 | 79.27% | 0/2, 0.00% | 656716 | 88.58 | 327825 | 44.22 |
| QwQ-32B-Preview (8.0bpw EXL2, max_tokens=16384) | bartowski/QwQ-32B-Preview-exl2_8_0 | Qwen/Qwen2.5-Coder-0.5B-Instruct | 32B | EXL2 | TabbyAPI | RTX 6000 | 38436MiB | 2/2 | 2 小时 3 分 35 秒 | 324/410 | 79.02% | 656716 | 88.52 | 343440 | 46.29 | |
| Athene-V2-Chat (72B, 4.65bpw EXL2, Q4 缓存) | wolfram/Athene-V2-Chat-4.65bpw-h6-exl2 | - | 72B | EXL2 | TabbyAPI | RTX 6000 | 44496MiB | 1/3 | 2 小时 13 分 5 秒 | 326/410 | 79.51% | 656716 | 82.21 | 142256 | 17.81 | |
| Athene-V2-Chat (72B, 4.65bpw EXL2, Q4 缓存) | wolfram/Athene-V2-Chat-4.65bpw-h6-exl2 | - | 72B | EXL2 | TabbyAPI | RTX 6000 | 44496MiB | 2/3 | 2 小时 14 分 53 秒 | 317/410 | 77.32% | 656716 | 81.11 | 143659 | 17.74 | |
| 🆕 Athene-V2-Chat (72B, 4.65bpw EXL2, Q4 缓存) | wolfram/Athene-V2-Chat-4.65bpw-h6-exl2 | - | 72B | EXL2 | TabbyAPI | RTX 6000 | 44496MiB | 3/3 | 1 小时 49 分 40 秒 | 312/410 | 76.10% | 805136 | 122.30 | 115284 | 17.51 | |
| Qwen2.5-72B-Instruct (4.65bpw EXL2, Q4 缓存) | LoneStriker/Qwen2.5-72B-Instruct-4.65bpw-h6-exl2 | - | 72B | EXL2 | TabbyAPI | 2x RTX 3090 | 41150MiB | 1/2 | 3 小时 7 分 58 秒 | 320/410 | 78.05% | 656716 | 58.21 | 139499 | 12.36 | |
| Qwen2.5-72B-Instruct (4.65bpw EXL2, Q4 缓存) | LoneStriker/Qwen2.5-72B-Instruct-4.65bpw-h6-exl2 | - | 72B | EXL2 | TabbyAPI | 2x RTX 3090 | 41150MiB | 2/2 | 3 小时 5 分 19 秒 | 319/410 | 77.80% | 656716 | 59.04 | 138135 | 12.42 | |
| DeepSeek-V3 | deepseek-ai/DeepSeek-V3 | - | 671B | HF | 深度求索 | - | - | 1/4 | 20 分 22 秒 | 320/410 | 78.05% | 628029 | 512.38 | 66807 | 54.50 | |
| DeepSeek-V3 | deepseek-ai/DeepSeek-V3 | - | 671B | HF | 深度求索 | - | - | 2/4 | 27 分 43 秒 | 320/410 | 78.05% | 628029 | 376.59 | 66874 | 40.10 | |
| DeepSeek-V3 | deepseek-ai/DeepSeek-V3 | - | 671B | HF | 深度求索 | - | - | 3/4 | 19 分 45 秒 | 319/410 | 77.80% | 628029 | 528.39 | 64470 | 54.24 | |
| DeepSeek-V3 | deepseek-ai/DeepSeek-V3 | - | 671B | HF | 深度求索 | - | - | 4/4 | 19 分 45 秒 | 319/410 | 77.80% | 628029 | 375.73 | 69531 | 41.60 | |
| gpt-4o-2024-08-06 | - | - | - | - | OpenAI | - | - | 1/2 | 34 分 54 秒 | 320/410 | 78.05% | 1/2, 50.00% | 631448 | 300.79 | 99103 | 47.21 |
| gpt-4o-2024-08-06 | - | - | - | - | OpenAI | - | - | 2/2 | 42 分 41 秒 | 316/410 | 77.07% | 1/3, 33.33% | 631448 | 246.02 | 98466 | 38.36 |
| mistral-large-2407 (123B) | mistralai/Mistral-Large-Instruct-2407 | - | 123B | HF | Mistral | - | - | 1/2 | 40 分 23 秒 | 310/410 | 75.61% | 696798 | 287.13 | 79444 | 32.74 | |
| mistral-large-2407 (123B) | mistralai/Mistral-Large-Instruct-2407 | - | 123B | HF | Mistral | - | - | 2/2 | 46 分 55 秒 | 308/410 | 75.12% | 0/1, 0.00% | 696798 | 247.21 | 75971 | 26.95 |
| Llama-3.1-405B-Instruct-FP8 | meta-llama/Llama-3.1-405B-Instruct-FP8 | - | 405B | HF | IONOS | - | - | 1/2 | 2 小时 5 分 28 秒 | 311/410 | 75.85% | 648580 | 86.11 | 79191 | 10.51 | |
| Llama-3.1-405B-Instruct-FP8 | meta-llama/Llama-3.1-405B-Instruct-FP8 | - | 405B | HF | IONOS | - | - | 2/2 | 2 小时 10 分 19 秒 | 307/410 | 74.88% | 648580 | 82.90 | 79648 | 10.18 | |
| mistral-large-2411 (123B) | mistralai/Mistral-Large-Instruct-2411 | - | 123B | HF | Mistral | - | - | 1/2 | 41 分 46 秒 | 302/410 | 73.66% | 1/3, 33.33% | 696798 | 277.70 | 82028 | 32.69 |
| mistral-large-2411 (123B) | mistralai/Mistral-Large-Instruct-2411 | - | 123B | HF | Mistral | - | - | 2/2 | 32 分 47 秒 | 300/410 | 73.17% | 0/1, 0.00% | 696798 | 353.53 | 77998 | 39.57 |
| chatgpt-4o-latest @ 2024-11-18 | - | - | - | - | OpenAI | - | - | 1/2 | 28 分 17 秒 | 302/410 | 73.66% | 2/4, 50.00% | 631448 | 371.33 | 146558 | 86.18 |
| chatgpt-4o-latest @ 2024-11-18 | - | - | - | - | OpenAI | - | - | 2/2 | 28 分 31 秒 | 298/410 | 72.68% | 2/2, 100.00% | 631448 | 368.19 | 146782 | 85.59 |
| gpt-4o-2024-11-20 | - | - | - | - | OpenAI | - | - | 1/2 | 25 分 35 秒 | 296/410 | 72.20% | 1/7, 14.29% | 631448 | 410.38 | 158694 | 103.14 |
| gpt-4o-2024-11-20 | - | - | - | - | OpenAI | - | - | 2/2 | 26 分 10 秒 | 294/410 | 71.71% | 1/7, 14.29% | 631448 | 400.95 | 160378 | 101.84 |
| Llama-3.3-70B-Instruct (4.0bpw EXL2) | LoneStriker/Llama-3.3-70B-Instruct-4.0bpw-h6-exl2 | - | 70B | EXL2 | TabbyAPI | RTX 6000 | 47148MiB | 1/2 | 2 小时 2 分 33 秒 | 293/410 | 71.46% | 648580 | 88.15 | 87107 | 11.84 | |
| Llama-3.3-70B-Instruct (4.0bpw EXL2) | LoneStriker/Llama-3.3-70B-Instruct-4.0bpw-h6-exl2 | - | 70B | EXL2 | TabbyAPI | RTX 6000 | 47148MiB | 2/2 | 1 小时 33 分 59 秒 | 293/410 | 71.46% | 534360 | 94.70 | 89510 | 15.86 | |
| Llama-3.1-70B-Instruct | meta-llama/Llama-3.1-70B-Instruct | - | 70B | HF | IONOS | - | - | 1/2 | 41 分 12 秒 | 291/410 | 70.98% | 3/12, 25.00% | 648580 | 261.88 | 102559 | 41.41 |
| Llama-3.1-70B-Instruct | meta-llama/Llama-3.1-70B-Instruct | - | 70B | HF | IONOS | - | - | 2/2 | 39 分 48 秒 | 287/410 | 70.00% | 3/14, 21.43% | 648580 | 271.12 | 106644 | 44.58 |
| Llama-3.1-Nemotron-70B-Instruct (4.25bpw EXL2) | bartowski/Llama-3.1-Nemotron-70B-Instruct-HF-exl2_4_25 | - | 70B | EXL2 | TabbyAPI | RTX 6000 | 40104MiB | 1/2 | 2 小时 13 分 3 秒 | 290/410 | 70.73% | 640380 | 80.18 | 157235 | 19.69 | |
| Llama-3.1-Nemotron-70B-Instruct (4.25bpw EXL2) | bartowski/Llama-3.1-Nemotron-70B-Instruct-HF-exl2_4_25 | - | 70B | EXL2 | TabbyAPI | RTX 6000 | 40104MiB | 2/2 | 2 小时 13 分 15 秒 | 287/410 | 70.00% | 0/1, 0.00% | 640380 | 80.07 | 157471 | 19.69 |
| QVQ-72B-Preview (4.65bpw EXL2, max_tokens=16384) | wolfram/QVQ-72B-Preview-4.65bpw-h6-exl2 | Qwen/Qwen2.5-Coder-0.5B-Instruct | 72B | EXL2 | TabbyAPI | RTX 6000 | 46260MiB | 1/2 | 3 小时 43 分 12 秒 | 290/410 | 70.73% | 1/3, 33.33% | 656716 | 49.02 | 441187 | 32.93 |
| QVQ-72B-Preview (4.65bpw EXL2, max_tokens=16384) | wolfram/QVQ-72B-Preview-4.65bpw-h6-exl2 | Qwen/Qwen2.5-Coder-0.5B-Instruct | 72B | EXL2 | TabbyAPI | RTX 6000 | 46260MiB | 2/2 | 3 小时 47 分 29 秒 | 284/410 | 69.27% | 0/2, 0.00% | 656716 | 48.10 | 450363 | 32.99 |
| gemini-1.5-flash-002 | - | - | - | - | Gemini | - | - | 1/2 | 13 分 19 秒 | 288/410 | 70.24% | 1/6, 16.67% | 648675 | 808.52 | 80535 | 100.38 |
| gemini-1.5-flash-002 | - | - | - | - | Gemini | - | - | 2/2 | 22 分 30 秒 | 285/410 | 69.51% | 2/7, 28.57% | 648675 | 479.42 | 80221 | 59.29 |
| Llama-3.2-90B-Vision-Instruct | meta-llama/Llama-3.2-90B-Vision-Instruct | - | 90B | HF | Azure | - | - | 1/2 | 33 分 6 秒 | 289/410 | 70.49% | 4/7, 57.14% | 640380 | 321.96 | 88997 | 44.74 |
| Llama-3.2-90B-Vision-Instruct | meta-llama/Llama-3.2-90B-Vision-Instruct | - | 90B | HF | Azure | - | - | 2/2 | 31 分 31 秒 | 281/410 | 68.54% | 2/5, 40.00% | 640380 | 338.10 | 85381 | 45.08 |
| Qwen2.5-Coder-32B-Instruct (8.0bpw EXL2) | bartowski/Qwen2.5-Coder-32B-Instruct-exl2_8_0 | Qwen/Qwen2.5-Coder-3B-Instruct | 32B | EXL2 | TabbyAPI | RTX 6000 | 45880MiB | 1/7 | 41 分 59 秒 | 289/410 | 70.49% | 656716 | 260.29 | 92126 | 36.51 | |
| Qwen2.5-Coder-32B-Instruct (8.0bpw EXL2) | bartowski/Qwen2.5-Coder-32B-Instruct-exl2_8_0 | Qwen/Qwen2.5-Coder-0.5B-Instruct | 32B | EXL2 | TabbyAPI | RTX 6000 | 40036MiB | 2/7 | 34 分 24 秒 | 286/410 | 69.76% | 656716 | 317.48 | 89487 | 43.26 | |
| Qwen2.5-Coder-32B-Instruct (8.0bpw EXL2) | bartowski/Qwen2.5-Coder-32B-Instruct-exl2_8_0 | Qwen/Qwen2.5-Coder-3B-Instruct | 32B | EXL2 | TabbyAPI | RTX 6000 | 45880MiB | 3/7 | 41 分 27 秒 | 283/410 | 69.02% | 0/1, 0.00% | 656716 | 263.62 | 90349 | 36.27 |
| Qwen2.5-Coder-32B-Instruct (8.0bpw EXL2) | bartowski/Qwen2.5-Coder-32B-Instruct-exl2_8_0 | bartowski/Qwen2.5-Coder-7B-Instruct-exl2_8_0 | 32B | EXL2 | TabbyAPI | RTX 6000 | 43688MiB | 4/7 | 42 分 32 秒 | 283/410 | 69.02% | 0/1, 0.00% | 656716 | 256.77 | 90899 | 35.54 |
| Qwen2.5-Coder-32B-Instruct (8.0bpw EXL2) | bartowski/Qwen2.5-Coder-32B-Instruct-exl2_8_0 | bartowski/Qwen2.5-Coder-7B-Instruct-exl2_8_0 | 32B | EXL2 | TabbyAPI | RTX 6000 | 43688MiB | 5/7 | 44 分 34 秒 | 282/410 | 68.78% | 0/1, 0.00% | 656716 | 245.24 | 96470 | 36.03 |
| Qwen2.5-Coder-32B-Instruct (8.0bpw EXL2) | bartowski/Qwen2.5-Coder-32B-Instruct-exl2_8_0 | - | 32B | EXL2 | TabbyAPI | RTX 6000 | 38620MiB | 6/7 | 1 小时 2 分 8 秒 | 282/410 | 68.78% | 656716 | 175.98 | 92767 | 24.86 | |
| Qwen2.5-Coder-32B-Instruct (8.0bpw EXL2) | bartowski/Qwen2.5-Coder-32B-Instruct-exl2_8_0 | Qwen/Qwen2.5-Coder-0.5B-Instruct | 32B | EXL2 | TabbyAPI | RTX 6000 | 40036MiB | 7/7 | 34 分 56 秒 | 280/410 | 68.29% | 656716 | 312.66 | 91926 | 43.76 | |
| Mistral-Large-Instruct-2411 (123B, 3.0bpw EXL2) | MikeRoz/mistralai_Mistral-Large-Instruct-2411-3.0bpw-h6-exl2 | - | 123B | EXL2 | TabbyAPI | RTX 6000 | 47068MiB | 1/2 | 1 小时 26 分 26 秒 | 284/410 | 69.27% | 1/3, 33.33% | 696798 | 134.23 | 79925 | 15.40 |
| Mistral-Large-Instruct-2411 (123B, 3.0bpw EXL2) | MikeRoz/mistralai_Mistral-Large-Instruct-2411-3.0bpw-h6-exl2 | - | 123B | EXL2 | TabbyAPI | RTX 6000 | 47068MiB | 2/2 | 1 小时 26 分 10 秒 | 275/410 | 67.07% | 0/2, 0.00% | 696798 | 134.67 | 79778 | 15.42 |
| 🆕 Phi-4 (14B, Unsloth, GGUF) | unsloth/phi-4-GGUF | - | 14B | GGUF | llama.cpp | RTX 6000 | 31978MiB | 1/2 | 1 小时 19 分 51 秒 | 278/410 | 67.80% | 1/6, 16.67% | 639591 | 133.40 | 133610 | 27.87 |
| 🆕 Phi-4 (14B, Unsloth, GGUF) | unsloth/phi-4-GGUF | - | 14B | GGUF | llama.cpp | RTX 6000 | 31978MiB | 2/2 | 1 小时 19 分 41 秒 | 278/410 | 67.80% | 1/6, 16.67% | 639591 | 133.67 | 133610 | 27.92 |
| 🆕 Phi-4 (14B, Unsloth, HF) | unsloth/phi-4 | - | 14B | HF | TabbyAPI | RTX 6000 | 1/2 | 1 小时 38 分 29 秒 | 274/410 | 66.83% | 1/3, 33.33% | 635081 | 107.42 | 113731 | 19.24 | |
| 🆕 Phi-4 (14B, Unsloth, HF) | unsloth/phi-4 | - | 14B | HF | TabbyAPI | RTX 6000 | 2/2 | 1 小时 39 分 32 秒 | 273/410 | 66.59% | 1/3, 33.33% | 635081 | 106.29 | 113712 | 19.03 | |
| 🆕 Phi-4 (14B, Microsoft, HF) | microsoft/phi-4 | - | 14B | HF | TabbyAPI | RTX 6000 | 31394MiB | 1/2 | 1 小时 7 分 44 秒 | 272/410 | 66.34% | 1/3, 33.33% | 635081 | 156.15 | 113358 | 27.87 |
| 🆕 Phi-4 (14B, Microsoft, HF) | microsoft/phi-4 | - | 14B | HF | TabbyAPI | RTX 6000 | 31394MiB | 2/2 | 1 小时 7 分 44 秒 | 271/410 | 66.10% | 1/3, 33.33% | 635081 | 156.10 | 113384 | 27.87 |
| Mistral-Large-Instruct-2407 (123B, 2.75bpw EXL2) | turboderp/Mistral-Large-Instruct-2407-123B-exl2_2.75bpw | - | 123B | EXL2 | TabbyAPI | RTX 6000 | 45096MiB | 1/2 | 1 小时 8 分 8 秒 | 271/410 | 66.10% | 696798 | 170.29 | 66670 | 16.29 | |
| Mistral-Large-Instruct-2407 (123B, 2.75bpw EXL2) | turboderp/Mistral-Large-Instruct-2407-123B-exl2_2.75bpw | - | 123B | EXL2 | TabbyAPI | RTX 6000 | 45096MiB | 2/2 | 1 小时 10 分 38 秒 | 268/410 | 65.37% | 1/3, 33.33% | 696798 | 164.23 | 69182 | 16.31 |
| 🆕 Qwen2-VL-72B-Instruct (4.5bpw EXL2) | turboderp/Qwen2-VL-72B-Instruct-exl2_4.5bpw | - | 72B | EXL2 | TabbyAPI | RTX 6000 | 43554MiB | 1/2 | 1 小时 10 分 51 秒 | 255/410 | 62.20% | 30/3, 0.00% | 656716 | 154.36 | 71752 | 16.87 |
| 🆕 Qwen2-VL-72B-Instruct (4.5bpw EXL2) | turboderp/Qwen2-VL-72B-Instruct-exl2_4.5bpw | - | 72B | EXL2 | TabbyAPI | RTX 6000 | 43554MiB | 2/2 | 1 小时 26 分 40 秒 | 255/410 | 62.20% | 1/6, 16.67% | 656716 | 126.20 | 88249 | 16.96 |
| Mistral-Large-Instruct-2411 (123B, 2.75bpw EXL2) | wolfram/Mistral-Large-Instruct-2411-2.75bpw-h6-exl2 | - | 123B | EXL2 | TabbyAPI | RTX 6000 | 45096MiB | 1/2 | 1 小时 11 分 50 秒 | 267/410 | 65.12% | 1/4, 25.00% | 696798 | 161.53 | 70538 | 16.35 |
| Mistral-Large-Instruct-2411 (123B, 2.75bpw EXL2) | wolfram/Mistral-Large-Instruct-2411-2.75bpw-h6-exl2 | - | 123B | EXL2 | TabbyAPI | RTX 6000 | 45096MiB | 2/2 | 1 小时 13 分 50 秒 | 243/410 | 59.27% | 0/4, 0.00% | 696798 | 157.18 | 72718 | 16.40 |
| Falcon3-10B-Instruct | tiiuae/Falcon3-10B-Instruct | - | 10B | HF | Ollama | RTX 6000 | 20906MiB | 1/2 | 35 分 15 秒 | 251/410 | 61.22% | 2/5, 40.00% | 702578 | 331.57 | 75501 | 35.63 |
| Falcon3-10B-Instruct | tiiuae/Falcon3-10B-Instruct | - | 10B | HF | Ollama | RTX 6000 | 20906MiB | 2/2 | 35 分 21 秒 | 251/410 | 61.22% | 2/5, 40.00% | 702578 | 330.66 | 75501 | 35.53 |
| mistral-small-2409 (22B) | mistralai/Mistral-Small-Instruct-2409 | - | 22B | HF | Mistral | - | - | 1/2 | 25 分 3 秒 | 243/410 | 59.27% | 1/4, 25.00% | 696798 | 462.38 | 73212 | 48.58 |
| mistral-small-2409 (22B) | mistralai/Mistral-Small-Instruct-2409 | - | 22B | HF | Mistral | - | - | 2/2 | 20 分 45 秒 | 239/410 | 58.29% | 1/4, 25.00% | 696798 | 558.10 | 76017 | 60.89 |
| 🆕 Aya-Expanse-32B (8.0bpw EXL2) | lucyknada/CohereForAI_aya-expanse-32b-exl2_8.0bpw | - | 32B | EXL2 | TabbyAPI | RTX 6000 | 33686MiB | 1/2 | 43 分 18 秒 | 212/410 | 51.71% | 0/1, 0.00% | 661930 | 254.04 | 60728 | 23.31 |
| 🆕 Aya-Expanse-32B (8.0bpw EXL2) | lucyknada/CohereForAI_aya-expanse-32b-exl2_8.0bpw | - | 32B | EXL2 | TabbyAPI | RTX 6000 | 33686MiB | 2/2 | 42 分 27 秒 | 211/410 | 51.46% | 0/4, 0.00% | 661930 | 259.50 | 59557 | 23.35 |
- 模型：模型名称（含相关参数和设置详情）
- HF 主模型名称：Hugging Face 上列出的被测模型的完整名称
- HF 草稿模型名称（推测解码）：用于推测解码的草稿模型（如果适用）
- 大小：参数数量
- 格式：模型格式类型（HF、EXL2 等）
- API：服务提供商（TabbyAPI 表示本地部署）
- GPU：用于本次基准测试运行的显卡
- GPU 内存：分配给模型和配置的显存
- 运行：基准测试运行序列号
- 持续时间：基准测试总运行时间
- 总计：正确答案数量（决定排名！）
- %：正确答案百分比
- 正确随机猜测：当 MMLU-Pro 无法明确识别模型的答案选项时，它会默认为随机猜测，并报告这些随机猜测的数量及其准确性（高比例的随机猜测表明在遵循响应格式方面存在问题）
- 提示令牌数：输入文本的令牌计数
- 每秒令牌数：每秒处理的令牌数
- 完成令牌数：生成响应的令牌计数
- 每秒令牌数：每秒生成的令牌数
Wolfram Ravenwolf 是一位德国人工智能工程师，也是一位国际活跃的顾问和著名研究员，他对本地语言模型尤其充满热情。您可以在 X 和 Bluesky 上关注他，在 HF 和 Reddit 上阅读他之前的 LLM 测试和比较，在 Hugging Face 上查看他的模型，在 Ko-fi 上给他小费，或者预订他的咨询服务。
