为什么重要
MMLU-Pro 是 MMLU 的重大升级——各家模型技术报告（GPT-5、Claude 4、Gemini 2.5、DeepSeek R1、Qwen 2.5）全部在报。被 HuggingFace Open LLM Leaderboard v2 采用为 6 个核心基准之一。
构建方式
- 从 MMLU 中筛选出高质量题目（移除噪声和歧义）
- 由学科专家新增更有挑战性的题目
- 将选项从 4 个扩展到 10 个——随机猜对概率从 25% 降到 10%
- 14 个学科，12,032 道题
任务示例
示例 1（物理）：
“一个电子在匀强磁场中做圆周运动…”（10 个选项，需要精确计算）
示例 2（法律）：
“甲在合同到期前单方终止…”（10 个选项，需要判例法推理）
关键发现
- CoT 提升 20%+：在 MMLU 上 CoT 几乎无提升，但在 MMLU-Pro 上提升巨大——说明 Pro 真正考察推理
- 区分度远好于 MMLU：MMLU 上模型差距 <5%，MMLU-Pro 上差距 >20%
- 被认为是目前”知识+推理”综合评测的最佳基准
- Google Gemini 3 系列领跑：Gemini 3.1 Pro (91.0%) 和 Gemini 3 Pro (89.8%) 占据前二
- MiniMax M2.1 亮眼：作为非一线厂商模型进入 Top 7 (88.0%)，显示知识评测的竞争格局正在扩大
最新进展
- 2026-09-14 补录：Claude Fable 5.1 以 92.4%（Vals AI 独立跑、BenchLM 汇总）成为新的榜首，把 Opus 5 的 91.6% 抬高 0.8pp，也是本榜首次有模型突破 92%。同期 Gemini 3.8 Flash 以 90.2% 入场——注意这是 Flash 档模型（$0.75/$3.75 每百万），却排在 Gemini 3 Pro（90.1%）之前。前八名现在挤在 90.1%–92.4% 的 2.3pp 区间里，且全部来自三个厂商。对区分度的判断维持不变：MMLU-Pro 已经无法分离前沿模型，只还能分离”前沿 vs 非前沿”
- 2026-08-31：Claude Opus 5 以 91.6% 重夺榜首，Claude Fable 5 以 91.5% 紧随，结束了 Gemini 3.1 Pro（91.0%）自 5 月以来的领先。Top 3 差距收窄到 0.6 个百分点，前八名全部挤在 89.6%–91.6% 的 2 个百分点区间内——MMLU-Pro 的区分度已接近评测噪声
- 2026-08-31：聚合源之间存在系统性口径差异，引用时需注明来源。Artificial Analysis 8 月 22 日快照的榜首是 Gemini 3 Pro Preview 89.8%（196 个模型，均值 74.6），而 8 月 26 日另一聚合快照给出 Claude Opus 5 91.6%。两者对新模型的覆盖与评测协议不一致，本文件采用模型覆盖更全的后者，但差异本身说明跨源比分的不可靠性
- 2026-08-31：小模型与非一线厂商持续逼近前沿。Gemini 3.7 Flash（90.1%）与 Gemini 3.5 Flash（89.5%）以远低于旗舰的定价进入 Top 10；Sakana Namazu 以 90.3% 位列第四；开源权重方面 Qwen3.8 Max 88.6%、DeepSeek-V4-Pro-Max 87.5%、Kimi K3 88.0% 均已超过一年前的闭源旗舰
- 2026-08-31：MMLU 与 MMLU-Pro 的差值正成为比绝对值更有信息的指标。同一批模型上，Claude Opus 5 在 MMLU 92.4 / MMLU-Pro 86.2，Claude Fable 5 在 92.0 / 86.6，而 GPT-4.1 从 87.8 掉到 78.2——从 4 选项到 10 选项、从记忆到推理的落差，量化了模型”记住了多少”与”能推多少”
- 2026-05：vals.ai 独立验证排行榜更新，Gemini 3.1 Pro Preview 以 90.99% 领先（5-shot CoT 标准评测）
- 2026-05：Gemini 3 Pro 90.10%、Claude Opus 4.7 89.87%，Top 3 差距仅 1.1%，基准正式进入饱和阶段
- 2026-05：GPT-5.5 在 vals.ai 上仅 88.14%，低于 Google 和 Anthropic 前沿模型
- 2026-05：Kimi K2.6 以 87.57% 进入 Top 8，开源模型持续追赶
- 关键趋势：MMLU-Pro 顶级模型成绩已接近天花板，区分度下降，需转向更难评测
2026-10-24 更新：Vals AI 130 配置全表与「Top 8 挤在 2.28pp 内」
Vals AI 的 MMLU-Pro 榜（2026-09-01 榜期，截至 2026-10-22 共 130 个模型配置）给出了完整前 25 名。把它与本站 8 月记录的旧值并排后，可得三条结论。
① 前八名的极差只有 2.28pp
92.38 → 90.10，八条全部落在 2.28 个百分点内；前十五名（89.11–92.38）极差也只有 3.27pp。作为对照，Epoch 的 GPQA Diamond 榜同期有 293 个配置（比 MMLU-Pro 多一倍以上），发布方仍在密集报告 GPQA Diamond，而 MMLU-Pro 的报告热度已经明显下降——这本身就是”该基准是否还被当作区分度来源”的信号。
Stanford《AI Index 2026》第 2 章给出的表述可以作为外部锚点：截至 2026 年初，Top 15 全部在 87% 以上，头名 Gemini-3.1-Pro 91.16%，头名与第 15 名仅差 4 个百分点出头，并明确将其归入”前沿已趋同”的收敛模式。
② 2.26pp 要花 6.7 倍单价
| 模型 | Vals 分数 | 输入/输出单价 | 延迟 |
|---|---|---|---|
| Claude Fable 5.1 | 92.38% | $10 / $50 | 20.59s |
| Gemini 3.8 Flash | 90.22% | $1.5 / $7.5 | 7.82s |
| Gemini 3.7 Flash | 90.12% | $1.5 / $7.5 | 4.16s |
从 3.7 Flash 到 Fable 5.1 是 2.26pp，价格是 6.7 倍、延迟是 5 倍。在这条 lane 上，MMLU-Pro 已经变成一道”要不要为最后两分付六倍价”的成本题，而不是能力题。
③ Google 系占前八一半，且都在中端价位
Gemini 3.1 Pro Preview（90.99）、3.8 Flash（90.22）、3.7 Flash（90.12）、3 Pro（90.10）四条全部落在 90–91 区间，单价 $1.5–$2 输入。前八里唯一超过 91% 的三条是 Anthropic 的 Fable 5.1 / Opus 5 / Fable 5，代价是 $5–$10 输入。
开源权重方面，Vals 榜上最高的是 Qwen 3.7 Max 89.31%（第 12），Kimi K3 87.97%（第 22）、Qwen 3.8 Max 88.60%。开源距闭源头名仍有 3.07pp。作为对照，同一批 Vals/Epoch 榜上 GPQA Diamond 的开源最佳（Kimi K3 93.5%）距头名（Gemini 4 Argon 96.4%）是 2.9pp——两者量级相近，说明 2026 年秋”开源 vs 闭源”在纯知识类基准上的稳定差距就是 3pp 上下，远小于 Agent / 终端类基准上动辄二十几个点的落差。
待核项
Sakana Namazu 的 90.3% 未出现在 Vals AI 前 25 中，本卡保留该条目但在 frontmatter 内标注了来源待核。若后续确认属实，它应插在 90.99 与 90.22 之间（即第 5 位，把 Namazu 之后的三条各压一位）；若确认为厂商自报，则应移出 topResults 只留正文。