为什么重要
2025 年 9 月 CritPt v1 发布时给出的结果是一盆冷水：最强的 GPT-5（high thinking）在完整挑战上也只解出 5.7%，配上代码与网页工具也只到 12.6%。它证明了一件事：高中竞赛数学和真实物理科研之间，隔着一条当时没有任何模型能跨过去的沟。
它与众不同的地方在题目来源。这不是「从教科书和竞赛题库里挑难题」——全部题目由 60 多位正在一线做研究的物理学家基于自己未发表的课题原创编写，每个问题模拟的是「入门级完整研究项目」，需要多步推理、物理直觉和跨子领域的概念串联。答案格式被刻意设计成防猜且机器可判：浮点数组、符号表达式、Python 函数——想蒙对概率趋近于零，评分也无需人工。
2026 年 10 月 26 日，v2 上线并同周被 Artificial Analysis 纳入 Intelligence Index v5（Science 柱 25% 中占 10%），成为继 Terminal-Bench-Science 之后第二个进入该指数的科研类基准。此时全集头名已经到 83.7%——一年内从个位数到 80+ 的跨度怎么读，是本卡要拆的核心问题（答案：大部分来自「修订 + 工具」两条机制，而不是模型进步，见关键发现）。
构建方式
题目与漏斗
| 环节 | 数量 |
|---|---|
| 参与命制的活跃物理学家 | 60+ 位 / 30 家机构 |
| 物理子领域 | 11 个 |
| 综合研究挑战（v1） | 71 道（70 测试 + 1 示例） |
| 检查点任务（v1 分解） | 190 个 |
| v2 精炼后测试集 | 70 道 |
| 每题平均评审投入 | 40+ 小时 |
题目命制走「领域专家原创 + 多轮复审」。v2 的修订由原作者团队与多学科物理专家协同完成：系统性修正 v1 中的题干歧义、原理偏差与表述笔误——这批错误曾系统性压低模型分数（见关键发现 4）。
评测机制（v2）
- 离线 Linux 沙箱：模型可调用代码执行工具完成数值计算、符号推导与可视化分析，禁止任何联网检索；
- 四维评估：任务得分、token 消耗（区分推理过程 token 与答案生成 token）、单任务美元成本（输入/缓存读写/推理/输出分项）、加权平均解码耗时；
- 数据不公开：仅面向通过资质审核的实验室与机构开放申请，AA 提供独立、免费的评分 API——用可复现性换防污染，是 2026 年私有基准的典型路线。
排行榜：三条 lane（读数前必看）
| lane | 口径 | 头名 | 头部值 |
|---|---|---|---|
| v1 论文（2025-09） | 无工具，论文自评 | GPT-5 (high, code & web) | 12.6%（裸模型 5.7%） |
| v1 AA 独立（2026-10） | 无 agent harness，作者评分服务器 | Muse Wonder Full (Max) | 32.9%（GPT-5.6 Sol 32.3、Opus 5.5 31.7；28/594 模型） |
| v2 AA 独立（2026-10-26） | 离线沙箱 + 代码执行工具 | GPT-6 Astra (High) | 83.7%（本卡 topResults；28/96 模型） |
另有 v2 硬子集（40 题）：AA Intelligence Index v5 实际使用的是这一条——剔除了 7 个前沿模型在 5 次启动尝试中全部解出的 30 道题，只留有区分度的部分。硬子集当前头名 GPT-6 Astra (High) 71.5%（AA 文章表述为 72%，疑为取整），Claude Opus 5.5 (Max) 61%。
关键发现
1. 同一模型从 31.7% 到 77.7%：约 46pp 的增益来自「修订 + 代码工具」，与模型换代无关。 Opus 5.5 在 v1 AA lane（无 harness）是 31.7%，在 v2（带代码执行工具）是 77.7%——同一模型、同一家评分方。这意味着引用 CritPt 的任何数字前必须先报 lane：v1 的「模型不行」与 v2 的「模型行」测的不是同一件事。物理科研推理里「数值计算 + 符号推导」这一半难度，被一个离线 Python 环境直接抹掉了。
2. 档位倒挂：High 83.7% > Medium 83.4% > Max 83.1%。 GPT-6 Astra 三个档位全部进榜且最高档最低。注意 70 题的粒度是 1.43pp，0.6pp 的倒挂在噪声内——但「max 推理对物理科研题没有可测收益」这个方向本身值得记，与 ARC-AGI-1 上曾观察到的最高档反而更低同族。
3. 维护方在主动对抗饱和。 30/70 的题因「7 个前沿模型 5 次全对」被剔出 Index v5 的硬子集——这是继 AIME 2025 满分并列（已饱和判据）之后看到的另一种维护动作：不等基准饱和，先动手删易题。硬子集头名 71.5% vs 全集 83.7% 的 12.2pp 差，就是这轮筛选挖出的难度余量。
4. v1 的错误曾掩盖真实水位。 行业跟踪方对 v1 的评价是「批评者认为原版中的错误掩盖了饱和——v2 的修复让头部模型超过了 80%」。也就是说 v1 的 5.7%→32% 读数里混有数据集自身错误造成的假性低分：修 bug 之后分数大涨。这提醒所有低分基准：先排除题目质量问题，再谈能力缺口。
5. 检查点分解诊断：模型能走单步，走不完全程。 v1 的 190 个检查点任务里，GPT-5 (high) 检查点正确率（带专家提示）20.0%，完整挑战只有 5.7%——分步能力与端到端科研执行之间差约 3.5 倍，与 AgentSWE 的「演示分 70.3 vs 交付分 31.5」是同一形状的另一个切片。
6. 首批评测的头部挤在 5pp 内。 Astra 83.7 / Sol 82.0 / Opus 5.5 77.7——全集头部已接近失去分辨力；真正区分前沿模型的将是 40 题硬子集（71.5% 对 61%，差 10.5pp）。
局限性与展望
- 数据不公开：防污染换走了外部可复现性，独立研究者只能通过 AA 的评分 API 间接验证；
- 「唯一可验证答案」约束 ≠ 完整科研推理：提问、设计实验、识别与理论矛盾的模式——科研里最关键的部分不在评测范围内。一份能解出预定义问题的 AI 是好的计算器，未必是研究合作者；
- 自动评分只查最终答案，不查推理轨迹——一个碰巧对了的错误推导与正确推导同分；
- 70 题粒度 1.43pp：全集前三差 0.6pp 已在噪声内，引用名次必须带「全集/硬子集」标注；
- 四维评估里的成本与速度列 AA 已在逐模型发布，但头部条目的具体成本值尚未进入公开转述，引用前需回 AA 原页核对。
关联基准
- Terminal-Bench-Science：同被 AA Index v5 收录的科研类基准，但测「把科研工作流跑完」（终端执行），CritPt 测「把研究级问题解出」（推理求解）
- SciCode：同属科研问题求解，已被 Index v5 移出、由 CritPt v2 与 Terminal-Bench-Science 替代
- HLE：同为「专家命制防猜题」路线，HLE-Diamond 与 CritPt v2 硬子集分别坐镇 Index v5 的 General 与 Science 柱