为什么重要
ARC-AGI-2 是 ARC-AGI 的升级版，曾是当前最难的 AI 推理基准之一。它测试纯粹的”流体智力”——在不依赖记忆知识的情况下发现和应用新模式。该基准在 14 个月内从 ~2% 飙升到 97.9%（Confluence Lab, 2026-04），已被视为”接近饱和”。ARC-AGI-3（2026-03 发布）接替其位置，所有前沿模型得分再度回归 <5%。
构建方式
- 手工设计视觉网格变换任务
- 每个任务有 2-3 个示例对（输入→输出）
- 需要从示例中归纳规则并应用到新输入
- v2 引入更复杂的组合规则
任务示例
给定几个颜色网格的输入-输出对，推断变换规则（如旋转、填充、对称、条件替换等），然后将规则应用到测试输入。
2026-10-10 更新：GPT-6.1 Sol 用 1/4 的单题成本贴上 Astra
ARC Prize 在 2026-09-30 公布了 GPT-6.1 Sol 的验证结果：ARC-AGI-2 半私有集 94.2%（max effort，$0.25/题），是本榜第四款也是目前最后一款越过 90% 的成本受限条目。同批公布的还有 ARC-AGI-1 的 98.5%（xhigh，$0.06/题）与 ARC-AGI-3 的 52.7%（Standard harness，$7.6K）/ 96.4%（Provider Adapter，$4.4K）。
值得记的是性价比而不是名次：Astra 的 95.0% 花 $1.12/题，Sol 的 94.2% 花 $0.25/题——0.8pp 的分数差对应约 4.5 倍的成本差。ARC Prize 自己的表述是 Sol 的成绩”与 Astra 的 95.0% 相当，成本低 77%“（按 $1.12→$0.25 算是 78%，差异来自取整口径）。
Sol 在 ARC-AGI-2 上的推理档位阶梯也是一张有用的图：
| 档位 | ARC-AGI-2 |
|---|---|
| Max | 94.2% |
| XHigh | 91.7% |
| High | 91.7% |
| Medium | 86.7% |
| Low | 76.7% |
从 Low 到 Max 有 17.5pp 的跨度，但 XHigh 与 High 完全打平——在 ARC-AGI-2 上多付的推理预算在 xhigh 这一段是没有回报的。这与 ARC-AGI-3 上的观察同型：ARC Prize 提到 Sol 在高档位下”更快想明白怎么绕开障碍”，从而用更少的动作完成关卡（463 步 vs 1078 步），推理档位买的是动作效率，不是每档都买得到正确率。
被本轮挤出前八的是 Gemini 3.1 Pro Deep Think（77.1%），它停留在 2026-02 的旧值，属于榜单拥挤导致的名次下移，不是能力下降。
最新进展
- 2026-09-03：GPT-6 Astra 以 95.0% 登顶 ARC Prize 验证榜（max effort，$1.12/task），是首个在成本受限口径下突破 95% 的模型；同一天 Claude Fable 5.1 报 90.0%（max effort $4.49/task，xhigh $3.12 也能到 90.0%）。Astra 的单题成本只有 Fable 5.1 的四分之一，性价比差距比分数差距更大
- 2026-09：ARC-AGI-2 的”85% 即算解决”门槛已被五款模型越过（Astra 95.0 / Sol 92.5 / Opus 5 90.4 / Fable 5.1 90.0 / Fable 5 89.2），但严格私有集与 Kaggle 开放赛道仍显著更低——成本受限口径的饱和不代表任务本身被解决
- 2026-07-24：Claude Opus 5 在 ARC-AGI-2 达 90.4%（ARC Prize Foundation 半私有评测集、max effort 下独立验证为 90.42%），跻身 Top 3，仅次于 Confluence Lab 非受限栈 (97.9%) 与 GPT-5.6 Sol (92.5%)；Anthropic 以”性价比”定位逼近受限推理 SOTA
- 2026-04：GPT-5.5 以 85.0% 首次触及 ARC-AGI-2 大奖赛门槛（$700K 奖金），是首个公开报告达到 85% 的模型，运行成本约 $1.87/puzzle（远低于早期 o3 的 $15-77）
- 2026-04：GPT-5.4 Pro 以 83.3% 紧随其后，OpenAI 占据 Top 2；Gemini 3.1 Pro 77.1%、Claude Opus 4.7 (Adaptive) 75.8% 组成第二梯队
- 2026-04：BenchLM 排行榜扩展至 11 个模型，Top 4 包含 4 个 reasoning 配置（GPT-5.5/5.4 Pro/Opus 4.7/5.4），Gemini 3.1 Pro 是唯一非 reasoning 但进入 Top 3 的模型
- 2026-04：Confluence Lab research stack（unconstrained）以 97.9% 大幅领先，但属于非受限（unconstrained）提交，不在大奖赛正式评分范围
- 2026-05：presenc.ai Frontier Tracker 确认 GPT-5.5 (85.0%) 锁定大奖赛门槛，Claude Opus 4.7 在官方报告中提升至 81.4%（vs BenchLM 75.8%，口径差异）
- 2026-03-25：ARC-AGI-3 发布，引入交互式评测范式，填补前两代快速饱和留下的空白——所有前沿模型在 ARC-AGI-3 上得分 <5%
- 关键发现：ARC-AGI-2 在 14 个月内从 ~2% 提升至 85%，提升速度极快，背后存在结构性问题：模型可能从训练数据中学到了任务本身
- 2026-06：DeepSeek V4 Reasoning 在 ARC-AGI-2 上达 68.5%（presenc.ai 报告），Qwen 3.5 Max Thinking 61.2%，开源模型与闭源顶级模型差距缩小到 15pp 以内
- 2026-06：ARC Prize Foundation 公布两个里程碑截止日期（6月30日和9月30日），大奖赛决赛即将到来，关注是否有提交以 <$1/puzzle 的成本实现 85%+
- 关键趋势：ARC-AGI-2 已被 GPT-5.5 突破大奖赛门槛，基准有效性受到挑战；ARC-AGI-3 进一步通过”无规则交互世界”将所有模型打回 <5%，AGI 试金石转向第三代交互式设计
- 2026-07-09：GPT-5.6 Sol/Terra/Luna 全面 GA——Sol 在 ARC-AGI-2 达 92.5%（max reasoning），Terra 83.9%，Luna 未单独报告 ARC-AGI-2 数据；Sol 的 92.5% 仅次于 Confluence Lab research stack (97.9%)，是标准化推理模型中的新 SOTA，较 GPT-5.5 (85.0%) 提升 7.5pp——推理预算扩展带来显著增益
- 2026-07-01：Claude Fable 5 全球恢复访问，ARC-AGI-2 达 83.0%，与 GPT-5.4 Pro (83.3%) 几乎平齐，表明 Anthropic 旗舰在抽象推理上与 GPT 系列差距缩小到 0.3pp
- 关键趋势：ARC-AGI-2 Top 3 差距仍大（Confluence 97.9% / Sol 92.5% / GPT-5.5 85.0%），GPT-5.6 Sol 大幅缩短了”受限”与”非受限”之间的差距（从 12.9pp→5.4pp）；但 ARC-AGI-2 本质上仍是视觉网格变换，模型饱和不意味通用推理能力达到人类水平——ARC-AGI-3 将所有模型打回 <5% 是最有力的反证
关键发现
- ARC-AGI-1 已基本宣告解决（Gemini 3.1 Pro 达到 98%）
- ARC-AGI-2 在一年内从 ~2% 提升至 84.6%，饱和速度极快
- 两代基准快速饱和背后存在结构性问题：模型可能从训练数据中学到了任务本身
- 推动第三代交互式设计的诞生——ARC-AGI-3
关联基准
- ARC-AGI：第一版
- FrontierMath：前沿数学推理
- Putnam-AXIOM：数学证明
不足与展望
- 评测集较小（100 题），结果方差大
- 视觉网格范式不代表所有抽象推理
- 但作为 AGI 进展的试金石，价值持久
2026-10-31 更新：90%+ 条目扩到六款，Gemini 4 Argon 入场
ARC Prize 官方结果页（2026-10-31 抓取）新增与补录：
| 模型 | ARC-AGI-2 | 日期 | 备注 |
|---|---|---|---|
| Gemini 4 Argon | 91.3% | 2026-10-13 | high reasoning；详情页最佳 v2 为 91.2%，主表 91.3%，两值并存；v1 98.5%、v3 Provider Adapter 97.5%（low） |
| Claude Opus 5.5 | 93.3% | 2026-09-22 | 补录进 topResults，此前卡内缺失 |
| Claude Sonnet 5.5 | 83.9% | 2026-09-28 | xhigh；与 GPT-5.6 Terra 并列，未进前八 |
| DeepSeek V4.1 Flash 1017 | 78.1% | 2026-10-17 | 开源权重新高：上一代 Flash 为 72.9%（+5.2pp） |
| Muse Spark Open | 57.5% | 2026-10-15 | Meta 开源模型；v1 89.0% |
| ReflectionBeam 1.0 | 23.5% | 2026-10-16 | v1 74.0%，v2 上崩塌 |
判读：
- 成本侧的新信号：Gemini 4 Argon 以 low reasoning 在 v3 Provider Adapter 上拿到 97.5%，官方注明用的是 $2/$10（每百万 token）的入门价——在 ARC-AGI-3 的 PA lane 上，97%+ 已经不需要旗舰级推理预算。
- 开源权重在 v2 上的天花板还在 78%：Flash 1017 的 78.1% 是开源新高，但与闭源头部（93-95%）仍差 15pp 以上；同期 GLM-5.3-Flash 65.8%、Kimi K3 60.4%。
- v1/v2/v3 的分数结构越来越像三条不同的基准：同一款 Argon 在 v1 98.5% / v2 91.3% / v3 PA 97.5%，Muse Spark Open 在 v1 89.0% / v2 57.5% / v3 0.42%——跨版本比较分数前必须先钉住版本号。
- 竞赛 lane 与实验室 lane 已明显分层：ARC Prize 2026 竞赛（Kaggle）头名 TUFA Labs 88.06%（2026-10-09 公布），第二名 Rabbithole 80.56%——竞赛系统允许专门搜索与脚手架，与实验室模型榜不可直比；本卡 topResults 只收实验室模型。
饱和判定维持「接近饱和」：验证榜前六已有五款 ≥90%（Astra 95.0 / Sol 94.2 / Opus 5.5 93.3 / 5.6 Sol 92.5 / Argon 91.3 / Opus 5 与 Fable 5.1 90.0+），但人类基线 100% 尚未被任何实验室模型越过，竞赛 unconstrained 栈的 97.9% 也仍在 100% 之下。