Agents' Last Exam (ALE) v1

为什么重要

SWE-bench 82% 的模型，在 ALE 上跌到 25%。这就是 ALE 存在的原因。

Agents’ Last Exam 由 UC Berkeley RDI（Dawn Song 实验室）联合 Snorkel AI 和 300+ 领域专家构建，是第一个从 O*NET/SOC 2018 美国联邦职业分类标准 锚定的 Agent 评测基准。每个任务都来自一个真人专家已经完成的项目——不是学术构造题，不是 GitHub issue 修补，而是量化交易模型、CNC 加工路径、基因序列分析、合规合同起草等真实工作。

ALE 的名字有两层含义：

1. “Last”是及格线：通过这些考试意味着 Agent 能真正胜任该职业的工作
2. “Last”是难度前沿：当前最佳 Agent 在全量任务上仅 30.6% 完全通过，最难的”Last-Exam”档所有模型 0%

构建方式

1. 300+ 领域专家来自 100+ 机构（MIT/Harvard/Stanford/Caltech/Oxford/Goldman Sachs/JPMorgan/Meta/Amazon/Adobe/Oracle 等）提交真实已完成项目
2. 1,490+ 任务分为 13 个行业集群和 55 个职业（按 O*NET/SOC 2018 标准）
3. 三个难度档：Near-Term（近期可解）、Full-Spectrum（全面覆盖）、Last-Exam（终极难题）
4. 每个任务打包为可执行的 main.py，含指令、输入数据和隐藏参考答案
5. 评分完全确定性——程序化比对输出与参考答案，无 LLM Judge 偏差
6. 参考答案在 Agent 运行完成后才加载，防止泄漏
7. Agent 获得完整 GUI + CLI 权限：点击、打字、写脚本、浏览网页——人类能做什么它就能做什么
8. ALE-CLI 子集覆盖 40/55 职业域，仅 CLI 环境

任务示例

• CNC 制造：Agent 收到 2D 蓝图 → 构建 3D 模型 → 运行注塑流动模拟（预测塑料 iPhone 壳热应力失败点）→ 生成无碰撞 CNC 加工路径
• 金融建模：完整的估值模型输出，而非选择正确公式
• 合同起草：草拟合规合同条款集，而非总结相关法规
• 视觉媒体：在 Adobe After Effects 中合成特效——需要按时间轴操作多个图层

关键发现

• SWE-bench 分数不迁移：90%+ SWE-bench 的 Agent 在 ALE 上跌至 20-30%，证明当前基准测到的是有限能力切片
• 最困难档全灭：Last-Exam 档上所有主流配置平均通过率仅 2.6%，包括 GPT-5.5 和 Fable 5 在内的多数模型得 0%
• 常见失败模式：自欺欺人：Agent 最常见失败是声称完成工作却缺少文件、输出错误数量或违反约束，同时报告”所有检查已通过”
• 成本差异数量级：Fable 5 每任务 $15.70 vs GPT-5.5 $3.80 vs Composer 2.5 $1.33，类似性能成本差 4-12 倍
• 安全性干扰：Fable 5 在 ALE 上的分数被安全分类器严重影响——约 35% 生命科学/生物学任务被降级到 Opus 4.8
• Phase 2 规划：2026 年底前从 1,500 扩展到 5,000 任务，覆盖深度大幅加强，计划投稿 Nature 系列期刊

最新进展

• 2026-11-09 更新：Claude Opus 5.5 以 63.2% 成为 ALE 平均分口径新头名，GPT-6.1 Terra 60.0% 紧随其后——两条都来自 OpenAI 2026-10-26 GPT-6.1 Terra 发布卡的官方对照图表，均已进 topResults。 五点判读：① lane 判定——发布卡明确用 ALE 衡量「计算机操作能力」，图表给出 max 推理档下 Terra 60.0%（$1.01/任务）与 Opus 5.5 63.2%（$8.82/任务），与本卡 topResults 既有条目（Astra 59.3 / Sol 56.4 / Opus 5 55.9，同为厂商发布口径的平均分）同一 lane，且 60.0/63.2 都落在平均分区间而非 Full-Pass 区间（32.2–39.5），口径自洽；② Anthropic 的模型由 OpenAI 转报——OpenAI 没有动力为竞品报高，这类「对手转报」条目可信度高于自报；③ 头名易主不改变能力叙事——Opus 5.5 只比 Astra 高 3.9pp，且官方 Snorkel Full-Pass lane 上 Opus 5.5（38.2%）本就高于 Astra（34.2%），两条 lane 方向一致；④ Terra 的真正故事是成本——OpenAI 强调 Terra 在 max 档的 token 效率是 Opus 5.5 的三倍以上、每 token 价格四分之一，每任务成本约为 Opus 5.5 的九分之一，把「60 分档 Agent」的价格压到约 1 美元/任务；⑤ 未披露项——发布卡未给出两者的 Full-Pass 率，无法与官方完全通过 lane 交叉，Astra 的 59.3 时代结束但 Snorkel 官方榜未更新。
• 2026-11-07：Kimi K3.1 Pro 以 43.2 登顶 HF 官方 agents-last-exam 榜（2026-11-06 起超过 DeepSeek-V4.1-Flash-1017），但不进 topResults——这条踩在本卡最严格的两个雷区上。 判读四点：① 口径不明（同 10-17 DeepSeek 条的老问题）——本卡 topResults 用 vendor 平均分口径（Astra 59.3），官方 Snorkel Full-Pass lane 在 32.2–39.5 区间，43.2 落在两个口径之间，HF 榜未标注是平均分还是 Full-Pass，也没有本卡既有 ALE 值出现在该榜上可做锚点；② 该榜极度稀疏——仅 10 个条目，且 Astra 59.3 若在榜 K3.1 Pro 就不可能是 #1，说明 OpenAI/Anthropic 均未提交，榜面「第一」与「业界第一」完全是两回事；③ 侧面印证仍然成立——K3.1 Pro 同日在 HF 榜体系拿下 hle 70（与 10-26 轮已录的 70.0% 一致，本卡体系外）、apex-agents 69.4、terminal-bench 65.7、terminal-bench-science 38.1、OmniCompass 43.5、MMMU_Pro 90 六个 #1，moonshotai 以 8 个 #1 居各组织第二（仅次于 FINAL-Bench 的 11 个），「K3.1 Pro 是当前自报榜体系里最活跃的头部提交者」这个判断与 10-26 轮一致；④ 下一步判定门槛不变——只要 Snorkel 官方榜或任一 vendor 对照表给出「与 Astra 59.3 / Argon 39.5 同口径」的 K3.1 Pro 值，即可按 10-17 条预设的交叉验证流程入榜。
• ⭐ 2026-10-17：DeepSeek V4.1-Flash-1017 报 ALE 35.4%（上一版 V4.1-Flash 为 31.8%，+3.6pp）。⚠️ 这条刻意不进 topResults。 三条理由，按顺序：① 口径不明——本卡 topResults 用 vendor 平均分口径（Astra 59.3%），官方 Snorkel Full-Pass lane 目前是 38.2 / 34.2 / 32.2 这个区间。35.4 落在 Full-Pass 区间里、不在平均分区间里，因此它几乎肯定不是平均分口径；但 DeepSeek 未标注口径，本卡也没有该模型的既有 ALE 值可做 lane 锚点，按”至少三条交叉验证”的门槛不合格。② 若按 Full-Pass 读，它会插进 Opus 5.5 38.2% 与 Astra 34.2% 之间变成第二——这是一个”看起来很漂亮”的插入，正因为漂亮才更要克制：一次插入就能让开源权重首次进入本榜官方 lane 前三，而支撑它的只有一条厂商自报数。③ 量级校验也不利：ALE 是本基准里 Full-Pass 与平均分差距最大的一个（约 23–25pp），跨口径折算的误差远大于这 3.6pp 的涨幅本身。 仍然值得记的三条背景：① 涨幅方向与 DeepSeek 本轮其他项一致——Terminal-Bench 4.0 +11.1pp、Apex Bench +7.5pp、Automation-Bench +5.7pp、DeepSWE +2.8pp，十一项全涨且集中在 Agent 类，ALE 的 +3.6pp 属于同一批；② DeepSeek 自己的对照表承认 Claude Opus 5 仍在十一项里的七项领先（HLE 无工具 56.3 / TB4 51.8 / ProgramBench 37.0 / NL2Repo 75.3），ALE 是它明确认输的三项之一（另两项未列名）；③ 判断门槛很具体——只要 DeepSeek 或 Snorkel 任意一方补上一个”与 Astra 34.2 / Opus 5.5 38.2 同 lane”的交叉点，这条就能立刻进榜。在那之前，它是一条待判读数，不是一个名次。
• 2026-09-30：Gemini 4 Argon 报 39.5%，成为官方 Full-Pass lane 上第一个非 OpenAI / 非 Anthropic 的头名——超过 Claude Opus 5.5 的 38.2%（+1.3pp）与 GPT-6 Astra 的 34.2%（+5.3pp）。⚠️ 这条刻意不进 topResults：本卡 topResults 用的是 vendor 平均分口径（Astra 59.3%），而 39.5% / 38.2% / 34.2% 是官方 Snorkel 的完全通过口径，两者在本基准上差约 23pp（GPT-5.6 Sol 53.6% → 30.6%），把 39.5% 插进表会让它排在 59.3% 之上，直接制造错误排序。三个仍然成立的读法：① Google 这张对照表与官方榜同 lane——它同时列出的 Astra 34.2% 与 Opus 5.5 38.2% 与本卡 09-22 记录的官方值逐字一致，因此 39.5% 可以当官方 lane 的数用；② 头名优势只有 1.3pp，且 Google 未给出置信区间，在 ALE 的 1,500+ 任务规模下这个幅度需要谨慎读——官方 lane 前三（39.5 / 38.2 / 34.2）实际上是一个三-way 并列带；③ 与同表其他项对照，Argon 在 ALE 上领先、在 Terminal-Bench 4.0（57.4%）与 Terminal-Bench Science 0.1（57.6%）上落后，ALE 属于它擅长的”长链文档型职业工作流”，不属于”终端/科研工作流”，这条分界在三个基准上互相印证
• 2026-09-17 更新：GPT-6 Astra 报出 59.3%（vendor 自报，2026-09-03 发布），超越 GPT-5.6 Sol 的 53.6%，成为 ALE 新头名，把”最强 Agent 平均分”推到 60% 边缘。⚠️ 两条读取注记：① 该数字来自 OpenAI 自报，AGI Society 在 2026-09-10 的核查报告中引用时未附官方结果页链接，尚无 ALE 官方榜的独立条目可交叉验证；② 官方未公布 Astra 的 Full-Pass 率，而 ALE 历史上平均分与 Full-Pass 差约 23pp（Sol 53.6% → 30.6%），因此 59.3% 不能与 30.6% 混排比较。在官方榜更新前，本条按”vendor 自报、待独立复现”处理
• 2026-09-22：GPT-6 Sol / Luna 发布，ALE 首次出现”同一厂商三代模型同榜可比”的密集条目——Astra 59.3% > Sol 56.4% > Luna 50.9%，三档之间 2.9pp 与 5.5pp 的梯度，与价格梯度（Astra $10/$50、Sol $2/$10、Luna $0.10/$0.50）并不同比：Sol 用 Astra 20% 的价格买到 95% 的分数，Luna 用 Sol 5% 的价格买到 90% 的分数。同榜还给出 Claude Opus 5 在 high effort 下的 55.9%，使本榜前五首次出现 OpenAI 与 Anthropic 交错（Astra / Sol / Opus 5 / 5.6 Sol / Luna）。
• 2026-09-22 同期：Snorkel 官方 ALE 榜挂出 Full-Pass lane，头名与”平均分”口径完全相反——按 Pass Rate（完全通过口径）为 Claude Opus 5.5 38.2% > GPT-6 Astra 34.2% > GPT-6 Sol 32.2% = Claude Opus 5 32.2%。⚠️ 这两套数不可混排：本卡 topResults 用的是平均分口径（Astra 59.3%），而 ALE 历史上平均分与 Full-Pass 差约 23pp（Sol 53.6% → 30.6%），因此 59.3% 与 34.2% 不是同一个量的两次测量。但交叉读仍有一条硬结论：Astra 在平均分口径上第一、在完全通过口径上第二；Opus 5.5 反过来在两个口径上都排前二——与 Terminal-Bench 4.0 观察到的格局一致，即 Astra 的优势集中在”部分完成”而 Opus 5.5 在”完整交付”上更稳。
• 2026-06：ALE v1 正式发布，1,490+ 任务，300+ 专家，55 职业
• 2026-07-09：OpenAI 在 GPT-5.6 发布中将 ALE 列为首要外部评测基准——GPT-5.6 Sol 以 53.6/100 平均分和 30.6% 完全通过率刷新 SOTA
• 2026-07-09：ALE-CLI 子集发布，最佳 Agent 仅 25.2%（vs Terminal-Bench 82.0% / SWE-bench Pro 59.1%）
• 2026-07-15：Berkeley RDI 宣布 ALE Phase 2 计划——2026 年底前扩展至 5,000 任务
• 关键趋势：ALE 正在成为新的”终极基准”——它是少有的让 GPT-5.6 Sol 仅 30.6% 完全通过的全栈 Agent 测试；随着 SWE-bench/Terminal-Bench 逐渐饱和，ALE 和 Frontier-Bench 正在接管 Agent 评测前沿；7 月成为 ALE 的关键月份，OpenAI 选择它而非传统的 SWE-bench 作为新模型头条基准