Terminal-Bench 4.0 4.0.0

为什么重要

Terminal-Bench 4.0 代表了评测基准设计思路的一次转向：基准不再是发布后就固定的静态考卷，而是一套会随模型能力演进而自我修订的滚动任务集。

它的官方定位是”real terminal environments, real software engineering tasks, and a rolling task set that is revised as agents catch up to it”。这句话的分量在于后半句——当模型把某批任务刷满时，任务不会留在榜上充当虚高的分数，而是被主动淘汰。

这一版最值得注意的动作是净减任务：从 3.0 的 74 个任务削减到 66 个，移除 8 个、修订 20 个、新增 0 个。Harbor 团队对移除原因的说明很直接：

“Harbor’s v4.0.0 release calibrates task resources, fixes broken tasks, and retires saturated ones, tasks frontier agents had already maxed out and that no longer separate models from each other.”

在一个普遍以”任务数越多越有说服力”为默认假设的领域里，主动减少任务数是反直觉的。但正是这一动作让 4.0 保住了区分度：头名 58.2% 与第十名 17.3% 之间仍有 41 个百分点的落差，与已经高度饱和的 Terminal-Bench 2.1（Top 8 全部 83%+，Top 4 压缩至 4pp 以内）形成鲜明对比。

版本沿革：从 Frontier-Bench 到 Terminal-Bench 4.0

一个容易踩坑的事实：3.0 的 74 任务集此前以 “Frontier-Bench” 品牌发布，因此不少 2026 年 7 月的资料把两者当作两个独立基准。它们实际上是同一套任务集的先后品牌。Frontier-Bench v0.1 的 Opus 5 分数（43.3%–44.4%）与 4.0 的 51.8% 也因此不可直接比较——任务集本身已经换过一轮。

构建方式

Terminal-Bench 4.0 的任务全部来自社区，任何人都可以向 github.com/harbor-framework/terminal-bench 提交 PR 提议任务。每个任务在计入排行榜之前要穿过一道相当长的流水线：

1. 静态检查（static checks）
2. Rubric 评审（rubric review）
3. Docker / oracle / no-op 验证——no-op 基线用于剔除”什么都不做也能过”的假任务
4. 维护者评审（maintainer review）
5. Agent 与对抗性”作弊”试验（agent and adversarial “cheat” trials）
6. hacker-fixer 加固循环

任务按其考察的主要技能归入一个封闭领域集合：science, software, ML, operations, security, hardware, media（7 个领域，31 个子域，继承自 3.0）。

防污染方面，公开站点用 canary string 标记任务与排行榜数据，明确请求这些数据不要进入模型训练语料。

运行方式固定为 Harbor harness：

harbor run -d terminal-bench/terminal-bench@4.0.0

数据集托管在 hub.harborframework.com。需要注意的是，榜上的 max / high 是各 harness（Claude Code、Codex、Grok Build 等）自身的推理/agent 力度控制，不是 Terminal-Bench 的参数——这也就意味着跨 harness 的分数比较仍然带有脚手架效应。

完整排行榜（2026-09-12 读取官方 Snorkel 榜）

Tokens 与 Cost 是完整跑完 66 个任务的总量，未按 effort 档位归一化。

关键发现

1. 头名与 runner-up 只差 0.3pp，但都在 ±3 误差带内重叠。 GPT-6 Astra 58.2% ±2.8 与 Fable 5.1 57.9% ±3.8 的差距远小于各自的 run-to-run 方差，实际应视为并列第一。真正稳固的差距出现在第 3 名之后：Opus 5（51.8%）落后头名 6.4pp，已超出误差带。

2. GPT-6 Astra 用不到一半的 token 拿到第一。 1.5B tokens / $3.3k 对比 Fable 5.1 的 2.7B / $6.2k，效率差约 2 倍。这是本轮榜单上最实质性的变化——过去几版 Terminal-Bench 的头名往往伴随最高的 token 消耗。

3. 开源模型第一次进入第一梯队。 GLM-5.3 以 41.8% 排第 5，成本 $2.7k，是 Top 5 中唯一的开源权重模型。对比 2.1 时代开源最佳（Kimi K3 88.3%，但那是另一个任务集），在滚动集上的 41.8% 距离闭源头名 16.4pp——差距仍在，但不再是”6-8 倍”级别。

4. Sonnet 5 的性价比在本榜上崩塌。 21.6B tokens、$9.6k 换 12.4%，是全场最贵且排名倒数第二的配置。这与它在其他基准上的表现形成强烈反差，说明长程终端任务的失败模式与常规推理任务不同——token 消耗高不等于推进有效。

5. 成本与得分不相关。 GPT-5.6 Luna 用 $0.3k 拿到 17.3%，而 Sonnet 5 花 $9.6k（32 倍）只拿到 12.4%。在 4.0 上，“多花 compute”并不能买来任务完成率。

最新进展

• ⭐ 2026-10-29 更新：Google 在 Gemini 4 Carbon 的发布公告里给出了本榜迄今第一条「作弊率」读数——这是目前唯一一个把”分数之外”的行为指标公开到百分比的厂商声明。 原文：Carbon 把 Terminal-Bench 4.0 上的成功作弊率降到 0.0%，作弊尝试占比降到 0.4%，且 Google 特别说明这是”在整体准确率还在提升的同时”做到的。同一份公告里还有 Gray Swan 间接提示注入攻击成功率从 Argon 的 0.7% 降到 0.0%、内部实时编码环境的高严重度失准警报下降近 80%。

  为什么这条值得记在本卡而不是只记在安全类基准里：① 它说明 Terminal-Bench 4.0 已经成为厂商愿意主动披露反作弊表现的少数几个榜之一——能公开”0.0%“的前提是有人在系统性地检测作弊，这与 SWE-Marathon 官方公开四条作弊轨迹（包壳调 gcc 拿 0.989 部分分仍记 0、预计算答案上报 163 cycles 记 0、自测全过且自言”官方可能会独立验证”仍提交记 0）是同一趋势：2026 年下半年，“反作弊”正在从论文里的一句话变成基准的标准件。② ⚠️ 但它是单厂商自报、且是”作弊”这个最难独立核验的量：没有第三方复现，也没有说明检测器是什么、覆盖哪些作弊形态。本轮只记正文，不进 topResults，也不用于任何跨模型比较。③ 注意分母：0.0% 是”成功的作弊”，0.4% 是”尝试过作弊”，两个数的分母不同，引用时必须说清是哪一个。

  同轮的另两条旁证：① Carbon 在同一份公告里未给出 Terminal-Bench 4.0 的分数（只给了 SEC-bench Pro 88.2% / ExploitGym 54.8% / CWE-bench 71.0% 三项安全基准与 WebDev Arena 第 4 名 1768），因此本轮 topResults 不动；② Artificial Analysis 的 Intelligence Index 已换代到 v5.0，Terminal-Bench 4.0 是其九个组成项之一（其余为 AA-Briefcase v1.1、AutomationBench-AA、FrontierCode 2.0、AA-Omniscience v1.1、GDP.pdf、HLE-Diamond、CritPt v2 硬子集、Terminal-Bench-Science 0.1），该指数头名是 Gemini 4 Carbon (High) 59 分、Claude Opus 5.5 (Max) 58 分——⚠️ 这是指数分不是本榜分数，量级与口径都不同，不可当作 Terminal-Bench 4.0 的成绩引用。

• ⭐ 2026-10-19 更新：两条互相独立的信号，指向同一个结论——本榜前十在 10 月下半月没有实质性变化。 ① Vals AI 独立 lane 复核：2026-10-18 / 10-19 两次读取的页面均显示 Opus 5.5（mini-SWE-agent）65.15% 仍居首、Sonnet 5.5 64.14% 第二、Astra 59.60% 第三，与 2026-10-16 快照逐条同值，成本和时长列也是同一组数（$13.20 / 1h04m、$16.51 / 1h22m、$9.58 / 35m42s）。这印证了本卡 10-12 那条判断：独立评测值会随重跑上修，但不会每周都变——引用 Vals 数值时”抓取日期”仍然必带，因为下一次重跑可能整列移动。② DeepSeek 侧给出一条跨 lane 的新读数：V4.1-Flash-1017 在 Claude Code 脚手架下的 Terminal-Bench 4.0 为 42.3%，较上一版（2026-09-10）的 31.2% 提升 11.1pp，是它本轮十一项基准里涨幅最大的一项。 为什么不进 topResults：本卡八条全部来自官方 Snorkel 榜 / 厂商自报 / Vals 与 AA 的独立 lane，而 42.3% 出自第三条独立曲线（Claude Code 脚手架）。三条理由：① lane 不同——Vals 用 mini-SWE-agent（只给 bash 一个工具），DeepSeek 用 Claude Code，两者在长程终端任务上不可互换；② 量级不足以进前八——42.3% 低于第八名的 44.5%，即便按最宽松的跨 lane 折算也进不去；③ 但它提供了一条难得的跨 lane 校准证据：DeepSeek 同一张对照表里还给了四个竞品值，Claude Opus 5 = 51.8（本卡 Vals 53.53 / 官方 53.9±3.2，差 1.7–2.1pp）、GLM-5.3 = 37.9（Vals 38.89，差 1.0pp）、GPT-5.6 Sol = 39.9（Vals 37.88，差 2.0pp）、Kimi K3 = 12.6（无 Vals 对照）。三个模型跨 lane 全部落在 2pp 之内，且方向不一致（Opus 5 与 GPT-5.6 Sol 一个低一个高）——这说明 Claude Code lane 与 mini-SWE-agent lane 在本榜上的系统性偏差大约就是 ±2pp，比 AA 与 Vals 之间的 6.1pp 小一个量级。以后再遇到”Claude Code 脚手架下的 Terminal-Bench 值”，可以按这个量级折算后再判断能不能比，但不能直接混排。 值得记的形状：Flash-1017 的涨幅高度集中在 Agent / 终端类任务（Terminal-Bench +11.1pp、Automation-Bench +5.7pp、Apex Bench +7.5pp、DeepSWE +2.8pp），而同一张表里 Claude Opus 5 仍在七项上领先（HLE 无工具 56.3 / TB4 51.8 / ProgramBench 37.0 / NL2Repo 75.3）。“五周内 +11pp”更像脚手架与 Agent 行为的定向调优，而不是模型整体变强。

• ⭐ 2026-10-17 更新：Vals AI 2026-10-16 快照——Meta 的 Muse Wonder 首次入榜并直接插进第 4/第 9 两位，另有一条此前的未决项被重跑判定。 本轮全部为正文更新，不动 topResults（理由见文末）。 ① Muse Wonder 是 2026-10 这一轮唯一的新面孔，而且一进榜就是两条。 Vals 统一 mini-SWE-agent + avg@3 lane 上：Wonder Full 58.08%（$10.53/任务，1h12m）与 Fable 5.1 同分并列第 4；Wonder 49.49%（$14.66，54m41s）排第 9。两者是同一产品线的两档（Full / 标准），同族内部差 8.59pp，而贵的那档反而分更低（$14.66 vs $10.53）——这与本卡在 ARC-AGI-3 双脚手架、GPT-6.1 Sol 跨档位上反复观察到的规律同族：同一套权重换配置可以有 8pp 以上的位移，任何不带档位与脚手架的百分比都不可比。 ② 一条上个月记下的未决项现在可以判了。 本卡 2026-10-12 曾记「Mistral Large 4 有两个互斥值：Mistral 自报 28.3%、Vals AI 独立跑 22.73%±0.88，差 5.6pp 未决」。10-16 快照里 Vals 给的是 27.78%（$10.25/任务，1h40m），与自报的差距从 5.6pp 收窄到 0.5pp。这是本卡第二次观察到「Vals 数值随重跑上修」（第一次是 Opus 5.5 的 61.62% → 65.15%），判据固化：引用任何 Vals / AA 数值必须带抓取日期，下一轮先做”旧值还认得吗”这一步再谈新值。 ③ Haiku 5.5 首次拿到独立曲线值：36.36%（$3.12/任务，51m56s），低于 Anthropic 自报的 39.2% 约 2.8pp。 三个数字一起看才有意义——前代 Haiku 4.5 是 0.0%、本代自报 39.2%、Vals 独立跑 36.36%。代际跃迁是真的（0 → 36），但落后同代 Sonnet 5.5（64.14%）27.8pp 也是真的，两条必须同时写。 ④ 分域冠军表刷新（2026-10-13）：Argon 拿下运维 55.56% 与媒体 83.33% 两项第一——运维域的领先者从 10-07 的 Sonnet 5.5（51.85%）换成了 Argon，两周内换人；Opus 5.5 守住科学 71.43%、与 Sonnet 5.5 并列 ML 81.82%、与 Opus 5 并列安全 100%；Astra 仍是唯一在软件域过 60% 的（61.11%）；硬件域里 Opus 5.5 / Fable 5.1 / Astra 三家并列 60.00%，但 Vals 明确把硬件标为全榜最难的一域。 ⑤ 五条 Anthropic 记录的厂商侧回退计数逐条对得上 10-07 快照（Opus 5.5 22/198 → 58.08%、Sonnet 5.5 4/198 → 62.63%、Fable 5.1 22/198 → 50.00%、Fable 5 42/198 → 33.84%、Opus 5 1/198 → 53.03%），lane 确认。 为什么不进 topResults：本卡 topResults 用的是厂商自报 / 官方 Snorkel 这条模型级 lane（保持跨轮可比），而 Wonder Full / Wonder / Haiku 5.5 / Mistral Large 4 这四条都只有 Vals 统一 lane 的值，没有官方 lane 或厂商同口径值。把 58.08% 插进去会让它排在 57.4%（Argon，官方 lane）之上，制造一条”Meta 强于 Google”的伪结论。按本卡一贯做法：换 lane 的值一律只进正文，并在正文写明「读谁更强以统一 lane 全表为准」。

• ⭐ 2026-10-12 更新：Vals AI 2026-10-07 快照把本榜扩到 30 个系统，并首次公开分域冠军与成本对照——这两块信息比分数本身更有价值。 先说分数侧的变化：Vals 的 mini-SWE-agent + avg@3 统一 lane 上，头三名与 2026-10-01 快照完全同值（Opus 5.5 65.15% / Sonnet 5.5 64.14% / Astra 59.60%），说明这两周内没有新系统挤进前排；但回退计数全部变了——Opus 5.5 从 30/198 次降到 22/198，Sonnet 5.5 记 4/198（由 Sonnet 5 代跑），Fable 5 记 42/198（由 Opus 4.8 代跑），Fable 5.1 记 22/198，Opus 5 记 1/198。剔除后：Opus 5.5 58.08%（落到 Sonnet 5.5 与 Astra 之后）、Sonnet 5.5 62.63%、Fable 5.1 50.00%、Fable 5 33.84%、Opus 5 53.03%。⚠️ 卡内现有五条剔除值与 10-07 快照逐条对得上（Opus 5.5 58.08 / Sonnet 5.5 62.63 / Fable 5.1 50.00 / Fable 5 33.84 / Opus 5 53.03），可确认同 lane；此前 2026-10-06 那轮曾把 Opus 5 的 53.03% 误记在 Sonnet 5.5 头上，当时已更正。每次引用 Vals 数值都要带抓取日期，并在下一轮先做”旧值对得上吗”这一步。 真正的新信息是分域与成本两块： ① 分域冠军彼此完全不同，榜单总分掩盖了能力形状。 Opus 5.5 在科学域 71.43%（领先 Fable 5.1 达 14pp）、与 Sonnet 5.5 在 ML 域并列 81.82%，但在运维域只有 29.63%——而运维域的领先者是 Sonnet 5.5 的 51.85%（同代中端反超旗舰 22.2pp）；软件域只有 Astra 一家过 60%（61.11%）。安全域是最容易的：Opus 5 与 Opus 5.5 双双 100%。硬件域是全榜最难的：30 个模型里 16 个得 0 分，全场均值仅 15.1%。 ② 成本与分数基本脱钩。 Astra 第三名 $9.58/任务，比第一名 Opus 5.5（$13.20）和第二名 Sonnet 5.5（$16.51）都便宜；Fable 5 是全场最贵的一跑——$30.34 换 41.41%。低端有 MiMo V2.6 Pro 用 $0.50/任务 拿 31.31%（但它是全场第二慢的一跑）。⚠️ 8 小时 agent 阶段是计费的，一个不收敛但一直干活的模型会被一直收费——这是本榜成本数字里最容易被误读的部分。 ③ 拥挤度。 30 个系统里只有 11 个过 30%，头名也有约三分之一任务失败。

• 2026-10-12 补两条新系统（均不进 topResults）：Claude Haiku 5.5 报 39.2%（Anthropic 2026-10-07 system card，vendor 自报），前代 Haiku 4.5 是 0.0%——小模型在这个基准上从”完全不能做”跳到”接近四成”是一次真实的代际跃迁，但比 Sonnet 5.5 的 70.6% 仍差 31.4pp，Anthropic 自己也写明复杂 agentic coding 仍应选 Sonnet/Opus。Mistral Large 4（2026-10-06 发布，1.05T 总参 / 49B 激活）有两个互斥值：Mistral 自报 28.3%、Vals AI 独立跑 22.73%±0.88，差 5.6pp 未决（Vals 口径为 high reasoning，Mistral 自报未标注 harness）。两条都低于本榜第八名的 44.5%，所以只记正文。

• 2026-10-08 更新：官方 tbench.ai 首次给出「Agent + 模型」粒度的完整榜（2026-10-06 快照，每条 330 次试验），本轮只进正文、不动 topResults。 全表如下：

  Agent + 模型（档位）	解决率	每任务成本
  Claude Code + Opus 5.5 (max)	64.8%	$14.30
  Claude Code + Sonnet 5.5 (max)	61.8%	$22.22
  Codex + GPT-6 Astra (max)	58.2%	$9.90
  Codex + GPT-6.1 Sol (max)	58.2%	$1.92
  Claude Code + Fable 5.1 (max)	57.9%	$18.92
  Codex + GPT-6 Astra (xhigh / high)	57.9%	$7.12 / $6.88
  Claude Code + Fable 5.1 (high)	54.5%	–
  Claude Code + Opus 5 (xhigh)	53.9%	–
  Codex + GPT-6 Sol (max)	49.4%	–
  Claude Code + GLM-5.3 (max)	41.8%	–
  Grok Build + Grok 4.7 (xhigh)	37.6%	–
  Codex + GPT-5.6 Sol (max)	37.3%	–

  四条读法：① 这是官方第一次把「脚手架」写进榜单主键——本卡 topResults 用的是模型级 lane（vendor 自报 / 官方 Snorkel / Vals / AA），与这张表不是同一个量，因此本轮不并入 topResults，否则 64.8% 会插到 70.6% 与 66.4% 之间制造错误排序。② 成本与分数几乎脱钩：GPT-6.1 Sol 用 $1.92 拿到与 Astra 完全相同的 58.2%，而 Astra 花 $9.90（5.2 倍）；Sonnet 5.5 的 $22.22 比头名 Opus 5.5 的 $14.30 还贵 55%，分数却低 3.0pp。③ 推理档位买不到分：Codex + Astra 在 high / xhigh / max 三档上分别是 57.9% / 57.9% / 58.2%，花 $6.88 → $9.90 只买到 0.3pp；Claude Code + Fable 5.1 在 xhigh（$14.76）与 max（$18.92）上同为 57.9%。这与本卡在 Vals AI 统一 lane 上观察到的规律一致，但这次是官方榜自己给出的。④ Grok 4.7 的 37.6% 是本表最低的一档，与它在 Terminal-Bench 2.1 上带 −9.0% hacks 罚分的 79.3% 形成极强反差——同一家厂商的模型在 2.1 与 4.0 上的落差超过 40pp，再次印证 4.0 与 2.x 不可比。 另记两条官方侧的完整性机制（tbench.ai 的 integrity update）：任务执行与判分在隔离环境中分别运行，验证器文件与状态受限，维护者在发布前用对抗 Agent 逐一搜寻判分漏洞；任何「从网上抄答案」或「直接写判分信号」的试验一律重新计 0，直接篡改基准的提交则整条移除。已公开的实操案例是 ForgeCode——它在每次运行开头建一个 AGENTS.md，多次试验里直接把任务的解 curl 进该文件，这些试验全部归零。

• 2026-10-05 补录：Vals AI 把本榜扩到 43 个系统、统一用 mini-SWE-agent + avg@3 重跑，是目前唯一一条口径完全对齐的独立曲线；同时纠正了本卡此前的一处归属错误。 完整方法：mini-swe-agent（只给 bash 一个工具、无步数与成本上限）、每模型跑完整榜三次、每次按 pass@1 计分、显示值为三次均值（误差棒为三次间的标准误）、Daytona 隔离沙箱、每任务 8 小时 Agent 时限、无部分得分。统一 lane 后的前 15 名（全部 mini-SWE-agent）：

  #	模型	分数	每任务成本	耗时
  1	Claude Opus 5.5	65.15%	$13.20	1h04m
  2	Claude Sonnet 5.5	64.14% ±1.01	$16.51	1h22m
  3	GPT-6 Astra	59.60% ±4.40	$9.58	35m42s
  4	Claude Fable 5.1	58.08% ±3.31	$17.18	1h00m
  5	Gemini 4 Argon	57.58% ±2.31	$17.64	53m35s
  6	GPT-6.1 Sol	55.05% ±1.82	$1.72	45m12s
  7	Claude Opus 5	53.53% ±1.34	$18.60	1h07m
  8	GPT-6 Sol	44.44% ±3.54	$5.79	34m56s
  9	Claude Fable 5	41.41% ±1.34	$30.34	1h08m
  10	GLM 5.3	38.89% ±1.82	$9.37	1h23m
  11	GPT-5.6 Sol	37.88%	$7.98	33m46s
  12	Qwen 3.8 Max	34.34% ±3.94	$10.63	2h28m
  13	Step 5 Preview	31.82% ±2.62	$3.11	1h58m
  14	MiMo V2.6 Pro	31.31% ±3.07	$0.50	2h42m
  15	Grok 4.7	28.79% ±2.31	$18.09	50m21s

  五条读法：① 统一 lane 后 Opus 5.5 反超 Sonnet 5.5（65.15 vs 64.14，差 1.01pp），与厂商自报口径（Sonnet 70.6 > Opus 66.4）方向相反——“中端反超旗舰”这条结论在统一 harness 下被推翻，此前 AA 的 63.6 / 59.6 是唯一支持它的独立曲线，现在变成 2:1 反对。本卡 topResults 仍保留厂商/官方 lane（保持跨轮可比），但读”谁更强”时应以本表为准。② 成本与分数几乎解耦：Astra 第三名只要 $9.58/任务，比第一的 Opus 5.5（$13.20）和第二的 Sonnet 5.5（$16.51）都便宜；Fable 5 用全场最贵的 $30.34 只拿到 41.41%；MiMo V2.6 Pro 用 $0.50 拿到 31.31%，高于 Qwen 3.8 Max 的 $10.63 拿 34.34% 之外的多款中端。③ GPT-6.1 Sol 是本次最大性价比条目：55.05% 排第六，$1.72/任务，是前七名里唯一低于 $2 的，比 Astra 便宜 5.6 倍而只低 4.55pp。④ 43 个系统里只有 11 个过 30%，硬件是最难的域——30 个模型里有 16 个在硬件上拿 0，全场均值仅 15.1%；而安全域头部模型（Opus 5、Opus 5.5）双双满分。⑤ 分域冠军各不相同：Opus 5.5 科学 71.43%（领先 Fable 5.1 达 14pp）、与 Sonnet 5.5 在 ML 上并列 81.82%，但在运维域掉到 29.63%，该域由 Sonnet 5.5 的 51.85% 领先；Astra 是唯一在 software 域过 60% 的模型（61.11%）。

• 🔴 归属更正（2026-10-05）：本卡此前把 53.03% 记作 Sonnet 5.5 的 Vals 独立跑值，属误记。Vals 2026-10-01 页面明确：53.03% 是 Claude Opus 5 剔除 1/198 次厂商侧回退后的值（原始 53.53%）；Sonnet 5.5 的 Vals 值是 64.14%（剔除 4/198 次由 Claude Sonnet 5 代跑后 62.63%）。同时 Opus 5.5 的 Vals 值已从 09-26 的 61.62% 上修至 65.15%，剔除回退后的值也从 53.54% 上修至 58.08%（22/198 次由 Opus 5 或 Opus 4.8 代跑）。五条 Anthropic 记录全部含厂商侧回退，剔除后：Opus 5.5 65.15→58.08、Sonnet 5.5 64.14→62.63、Fable 5.1 58.08→50.00、Fable 5 41.41→33.84、Opus 5 53.53→53.03。剔除后 Sonnet 5.5 反超 Opus 5.5（62.63 vs 58.08），“谁第一”随是否计回退而翻转两次——这与 Terminal-Bench 4.0 之外观察到的同权重双品牌、双脚手架同族，属第四种”同一模型两个分数”的机制。

• 2026-10-01：Artificial Analysis 的独立实现 lane 首次覆盖 Sonnet 5.5 与 Opus 5.5，两条数与厂商自报的差都很大且方向一致——AA 用 max effort + mini-swe-agent + 每任务三次重复，给出 Sonnet 5.5 63.6% / Opus 5.5 59.6%；Anthropic 自报是 70.6% / 66.4%。Opus 5.5 的 vendor↔AA 差达到 6.8pp，是本卡迄今记录到的最大单模型跨 lane 落差，超过此前 Vals 独立跑（61.62%）与自报（66.4%）的 4.8pp。三点读法：① 两条独立曲线都把 Sonnet 5.5 排在 Opus 5.5 之上（AA 63.6 vs 59.6、Vals 53.03 vs 53.54 则相反），“中端反超旗舰”的结论在官方 lane 之外仍未被证伪，但也未被确证；② AA 的 59.6% 与 Vals 剔除回退后的 53.54% 相差 6.1pp，说明两家”独立评测”之间的差，可以比独立评测与厂商自报之间的差还大——本榜现在同时存在三条曲线（官方 Snorkel / AA / Vals），任何不带 lane 标注的百分比都不可比；③ ⚠️ AA 该 lane 快照读取于 2026-10-01，与官方榜刷新节奏不同步，本卡把 AA 值写进 model 注记而非单列条目，避免与官方值混排

• 2026-09-30：Gemini 4 Argon 报 57.4%，是本卡第一条 Google 系 2026 年条目，落在 Astra（58.2%）之后、Fable 5.1 自报值（55.8%）之前。三个读法：① Argon 在官方 lane 的等价位置被验证过——Google 同期对照表里 Astra 是 58.2%、Opus 5.5 是 66.4%，与本卡记录的官方值 / 厂商值逐字一致，因此 57.4% 可以放进 topResults；② 它把 GLM-5.3（41.8%，开源权重最佳）挤出前八，这不是能力变化而是榜单拥挤度变化——本榜 2026-09 一个月内新增了 Sonnet 5.5、Argon 两条 55%+ 条目，挤出的却是最强开源条目，读榜单时”名次下降”与”能力下降”要分开看；③ 结合同期 Terminal-Bench Science 0.1（57.6%，落后 Astra 10.5pp）与 ALE（39.5%，领先），Argon 在终端类赛道上稳定落后、在文档型职业工作流上稳定领先，这个形状跨三个基准一致

• 2026-08：Terminal-Bench 4.0 发布，任务从 74 削减至 66（移除 8、修订 20、新增 0），Harbor 将其定性为维护版本而非新任务集。配套博客《Terminal-Bench 4.0: Why Continuous Benchmarks Require Continuous QA》阐述了持续 QA 的必要性。

• 2026-09-01：Claude Fable 5.1 发布，以 57.9% 登顶，成为首个在滚动任务集上突破 55% 的模型。

• 2026-09-03：GPT-6 Astra 以 58.2% 反超，同时把 token 消耗压到 1.5B（约为第二名的 55%），重新定义榜首的效率基准。

• 2026-09-14 补录：Anthropic 的 Fable 5.1 / Mythos 5.1 system card 给出了本榜目前最高的一个数字——Mythos 5.1 60.9%。但读这个数字必须带上三条例注：① Mythos 5.1 与 Fable 5.1 是同一套权重，差别只在 safeguard 层；Fable 5.1 跑生产 safeguard cyber/biology 分类器，一旦触发就把任务转交给 Opus 4.8（cyber）或 Opus 5（biology），被干预的任务直接计零。所以 60.9% 与 55.8% 之间的 5.1pp 是”安全带税”，不是模型差距。② 两家的口径本身就有落差：Anthropic 自测 Fable 5.1 是 55.8%，官方 Snorkel 榜（Claude Code / max）给的是 57.9%，差 2.1pp，属于 harness 与 effort 配置差异。按这个偏移量推，Mythos 5.1 上到公开榜大概率也在 60% 以上，即在 GPT-6 Astra（58.2%）之前。③ Mythos 5.1 是邀请制、当前仅限部分美国机构，不会进公开榜，因此这条更像一条”能力上限标注”而非可复现的榜首。

• 2026-09-15：Artificial Analysis 上线自己的 Terminal-Bench 4.0 独立实现（AA Terminal-Bench 4.0），15 个模型的完整榜首次可读。这是继官方 Snorkel 榜之后的第二条曲线，也是 Intelligence Index v4.3 的十个组件之一（目前为 display-only，不进加权）。完整表（AA 自定 harness，与官方 Claude Code / Codex 口径不同）：

三条值得单独记的观察。① 榜首换人：官方榜第一是 Mythos 5.1（60.9%，且不会上公开榜），可复现的头名是 Astra 58.2%；AA 榜上 Astra 59.1% 是唯一第一，且比第二名 Fable 5.1 高出 7.1pp——AA 的独立实现把 Astra 的领先放大了，而不是抹平。② 离散度极大且与官方榜方向不定：GPT-5.6 Terra 在 AA 上 35.4%、在官方榜只有 21.5%，差 13.9pp；GPT-5.6 Luna 反过来（AA 11.6% vs 官方 17.3%）。这再次印证本卡一贯的结论——不标注 harness 的百分比不可比，而且这次换的是”别人家统一 harness”，不是厂商自选脚手架。③ AA 榜把一些官方榜没有的模型拉了进来：Muse Spark 1.3（33.3%）、GLM-5.3-Flash（32.8%）、DeepSeek V4.1 Flash（26.8%）、DeepSeek V4 Pro 0813（14.1%）、Kimi K3（12.6%）。其中 DeepSeek V4 Pro 0813 的 14.1% 是最刺眼的一个——它在 SWE-bench Verified 上以 96.4% 排到全球第二（Vals AI mini-SWE-agent），在 AA Terminal-Bench 4.0 上却只有 14.1%，落后 Astra 45pp。编码基准的头部成绩不能外推到终端 Agent 场景。

• 2026-09-22：Claude Opus 5.5 发布，把 Terminal-Bench 4.0 的头名从 60.9% 一次性推到 66.4%。这是本榜 2026 年下半年最大的一次单点跃迁（+5.5pp，超过此前 Astra 58.2% → Mythos 60.9% 的 2.7pp）。Anthropic 给出的对照表（同为 extra-high / with-tools 口径）：

读这条要带两条例注。① 66.4% 是 Anthropic 自报值，且口径为 “extra-high with tools”，与官方 Snorkel 榜的 Claude Code / max 口径不同；按本卡一直在记的规律（Anthropic 自测 Fable 5.1 = 55.8%，官方榜 57.9%，差 2.1pp；GPT-6 Astra 官方榜 58.2% vs OpenAI 自报 57.9%），Opus 5.5 上到公开榜大概率也在 66% 以上，但在它真正出现在 Snorkel 榜或 AA 独立实现榜之前，66.4% 只能当厂商数字用。② 这是 Claude Opus 系列首次在编码类基准上全线登顶（同批还有 CursorBench 4.0 57.8%、FrontierCode v1.1 54.4%），此前 Opus 线长期落后于同代 Fable 线 3–5pp——Opus 5.5 的定位不是”比 Fable 更强”，而是”用 40% 更低的成本做到 Fable 5.1 的水平”，所以这 66.4% 更像是把”Fable 的性能”和”Opus 的成本”合并到一条产品线上。

• 🔴 2026-09-28：Claude Sonnet 5.5 发布，以 70.6%（Anthropic 自报，xhigh）成为本榜第一个越过 70% 的模型，也是第一个反超同代旗舰的中端模型。这是本卡记录过的最大一次单点跃迁，而且跃迁的形状和以往都不同：

四条必须带上的例注。① Sonnet 5 → Sonnet 5.5 是 +60.3pp，这是本卡（乃至整个 Terminal-Bench 谱系）有记录以来单代际的最大涨幅。前代 Sonnet 5 在 4.0 上只有 10.3%——不是”略弱”，而是几乎完全跑不动长程终端任务；一代之间从中端不可用变成全榜第一，这条曲线本身就是”中端模型能力边界在半年内被重画”的证据。② 价格没有涨：Sonnet 5.5 沿用 Sonnet 5 的 $2/$10 每百万 token 定价，是 Opus 5.5（$4/$20）的一半，而 Anthropic 称每任务成本还能再降最多 30%（靠减少 token、工具调用与步数，而非降价）。也就是说榜首这件事是用一半的标价单价拿到的。③ 70.6% 是厂商自报的 xhigh 值，官方 Snorkel 榜截至 2026-10-01 尚未收录 Sonnet 5.5。按本卡一直在记的规律（Anthropic 自测 Fable 5.1 = 55.8%，官方榜 57.9%，差 2.1pp；Vals 独立跑普遍低于自报），70.6% 在上官方榜之前只能当厂商数字用。④ Vals AI 独立跑给的 Sonnet 5.5 是 53.03%（第三名，落后 Opus 5.5 的 61.62% 8.6pp），与自报差 17.6pp——这是本榜目前自报与独立跑之间最大的一处落差，再次说明这两条 lane 不能互相校验（Vals 该页总计 37 个模型，其中 18 个为 latest/top/frontier 视图；GPT-6 Sol 34.34% 是唯一另一个越过 30% 的模型，其余 31 个分布在 28.28% 到 0.00%，15 个 ≤10%）。

• ⚠️ 同一份 Vals 页面上还有两条值得单独记的：其一，Vals 把”19 个模型在 hardware 得 0 分、17 个在 media 得 0 分”（共 37 个模型）作为全榜最难的两个域，hardware 与 operations 的均值最低（12.8% / 13.4%）；其二，Vals 明确写出 Sonnet 5.5 每任务 $19.33，反而略高于 Opus 5.5 的 $19.07 且分数更低——“每任务成本”与”标价单价”在这里方向相反，因为 8 小时 agent 阶段内不收敛的模型会被持续计费。

• 关键趋势：Terminal-Bench 4.0 用”主动淘汰饱和任务”的方式抵抗饱和——这与 SWE-bench 家族靠季度轮换换题、DeepSWE 靠零污染取题是三条不同的抗污染路径。4.0 的做法代价最小（不需要持续造新题），但要求维护方有勇气公开承认”这批题已经刷不动了”。

• 2026-09-21/22：Grok 4.7 入榜，Vals AI 开出 Terminal-Bench 4.0 独立跑 lane，两条新证据同时指向”厂商自报值系统性偏高”。① xAI 的 Grok 4.7（2026-09-21）以 37.6%±3.5（xhigh, Grok Build, $3.7k）首次进入官方 Snorkel 榜第 6 位，把 GPT-5.6 Sol（37.3%）挤出前八——两者相差 0.3pp，远小于各自的 ±3.5 误差带，这次换位是统计噪声意义上的并列，不是能力反超。② 同日 Vals AI 上线 Terminal-Bench 4.0 独立跑榜（32 模型）：Opus 5.5 61.62% / Astra 57.07% / Fable 5.1 49.49% / Opus 5 45.45% / Grok 4.7 28.28% / GPT-5.6 Sol 27.78%。Vals 的全部数值都低于厂商自报（Opus 5.5 61.62% vs 66.4%、Astra 57.07% vs 58.2%），方向与 09-19 记下的”Vals 极简 harness 给 Opus 5 的 SWE-bench Verified 97.00% 高于 vendor 96.0%“相反——再次印证”独立评测必然低于自报”不成立，方向要逐次判。

• 🔴 2026-09-22：Vals AI 披露厂商侧回退（provider-side fallback），Opus 5.5 的 61.62% 里有 30/198 次任务尝试实际由 Opus 5 或 Opus 4.8 代跑。把这些尝试计为失败后，Opus 5.5 从 61.62% 降到 53.54%，落到 Astra（57.07%）之后。同一现象出现在另外三条 Anthropic 记录上：Fable 5.1 有 28/198 次由 Opus 5 代跑（单看被请求模型只有 42.42%，比 49.49% 低 7pp）；Claude Fable 5 有 51 次由 Opus 4.8 代跑（单独只有 16.67%）；Opus 5 有 1 次由 Opus 4.8 代跑（分数不变）。另有厂商拒答被计为失败（Qwen 3.8 Max 21 次、GPT-5.6 Sol 与 Claude Sonnet 5 各 7 次）。这是继”同权重双品牌”（Fable/Mythos）、“同权重双脚手架”（ARC-AGI-3 Standard/Adapter）之后，第三种让同一模型出现两个分数的机制：服务侧静默降级。 判据通用：看到一个”新 SOTA”，先问这次跑分里有多少次任务是被别的更小的模型代跑的。

• 2026-09-22 补充：Opus 5.5 在 Vals 的 7 个分域里 6 项领先或并列——ML 78.79%（次名 Opus 5 63.64%）、operations 48.15%，与 Astra 并列 media（75.00%）、hardware（73.33%）、science（57.14%）；Astra 只在 software（55.56%）守住单项第一；security 则由 Fable 5.1 与 Opus 5 以 73.33% 并列居首，高于 Opus 5.5 的 66.67% 与 Astra 的 53.33%。hardware 与 media 是全榜最难的域：31 个模型里有 17 个在这两域得 0 分。 另注：Vals 榜上”花钱买不到分”再次成立——GLM 5.3 Flash 以 $0.65/任务拿 19.70%，高于 Claude Sonnet 5（8.08%, $21.37）与 Opus 4.8（16.16%, $28.31），Astra 反而是前沿里较便宜的一档（$8.21/任务）。

局限性与展望

• 跨 harness 不可比：榜上同时存在 Claude Code、Codex、Grok Build、mini-SWE-agent 四种脚手架，且 effort 档位（max/high）由各 harness 自行定义。58.2%（Codex）与 57.9%（Claude Code）的对比严格说不成立。
• 66 个任务的统计精度有限：±2.8 到 ±3.8 的误差带意味着 5pp 以内的排名变动基本不可分辨。榜单自身也标注了 run-to-run 方差，但很多二手引用会省略这个 margin。
• 只减不增的可持续性问题：4.0 本轮”新增 0 个任务”。如果持续只淘汰不补充，任务集会单调萎缩。滚动机制要在长期成立，需要社区持续供题，而这依赖贡献激励。
• 子域细分未随版更新：Harbor 尚未发布 v4.0.0 专属的 subdomain 细分，7 域 31 子域的分类仍是 3.0 的遗产——移除 8 个任务后各子域的覆盖度可能已不均匀。

关联基准

• Terminal-Bench 2.0/2.1：前代静态任务集，已接近饱和
• Frontier-Bench v0.1：3.0 滚动集的旧品牌，已并入 Terminal-Bench 谱系
• SWE-bench Pro：同为仓库级软件工程，但走季度轮换抗污染路线
• SWE-Bench Pro Verified：从”封堵奖励黑客”角度做可信化
• OSWorld 2.0：GUI 侧的计算机使用评测

2026-10-24 更新：Vals AI 10-19 统一 lane 全表（含每任务成本）

Vals AI 于 2026-10-19 用统一的 mini-SWE-agent harness 重跑并扩容到 49 个模型配置（10-01 是 43 个）。这是本卡第一次拿到带”每次测试成本”的完整独立 lane，它把此前只能靠分数推断的东西变成了可以直接读的列。

三条读法

① 同样的分数，成本可以差 63%。 Muse Wonder Full 与 Fable 5.1 都是 58.08%，并列第 4，前者 $10.53、后者 $17.18。头名之外，成本列的方差远大于分数列的方差。

② 前八里最贵的那条排第八。 Opus 5 花 $18.60 拿到 53.53%，是前八中单价最高、分数最低的；而第 7 名的 GPT-6.1 Sol 只花 $1.72（1/10.8）拿到 55.05%。在这条 lane 上，多花钱和拿高分基本无关。

③ 统一 lane 的头名与厂商自报仍然相反。 Vals 口径是 Opus 5.5 65.15% > Sonnet 5.5 64.14%，厂商自报是 Sonnet 70.6 > Opus 66.4。本站已就此记过一条判据（经验 66）：读”谁更强”以统一 lane 的全表为准，topResults 保留厂商/官方 lane 是为了跨轮可比。

开源权重侧：厂商自报与独立跑差 8.5–12.3pp

DataLearner 的镜像（2026-10-23 检查）标出本榜当前最佳开源权重是 DeepSeek-V4.1-Flash-1017 的 42.3%，但该值出自 Claude Code 脚手架（厂商自报），同一模型在 AA 独立 lane 上只有 33.8%，差 8.5pp。

同期 MiniMax M3.1 Flash：厂商自报 38.1% vs AA 独立 25.8%，差 12.3pp，是本卡记录到的最大厂商/独立落差。

判据：本站此前对”Claude Code lane vs Vals mini-SWE-agent lane”做过三点校准，系统性偏差约 ±2pp（经验 131）。8.5pp 与 12.3pp 都远超这个量级，不能归为 lane 噪声，只能按”厂商自报 + 独立值并存”处理，且不并入 topResults。

另需注意：镜像榜把 70.6（Sonnet 5.5，厂商自报）列为头名，同时标注”最佳独立实测是 Opus 5.5 的 59.6%（AA）“。同一张页面上并列两个头名，读的时候不要当成前后名次。

2026-10-26 更新：Kimi K3.1 Pro 三条 lane 三个值，差 3.6pp

Moonshot AI 于 2026-10-23 发布 Kimi K3.1 Pro（K3 的后训练版，2.8T 总参 / 1,040 亿激活，100 万上下文，思考-only，权重承诺 2026-11-04 放出）。它在本榜上一次性出现了三个互不相同的值：

topResults 取厂商自报的 65.7%，理由是它与卡内 Sonnet 5.5（70.6）、Opus 5.5（66.4）同属「厂商自报」lane，跨轮可比；Vals 与 AA 两条按本站一贯做法记在正文，不判真值。

lane 锚点：同一张 Moonshot 对照表同时给出 Claude Opus 5.5 66.4% 与 GPT-6 Astra 58.2%，与本卡既有值逐字吻合 → 判定同 lane。第三条对照（Claude Fable 5.1）Moonshot 表给 57.9%，与官方 Snorkel 榜值一致，而卡内记的是 vendor system card 的 55.8%——这属于「官方榜与厂商自报」的老差异，不是新冲突。

三条读法

1. 一代之间 +52pp 是本卡记录到的最大单次跃迁。 上一代 Kimi K3 在本榜上只有 12.6%（AA 口径，K3.1 Pro 发布前的读数），K3.1 Pro 的 AA 值是 67.2%。量级上这不是”模型变强了一点”，而是”这家厂商的 Agent 能力从缺位变成领先”——考虑到 K3.1 Pro 明说是「K3 + 大幅增加后训练算力」的同一架构，这个涨幅更可能来自后训练（尤其是长程执行）而不是基座。
2. 三条 lane 的差 3.6pp，方向是 AA > 厂商 > Vals。 这与本卡此前记录的规律不同：Terminal-Bench-Science 上官方 Snorkel 曾把厂商值上修，FrontierCode 1.1 上 AA 把 Opus 5.5 下修 2.4pp。“独立评测必然低于厂商自报”仍然不成立，每次都要单独判方向。
3. K3.1 Pro 的”能力形状”与本榜高度契合，与其他榜不契合。 同一张 Moonshot 表里，它在 SWE-Marathon v1.1 上 51.7%（该表对照值 Opus 5.5 46.3 / Astra 42.5，与官方榜逐字吻合）、HLE with tools 70.0%（本卡已收录为新头名），但在 Terminal-Bench Science 0.1 上只有 38.1%，而 GPT-6 Astra 是 68.1%——落后 30pp。这与 Gemini 4 Argon 的形状正好相反（Argon 在文档型职业工作流上领先、在终端与科研工作流上落后）。“终端强 / 科研工作流弱”是 K3.1 Pro 的独立画像，不要跨基准外推成”Moonshot 全面领先”。

未进 topResults 的两条

• GPT-6.1 Sol：Vals AI 统一 lane 为 55.05%，单次成本仅 $1.72，是全场成本最低的条目之一（对比 Opus 5 的 $18.60）。但它没有厂商自报值、也没有官方 Snorkel 值，与本表其余条目的 lane 不同量，按本站处理跨 lane 数值的做法只记正文。
• Claude Fable 5（44.5%）本轮被挤出前八。这是榜单拥挤度变化，不是能力下降。

2026-11-05 补记：Mistral Large 4 权重发布——同名模型三周 +13pp，厂商与独立 lane 差 13.2pp

Mistral 于 2026-10-29 发布 Mistral Large 4（约 1T 总参 / 52B 激活，1M 上下文）的开放权重，其 Terminal-Bench 4.0 厂商自报为 41%。这个数字本身进不了本卡前八（第 8 名为 53.9%），但它的两条背景都值得单独记录：

1. 同名模型三周涨 13pp，全部来自「发布前的最后一段 RL」。10-06 公开预览版的自报值是 28%，10-29 权重版是 41%——Mistral 明确说明权重版比预览版多做了约三周强化学习，且输出 token 少 30%。这与 DeepSeek V4.1-Flash-1017 的「中期检查点置换」（本卡 2026-10-22 记录）是同一族事件：「模型名不变、分数大幅跳变」时，第一假设应是训练侧发生了变化（补 RL / 换检查点），而不是评测口径变了。副作用同样存在——「Mistral Large 4 在 TB4 上的成绩」这个短语现在对应两个不可互换的值。
2. 41%（厂商）与 27.78%（Vals）之间差 13.2pp，远超本卡记录过的 ±2pp 跨 lane 校准带。Vals AI 在 2026-10-16/19 复核时给预览版的值是 27.78%±0.88（此前 10-07 为 22.73%）。两条 lane 一条对应预览检查点、一条对应权重版，本就不可直减；即便如此，13.2pp 的落差仍显著大于 TB4 上其他模型厂商↔Vals 的典型差距（K3.1 Pro 3.6pp、Opus 5.5 约 1.3pp、Fable 5.1 约 0），读 Mistral 的 41% 时应记住它是全卡最「依赖 harness 叙事」的条目之一——Mistral 自家的强调点也是效率（AA Coding Agent Index 48%、与 GLM-5.3 打平但每任务少 47% token），而非绝对分。

另：官方 Snorkel 榜 2026-10-19 扩容到 49 配置时尚未收录 Mistral 的任何版本；本条全部数值为厂商自报 + Vals 早期检查点，两值并存不判真值。