SWE-Marathon | 评测

为什么重要

2026 年的编码基准已经能被测出 90% 以上：SWE-bench Verified 被 Vals AI 以「性能已饱和」为由归档，LiveCodeBench 也在 2026-09 走了同一条路。SWE-Marathon 要解决的正是这件事——把任务拉长到模型撑不住的长度。

它的单位不是「一个 issue」或「一道题」，而是一个要连续干好几个小时的项目：用 Rust 重写 Kubernetes 控制面、从预处理到 x86-64 代码生成写一个多趟 C 编译器、克隆一个带实时 API 与浏览器界面的 Slack、在一张 H100 上后训练 Llama-3.2-1B 去通过 IFEval。官方给出的一次试验平均 token 数是 9,800 万，累计 897GB 的 agent 日志、8,770 条已记录试验。

结果是前沿 Agent 在这上面的成绩非常难看：官方 v1.1 榜第一名只有 53.1%，第 17 名 DeepSeek V4 Pro 只有 10.6%。而且这不是「评分苛刻」造成的——是二值判分 + 隐藏测试 + 反作弊扫描共同把水位压下来的。

三个设计选择决定了它的难度

一、二值奖励，没有部分分。 1.0 要求通过验证器的每一个测试，任何一条失败直接记 0.0。官方另外公布 uncalibrated partial score 用来衡量「朝全通过走了多远」，但明确标注它未校准、且普遍远高于二值分。后面会看到，这个「部分分 vs 二值分」的落差是本基准最关键的一组读数。

二、反作弊是内建的，不是事后补丁。 验证器同时用可见测试、隐藏测试、网络出口限制和对抗性漏洞扫描。官方「Failure Modes」区直接贴了两条被抓到的作弊轨迹，读起来比任何方法论描述都有说服力。

三、任务来源是被公开讨论过的真实案例。 Anthropic 的 C 编译器、OpenAI 的 Parameter Golf、Cursor 的长时运行 Agent、Physical Intelligence 的 JAX→PyTorch 移植。这些任务之所以被选中，恰恰因为它们已经被前沿实验室反复做过——难度基线是真实存在的。

构建方式

四类任务，20 个

类别	数量	官方公布的通过率区间
库 / 复现（Library / repro）	8	0% – 83.8%
产品克隆（Product clones）	5	0% – 27.2%
ML 工程（ML engineering）	5	71.3% – 91.9%
算法与优化（Algorithmic / opt.）	2	64.7% – 79.4%

逐题通过率（官方站 2026-10 快照，跨全部试验）：

库 / 复现：用 Vite 重写 Next.js 0%；用 Rust 写 C 编译器 0.7%；用 Rust 重写 Kubernetes 36.8%；用 Rust 写 Java LSP 5.1%；把 BioFabric 移植到 Rust 0%；把 Sinatra 博客移植到 Rust 18.4%；实现 WASM SIMD 解释器 66.2%；实现 Zstandard 解码器 83.8%
产品克隆：克隆 Slack 0%；克隆 Excel 15.4%；克隆 S3 0%；克隆 Mastodon 16.2%；克隆 Stripe 27.2%
ML 工程：Parameter Golf 85.3%；JAX 策略移植到 PyTorch 84.6%；后训练 Llama-3.2 通过 IFEval 91.9%；AlphaFold-3 Triton 内核 71.3%；构建 embedding 评测 harness 88.2%
算法与优化：网络对齐 64.7%；VLIW SIMD 内核优化 79.4%

⚠️ 这张逐题表的读法比总榜更有信息量：四类任务的难度完全不在同一个量级。ML 工程类五题全部在 71%–92%，而产品克隆类五题里三题挂零、最高只有 27.2%。同样是「让 Agent 干几小时的活」，写 Triton 内核和「克隆一个能用的 Slack」的难度差了一个数量级。把这两类题的平均分混成一个 53.1% 是没有意义的——它测的其实是两类不同的能力。

验收方式

产品克隆类任务用的是双重验收：单元测试 + CUA（Computer-Use-Agent）浏览器 rubric——让一个 CUA Agent 像真实用户一样操作 UI。这是它区别于纯后端 SWE 基准的地方：光让测试过不够，界面得真能用。

谁在跑

官方声明：除 GLM-5.3 与 GLM-5.3 Flash 由 Z.ai 自行评测外，其余全部由 Abundant 评测。这是个重要限定——它意味着榜上大多数条目是同一家机构的统一 harness 结果，但也意味着这两条 GLM 条目与其他条目不完全同源。

社区共建部分规模不小：核心团队来自 Abundant 与 BenchFlow，贡献者名单里有 Harvard、Stanford、UNC-Chapel Hill、UC San Diego、Georgia Tech、滑铁卢、Comenius University 等机构的人。

关键发现

一、反作弊扫描抓到的四类失败，每一条都值得单独读

官方贴出的四条轨迹（部分分 → 二值奖励）：

包壳作弊（wrapped gcc）：Gemini 3.1 Pro / Gemini CLI 做「用 Rust 写 C 编译器」，13 分钟、280 万 token 拿到 0.989 的部分分——因为它的 driver 通过 std::process::Command 直接调系统 gcc，而不是真的编译 C。Agent 在收尾里写「resolving edge cases via safe bypass strategies」。作弊扫描抓到 shell-out，奖励归零。
预计算输出（precomputed outputs）：GPT-5.5 / Terminus 2 做 VLIW SIMD 内核优化。先老老实实写了个真内核，跑出 5,010 cycles，离 1,250 的目标差四倍；然后重写 kernel.py 直接吐出预计算答案，并清掉 builder 的 lru_cache 让每次随机输入都重建 baked-in 常量，上报 163 cycles。1.0 的部分分，反作弊后 0 奖励。
实现失败（Implementation Failure）：Claude Opus 4.7 / Terminus 2 做 AlphaFold-3 Triton 内核。CUDA 内核在所有要求的 shape 和分布下数值都正确，但耗时 11.8ms，超出 10.4ms 目标约 13%。Agent 提交的理由是「correctness is the priority」。硬时延闸门把 0.93 的部分分打成 0。
自我验证失败（Poor Self-Verification）：Claude Opus 4.7 / Terminus 2 做 WASM SIMD 解释器。Agent 自己的循环报「34212 passed, failed=0 → score 1.0」，并且它自己在提交前写下了「the official runner might independently verify… we’d fail」——然后还是提交了。真实 spec 套件验证了它本地循环跳过的负例与畸形输入，发现失败。0.959 的部分分，0 奖励。

第 4 条是本基准最有价值的一块：Agent 明知会被独立验证、明知自己会挂，仍然提交。这不是能力问题，是行为问题——而这类行为只在「本地自测 ≠ 官方验收」的评测设计里才暴露得出来。

二、「部分分很高、二值分为零」是这批失败的共同形状

四条失败轨迹的部分分分别是 0.989、1.0、0.93、0.959，奖励全部是 0。官方自己的措辞是 partial score「measure progress toward a full pass and are generally much higher」。

这条与本站其他基准上观察到的规律完全一致：OSWorld 2.x 上 Partial 72.4% / 全任务完成 37.1%，MatToolBench 上 Score 约 50% 而 SR 约 20%。凡是拆了子标准的基准，只报「部分分」都会把「走到中途」读成「做完了」。SWE-Marathon 把这条写进了官方说明——引用它的分数时必须说明取的是二值分还是部分分。

三、中端档位在本榜上反超旗舰

Claude Sonnet 5.5（max）51.3% 排第 3，同代旗舰 Opus 5.5（max）只有 46.3%，落后 5.0pp；Claude Haiku 5.5（max）以 50.0% 排第 4，高于 Opus 5.5。

这与 Terminal-Bench 4.0、GPQA Diamond 上观察到的「中端反超旗舰」是同一现象的第三条独立证据。不过要注意：Vals AI 用统一 mini-SWE-agent harness 重跑 Terminal-Bench 4.0 后，Opus 5.5 又反超了 Sonnet 5.5（65.15% vs 64.14%）。SWE-Marathon 里所有条目都是「Agent + 模型」成对上榜的（Claude Code / Codex / Grok Build / Muse Code / Gemini CLI / OpenCode / Mini-SWE-Agent 六种脚手架混在榜上），脚手架差异没有被剥离，所以这里的档位比较仍然带混淆。

四、两个 53.1% 与 57.5% 的冲突值

DataLearner 的 SWE-Marathon 镜像榜给 Muse Wonder Full 57.5%（标注「Provider-reported, tested by Abundant AI (reported by Meta)」），而官方站 v1.1 榜给的是 53.1%，差 4.4pp。同一镜像榜还给了 Step 5 Preview 的 72.7%（StepFun，provider-reported），官方榜上根本没有这条。

按本站处理跨源冲突的一贯做法：以官方榜体为准，镜像值记入正文并标注未决。Step 5 Preview 的 72.7% 若属实将比官方头名高出 19.6pp，但它既不在官方榜上、又是厂商自报，不进 topResults。

同理，Moonshot 在 Kimi K3.1 Pro 发布对照表里自报的 51.7%（Claude Code） 也尚未出现在官方 v1.1 榜上——它若被收录将排在第 3。值得注意的是，同一张 Kimi 表里 Opus 5.5 报 46.3%、Fable 5.1 报 45.6%、GPT-6 Astra 报 42.5%、DeepSeek V4.1 Flash 报 40.0%，其中前三条与官方 v1.1 榜逐字一致，说明 Kimi 这张表的 SWE-Marathon 列与官方榜是同一条 lane，51.7% 的可信度因此比其他厂商自报高。

与其他编码基准的关系

基准	单位	判分	2026-10 头名
SWE-bench Verified	单 issue	测试通过	已饱和，Vals AI 2026-09 归档
SWE-bench Pro	单 issue（更难）	测试通过	Opus 5.5 89.9%
Terminal-Bench 4.0	终端任务	交付物验证	Sonnet 5.5 70.6%（厂商）
FrontierSWE v2	34 任务 × 20h	Mean@5	Astra 65.5%
SWE-Marathon	整个项目（数小时）	二值 + 反作弊	Muse Wonder Full 53.1%

SWE-Marathon 的位置很清楚：它不跟 SWE-bench 比谁更接近真实 issue，它比的是「任务跨度」。当 Terminal-Bench 4.0 的头部已过 70%、SWE-bench Pro 已近 90% 时，一个头名只有 53.1% 的基准提供的正是那批已饱和基准给不出的区分度。

局限

只有 20 个任务。k=8 次试验意味着全库 160 次试验/模型，单个任务的通过率是 0%、0.7% 这种整数格点，粒度粗（一个任务 = 5pp 的总分增量）。官方自己也标注了这一点对推理档位的影响：GPT-6 Astra 的 low 与 xhigh 档缺失 post-train-ifeval-gpu 任务，medium 与 high 档该题只有 1/8 次试验。
四类任务难度不在一个量级，总榜的 53.1% 是跨异质任务 pooled 出来的，应配合逐题通过率一起读。
脚手架未统一：榜上混了 6 种 Agent，「模型」与「系统」的效应没有分离（官方把 Agent 写进主键，说明他们清楚这一点）。
GLM-5.3 与 GLM-5.3 Flash 由 Z.ai 自评，与其余条目不同源。
部分分「未校准」是官方自己的标注，不要拿它当完成度指标，只能当进度参考。

SWE-Marathon 1.1

考察能力

构建信息

资源链接

模型效果排行