跑一次的彩票 · Agent 评测方差分解实验室
那个分数里一半以上是噪声——54% 的方差来自重跑，而不是换配置
🎲
跑一次的彩票：那个分数里，一半以上是噪声
在一篇方法很讲究的 agent 评测里，作者把同一个配置重复跑了 5 次，然后报告：约 54% 的结果方差来自「重复运行」，而不是换配置。 翻成大白话：你跑一次拿到的那个分数，主要反映的是运气。 更麻烦的是主流做法「跑 3 次取平均」——按同样的算术，噪声仍占 28.0%，远谈不上消除。 论文为此付的代价是 432 个配置 × 5 次 × 4 个任务 = 8,640 条主实验轨迹（连同消融共 18,240 条）。 它真正想说的其实是另一句：agent 不是一个模型，是一套可配置的系统—— 给 agent 的信息量比时间预算和模型规模都更重要，而「在提示词里要求它自查」几乎没有用，给一个真正的验证工具才有。
📖 论文值（arXiv:2610.01618 正文 Table 3 / 8 / 9 / 10 / 12 / 22 转录）🧮 本站真算（方差收缩、CI 半宽 √n 缩放、所需 n 反解）⚠️ 教学设定（原文未给数字的定性结论，本站只转录方向、不补数）· 快照日 2026-10-26
这是全文最硬的一句话（摘要原文）：approximately 54% of the outcome variance coming from repeating the same configuration rather than changing it。 正文给的是 ICC = 46.1%（清障碍后的 run，3 个 gap_positive 任务合并、已扣任务均值）， 所以重跑分量 = 1 − 46.1% = 53.9%。 若不把「根本没认真尝试」的 run 剔除，配置只能解释 39.4%——噪声看起来更大。
一根 100% 的方差条 · 拖「重复次数 n」看噪声往哪缩 📖🧮
单因素随机效应模型：一次观测 = 配置效应 + 重跑噪声。对同一 cell 跑 n 次取平均， 噪声方差变成 σ²_within / n，配置分量 一动不动。所以加重复次数只能压噪声，压不掉噪声的绝对存在。
每个 cell 的重复次数 n1 次
是否剔除「未真正尝试」的 run（论文称 hurdle）
n = 1 时的重跑份额
53.9%
配置份额 46.1%
n = 3 时
28.0%
主流「跑 3 次取平均」
n = 5 时（本文做法）
19.0%
本文每个 cell 只跑 5 次
n = 10 时
10.5%
要压到个位数得翻倍再翻倍
n=1 时噪 声占 53.9%，比配置分量还大—— 也就是说，跑一次拿到的那个分数，主要反映的是运气。 n 提到 3，噪声仍占 28.0%；提到 5，仍有 19.0%。 「跑 3 次取平均」这种主流做法，把噪声从「比信号大」降到「约为信号的四成」，远谈不上消除。
同一个 54%，四个任务之间差 43 个百分点 🧮📖
论文合并了 3 个 gap_positive 任务才报出 53.9%。把任务拆开看，重跑份额从 50.3% 到 93.1%—— mmlu-astronomy 上几乎全部是噪声（它的专家模型弱于底座，agent 怎么做都差不多）。
redshift-estimation
配置 36.2%
噪声 63.8%
mmlu-astronomy
噪声 93.1%
promoter-prediction
配置 49.7%
噪声 50.3%
rna-folding
配置 35.2%
噪声 64.8%
Pooled（3 个 gap_positive 任务，已扣任务均值）
配置 46.1%
噪声 53.9%
读数：ICC = σ²_between /(σ²_between + σ²_within)（随机效应单因素 ANOVA，仅取完成数 ≥3 的 cell）。 mmlu-astronomy 是 gap_negative 任务，未参与 pooled 合并。
判据：报出来的组间差值 ÷ 重跑噪声，有没有大于 2🧮
论文自己的效应量口径就是「 组均值极差 ÷ within-cell SD」。n 次取平均后噪声 SD 缩小 √n 倍， 所以有效信噪比 d_eff = d × √n。
两个配置真实相差 d（以 within-cell SD 为单位）0.50 σ
每个配置重复 n 次1 次
有效信噪比 d_eff = d × √n
0.50
< 2：信号压不过噪声
n 次下能被识别的最小真实差距
2.00 σ
d_eff = 2 反解
要把 d = 0.50σ 报成可信，至少需要
16 次
d_eff ≥ 2 反解 n
这就是「跑一次就发榜」的问题所在：n=1 时，只有真实差距 ≥ 2.00σ 的配置对才配被报道； 而论文实测的五轴效应量里，只有 Information 在 promoter 上达到 1.925σ， 其余四轴全部在 0.08–1.25σ 之间——单跑一次，这些差异根本不可能被看见。
本文为这句话付出的代价📖
每任务 cell 数
432
4 Information × 3 Reasoning × 4 Verification × 3 Budget × 3 Model = 432 cells/任务
每任务 run 数
2,160
432 cells × 5 次重复
主实验轨迹
8,640
4 个任务
发布轨迹总数
18,240
含 4 组消融
完成率：4 个任务全部 run 中 80.7% 完 成、19.3% 因预算耗尽未提交。 逐 cell 的完成率在各任务上都从 0% 到 100% 不等——也就是说「跑 5 次」常常只能拿到 3–4 条有效结果。
局限 · 这是「测量对什么敏感」的方法学主张，不是模型能力排名
- 只有 4 个任务、2 个科学域；单任务的波动就能改结论（逐任务重跑份额从 50.3% 到 93.1%）。
- 这是「测量对什么敏感」的方法学主张，不是模型能力排名——全文没有给出任何模型的胜负结论。
- 只在一类编码 agent 框架上验证过；memory、多 agent 协作等系统组件未被纳入变异。
- 仓库当时只放出轨迹数据集（18,240 条），完整代码与基准标注「即将放出」。
- 逐 cell 的完成完成数只有 0–5 条，且各 cell 完成率从 0% 到 100% 不等——ICC 估计本身就不稳定。
一手源
Agents Are Systems, Not Models: Rethinking Agentic Evaluation
Luis Wiedmann 等（TUM / Inria / Helmholtz Munich 等） · arXiv preprint · [v1] 2026-10-01
轨迹构成（Table 4）：主实验（3 个 Qwen3.5 模型） 8,640 · Step-3.7-Flash（无 act-only） 1,920 · Claude Sonnet 5 2,880 · Oracle · Qwen-122B 2,880 · Oracle · Step-3.7-Flash 1,920，合计 18,240 条。
回源记录：标题已与 abs 页
citation_title 逐字比对； 54% / 46.1% / 39.4% / 四个任务的 ICC 与 CI 半宽、Table 9 的 12 格 R² 与障碍失败率、 Table 12 的 oracle 消融、Table 22 的 gap_negative 数据，均从 arxiv.org/html/2610.01618v1 正文与表格转录，未取二手解读。原文 没有的数字（Fig 4 验证行为分类的百分比、Model × Budget 的数值、CI 公式的具体自由度）一律留白或标 ⚠️，本站不补数。未调用任何模型。方差收缩、CI 半宽 √n 缩放、所需重复次数反解是 🧮 浏览器内真算； 超出论文 n=5 的部分属于外推，UI 内已标注； Model × Budget 的方向性结论是 ⚠️ 定性转录。