为什么重要
几乎所有 Agent 评测都在报告分数、成本、一致性、鲁棒性——但它们把 Agent 本身当成固定的。实践中 Agent 是一个可配置系统：用户决定告诉它什么、让它跑多久、用哪个模型，而这三个选择每一个都能改变结果，也改变结果的稳定性。
这篇论文（TU Munich / Helmholtz Munich / Inria，2026-10-01 提交）做的事就是把「Agent 的配置」本身当成自变量来测。结论的第一条就足以让所有单次运行的排行榜数字变得可疑：
约 54% 的结果方差来自「重复同一配置」，而不是「改变配置」。
换句话说：跑一次得到的分数，本身不是一个可靠信号。 这条对 2026 年流行的一大批「单次 pass@1 排行榜」是直接的方法论挑战。
为什么选科学任务
很多科学任务依赖领域专家模型（为特定科学领域或任务训练的模型），通用 LLM 无法从自己的知识里替代它们。所以 Agent 不能靠背答案——它必须找到对的模型、准备好输入数据、写代码把它跑起来，三步都能被配置影响。而已发表专家模型的公开分数又提供了一个现成的参照物，可以直接拿来校验 Agent 的产出。
论文举的例子是从星系图像估计红移：微调一个多模态 LLM 去处理星系图像成本极高，但这项任务已经有专门的模型，Agent 完全可以拿去用。
构建方式
四个任务 = 四种失败环节
| 任务 | 领域 | 规模 | 指标 | 专家模型 | 刻意设计的难点 | 体制 |
|---|---|---|---|---|---|---|
| redshift-estimation | 天体物理 | 20 张星系图像 | R² | AstroCLIP | 前处理 | gap_positive |
| mmlu-astronomy | 天体物理 | 152 题 | Accuracy | AstroSage-8B | 模型已过时（Declining） | gap_negative |
| promoter-prediction | 基因组学 | 613 条 DNA 序列 | MCC | DNABERT-2 | 需要微调 | gap_positive |
| rna-folding | 基因组学 | 300 条 RNA 序列 | F₁ | RiNALMo | 后处理 | gap_positive |
mmlu-astronomy 是刻意放进来的反例：它的裸基座分数 0.967 高于专家模型 AstroSage 的参照值 0.671（随机 0.25）。也就是说在这个任务上正确行为是不用专家模型。这一题专门用来看 Agent 会不会质疑一个比自己弱的专家模型——后面会看到，它不会。
三个锚点
每个任务都配三个锚点，分数换算成「补上了多少差距」：
- R（Reference）：专家模型原始论文公布的分数
- B（Backbone）：裸基座模型直接做（不调用专家模型）
- T（Trivial）：平凡解
四个任务的锚点分别是：
| 任务 | R | B | T | 边距 μ |
|---|---|---|---|---|
| redshift-estimation | 0.753 | −2.701 | 0.000 | 0.250 |
| mmlu-astronomy | 0.671 | 0.967 | 0.250 | 0.050 |
| promoter-prediction | 0.746 | −0.030 | 0.000 | 0.100 |
| rna-folding | 0.735 | 0.000 | 0.000 | 0.100 |
redshift-estimation 的裸基座是 −2.701——比平凡解还差一大截。这说明不调专家模型的话，模型会主动做出比「什么都不做」更糟的东西。
五个配置轴
| 轴 | 取值 |
|---|---|
| Information（给多少信息） | none / identity（只说模型名）/ interface（给接口文档）/ protocol（给完整实验方案） |
| Reasoning | 是否生成推理并在步骤间保留 |
| Verification | 多强地要求它自查 |
| Budget（时间预算） | short / medium / long |
| Model（基座） | Qwen3.5-35B-A3B / 122B-A10B / 397B-A17B（均 FP8 量化） |
主实验是这五轴的笛卡尔积：432 个配置 × 5 次重复 × 4 个任务。加上后续消融（Step-3.7-Flash、Claude Sonnet 5、oracle 工具）共 18,240 条轨迹。
关键发现
一、一半以上的方差是噪声，不是配置
- 在「真正做了尝试」的运行里，约 54% 的分数方差来自重复同一配置
- 不排除未过 hurdle 的运行，配置只能解释 39.4% 的方差；只看过 hurdle 的是 46.1%
- 池化的结果一致性 C_out = 0.858，但 redshift-estimation 只有 0.727（重复运行互相矛盾的比例远高于其他任务）
- 每个配置的平均分数即使用 5 次重复，95% 置信区间依然很宽：以 |R − T| 为单位，redshift-estimation 的单格均值 CI 半宽达 85.1%，rna-folding 是 12.8%，promoter-prediction 是 10.7%
⚠️ 最后一条尤其重要：redshift-estimation 上 5 次重复的误差棒宽度接近整个参照区间的 85%。在这个任务上任何单次分数都不构成结论。
二、五个轴里，「给多少信息」影响最大，超过模型规模与时间预算
轴效应（mean rank，1 = 最大）：
| 轴 | 平均排名 | promoter | redshift | rna |
|---|---|---|---|---|
| Information | 1.00 | 1（效应 1.925） | 1（1.452） | 1（1.496） |
| Model | 2.67 | 2（0.704） | 4（0.170） | 2（1.253） |
| Reasoning | 3.00 | 3（0.274） | 3（0.172） | 3（0.302） |
| Budget | 3.33 | 4（0.142） | 2（0.201） | 4（0.255） |
| Verification | 5.00 | 5（0.131） | 5（0.130） | 5（0.077） |
补充证据：偏 η²（主效应模型，控制其他轴后该轴解释的方差占比）在三个任务上分别是 0.413 / 0.296 / 0.260，远高于 Model 的 0.080 / 0.007 / 0.145。bootstrap 1000 次里，Information 在每一个任务上排名第一的比例都是 1.00。
信息量的影响不只是分数：它还同时降低成本、缩短运行时间、改善校准。这是全场唯一一个「改了之后所有指标都变好」的轴。
三、更多时间预算只在「信息够用」或「模型够大」时才有用
- 只有最大的模型从加预算中受益：Qwen-35B 从 short 到 long 的 G 变化是 −0.067 [−0.093, −0.039]（中位数 −0.137），Qwen-122B 是 −0.030 [−0.053, −0.010]，Qwen-397B 是 +0.025 [0.000, +0.047]
- 用 matched configurations（只在所有预算档都至少完成一次运行的配置间比）结论不变：−0.045 / −0.021 / +0.036
- redshift-estimation 上的逐格对照最清楚：信息为 none 时，加预算让分数从 −0.429 掉到 −0.713，而 hurdle 失败率几乎不变（89.1% → 92.2%）——论文的解释是「沿着错误路线走得更远」；信息为 interface 时，加预算让分数从 −0.605 升到 −0.380，hurdle 失败率同时下降（76.1% → 65.9%）
- 信息给到 protocol 档时，三个预算档分数全是 0.753（= 参照值 R），hurdle 失败率 0.0%——预算完全没有区别
「加时间」不是无条件的好事。 这在 2026 年「推理预算越高越强」的默认叙事里是个明确的反例。
四、闭源模型对「时间」比「信息」更敏感
Claude Sonnet 5 的轴排名和三个 Qwen 模型不一样：Budget 排第 1（效应 1.589 / 1.878 / 1.796），Information 退到第 2。论文的原话是「the closed model is markedly more sensitive to how long it runs than to how much it is told」。
Sonnet 5 的执行效率也明显更高：pooled 口径下它的工具调用数不到 Qwen-397B 的一半，工具调用错误约为五分之一，校准误差 −0.016（Qwen-397B 是 0.092）。但按列表价它更贵，pooled G 反而更低（0.828 vs 0.870）。
论文给了一句很硬的结论：高效、低错误的执行本身并不带来更好的结果。
五、要求它自查没用，给它一个自查工具才有用
这是论文标题里「Agent 是系统」最具体的一处证据：
- 通过 prompt 要求 Agent 验证自己的答案，对它的验证行为几乎没影响
- 但提供一个专门的
oracle_check工具（可以对着参照解打分），验证行为明显改变
数值上：Qwen-122B 的 pooled G 从基线 0.822 升到 0.923，校准误差从 0.093 降到 0.002；Step-3.7-Flash 从 0.865 升到 0.889，校准误差 0.073 → 0.026。
注意这里不是「工具让分数变高」这么简单——oracle_check 是照着参照解打分的，它本质上是把一部分真值信息交给了 Agent。真正可迁移的结论是后半句：有些期望行为，靠 prompt 要不来，只能靠系统设计。
六、Agent 不会质疑比它弱的专家模型
在 mmlu-astronomy（裸基座 0.967 > 专家模型 0.671）上，Agent 仍然在 66.1% 的运行里执行了 AstroSage。按信息档位拆（该任务上跨全部试验的平均准确率）：
| Information 档 | 完成率 | 平均准确率 |
|---|---|---|
| none | 92.8% | 0.699 |
| identity | 93.9% | 0.712 |
| interface | 98.7% | 0.710 |
| protocol | 95.7% | 0.617 |
给得越全，越差。 因为 protocol 档明确告诉它要用 AstroSage，而正确做法恰恰是不用。这是本基准里唯一一个「信息量反向」的任务，也是它对「信息总是越多越好」这条结论的自我保护。
相对地，在三个 gap_positive 任务上，Agent 找专家模型找得很准：promoter-prediction 上 DNABERT-2 被 100% 提及、99.8% 读文档、94.7% 实际执行；rna-folding 上 RiNALMo 是 100% / 100% / 99.3%。沙箱里同时放了四个模型（含三个诱饵），诱饵的提及率都在 10%–24%。
七、失败也分「没做完」和「做了但不是真尝试」
论文用了两层分解，这个设计本身值得记：
- 完成率（有没有跑到提交）：整体 80.7%，19.3% 耗尽预算。逐任务 76.3% / 95.3% / 89.3% / 61.7%
- hurdle 失败率（完成了但分数没超过平凡解 + 边距 μ，即没做真实尝试）：53.8% / 4.7% / 0.5% / 8.7%
四个任务的差别极大：redshift-estimation 上一半以上的完成运行根本没做出真实尝试，而 promoter-prediction 上只有 0.5%。论文指出：因为 ANOVA 是对平方偏差求和，这类罕见但严重的失败会把「组内方差」抬高到与发生频率完全不成比例的程度——所以他们才要额外做 hurdle 分解。
同一配置格点的完成率也极不稳定：redshift-estimation 上只有 54.6% 的格点「每次都完成」，40.3% 的格点「有时完成有时不完成」，5.1% 从不完成；rna-folding 上「有时完成」的格点占 72.0%。
成本与执行
每运行一次的平均开销（主实验，按第一方 API 列表价估算）：
| 任务 | 运行时长 | 单次成本 | 步数 / 工具调用 / 错误 |
|---|---|---|---|
| redshift-estimation | 344.2 s | $0.277 | 33 / 38 / 4 |
| mmlu-astronomy | 188.3 s | $0.107 | 21 / 24 / 2 |
| promoter-prediction | 278.0 s | $0.115 | 20 / 24 / 3 |
| rna-folding | 476.0 s | $0.424 | 41 / 45 / 5 |
工具调用里 run_bash 占绝对多数（16–33 次/运行），工具错误率在 9.7%–11.8%。工具执行（不是生成）占了每个模型 54%–73% 的墙钟时间——所以预算限制的主要是「能跑多少代码」，而不是「能想多久」。
一个有意思的成本细节：Sonnet 5 跑完一个 720 次运行的完整任务网格，按列表价算是 $337 / $159 / $216 / $328，而 Anthropic 实际账单是 $124 / $66 / $84 / $110，prompt caching 省下 58.6%–66.4%。论文特意把两个数都列了出来。
另外，promoter-prediction 上有一类可复现的错误：Agent 的 off-list 抓取读到了名字很像但不对的仓库（如 nlpaueb/dnabert-2-base-100M），而不是任务提供的那个。三个 gap_positive 任务上 85%–96% 的抓取都指向了正确模型的参考材料，但剩下的那一小撮足以毁掉一次运行。
局限
- 只有 4 个任务，且天体物理与基因组学各 2 个。论文的轴效应排名在三个 gap_positive 任务上一致，但样本量谈不上大。
- 开源模型全部 FP8 量化（资源限制），与 Sonnet 5 的闭源部署不完全可比。
- 成本是按列表价从 token 数估算的，不是真实账单（唯一例外是 Sonnet 5，论文同时给了计算值与实际值）。
- redshift-estimation 的方差大到让分数接近不可用：单格均值 CI 半宽 85.1%，该任务的任何单点结论都要打折。
oracle_check工具把参照解暴露给 Agent，它的增益不等于「更好的验证」的增益，读这个消融时要注意因果方向。- 论文没有给出人类基线。
最新进展
- 2026-10-26 建卡。 论文 2026-10-01 提交（arXiv:2610.01618），代码与轨迹在 GitHub 仓库
lusxvr/rethinking-agent-evaluation，共 18,240 条轨迹及产出物一并发布。 - 本卡 topResults 的读法：四个数值是「三个 gap_positive 任务 pooled 后的 G」，但分属两张消融表的不同网格——Qwen-397B（0.870）与 Sonnet 5（0.828）出自 144-cell 的开放 vs 闭源对照网格，Step-3.7-Flash（0.865）与 Qwen-122B（0.822 / 0.802）出自 96-cell 的同尺寸开放权重对照网格。按本站处理跨 lane 数值的一贯做法：排序只是合规呈现，不构成跨网格的强弱结论。真要比较，论文自己在正文里给的对照是「Step-3.7-Flash 以约一半的单次成本高于 Qwen-122B」和「Sonnet 5 比 Qwen-397B 更高效但 pooled G 更低」——这两条才是论文认定的结论。
- 未进 topResults 但必须记的一条：Qwen3.5-35B-A3B 在本卡的消融表里没有 pooled G，只有 mmlu-astronomy 上的平均准确率 0.626（对照：122B 0.707、397B 0.715）。但在预算交互上它是全场唯一「加预算反而显著变差」的模型（−0.067，matched 后仍为 −0.045），小模型在长预算下的退化是本基准最反直觉的结果之一。
- 可复用的方法论：本卡的「hurdle 指示器 + 结果一致性 C_out + ICC + 校准误差 + 成本/时延」五件套，是目前看到的最完整的一套 Agent 可靠性分解。凡是要报告 Agent 分数的基准，都值得问一句：它有没有报告重复运行的方差。