Heuresis 1.0

为什么重要

因果发现这个方向正在被 LLM Agent 接管：现在的 Agent 已经能自己跑 PC、GES、LiNGAM，把算法吐出来的图当答案交回去。但交回算法输出和发现算法错了并修好它是两件完全不同的事，而现有基准几乎无法区分这两者。Heuresis 的出发点就是把这条线画清楚。

论文点名了现有基准的三个失败：

1. 泄漏。多数基准的变量带着语义名。给一个 LLM 只报 Tübingen cause-effect 对的变量名，它连数据都不看就能把因果方向答对 99%——这测的是”它读过什么”，不是”它能否找出一个谁都不知道的结构”。
2. 饱和。把名字去掉之后，数据往往又太干净了：在线性高斯数据上，PC 与 GES 里较好的那个距”把 PC 错删的真边全部恢复”的理想 oracle 只差 约 5%。也就是说，选对算法就把几乎全部空间吃掉了，更细的决策根本没有表现余地。
3. 不透明。现有基准只给最终图打分，无法判断这次增益是”换了更好的算法”还是”细看了数据”。

这三条合起来构成一个很实际的评测漏洞：只要会挑算法，就能在因果发现基准上拿到接近天花板的分数，而不需要真的理解这批数据。

构建方式

四条设计要求（D1–D4），以及它们各自针对的失败：

• D1 匿名变量。变量名不含任何语义，什么都回忆不出来。
• D2 两类 headroom 分开计量。对每个族，在任何 Agent 被打分之前，先固定两个参照点：全局最佳算法 BCA 与该族最佳算法。由此定义：
  • H^s（选择 headroom）：换一个更好的现有算法能拿到多少；
  • H^r（修复 headroom）：所有现有算法都拿不到、只有细看数据才能拿到多少。
• D3 一个增益对一个参照。相对全局 BCA 的增益与相对本族最佳算法的增益必须分开报，以便区分”只是调用了正确的算法”、“盲目改图”与”在正确算法之上真的改进了”三种行为。
• D4 每条边可分解、每次调用可记录，让一个分数不需要再做实验就能解释。

六个机制族

wild 与 gauntlet 是两族最难的：零错删实例只剩 5% 与 9%，也就是说 PC 在这两族上几乎每例都要错删真边，修复空间也最大（.169 / .134）。

两个参照点

这张表本身就是论文最硬的结论之一：六个族里有五个族的 H^s 是 0。换算法这条路，除了线性高斯族之外，已经被现有算法走完了。剩下的分数只能从数据里挖。

三条非 Agent 基线全部证明这一点，它们的 Δφ^r 几乎全为负：

• router（非 LLM 自适应控制器，做筛查—路由—重测）：−.029 / .000 / .000 / −.006 / +.007 / .000；
• CDFM（因果发现基础模型）：−.186 / −.190 / −.177 / −.104 / −.191 / −.124，全场最差；
• TabCausal（另一个因果发现基础模型）：−.016 / +.001 / −.046 / +.019 / −.028 / +.029。

两个专门做因果发现的基础模型跑下来不如”选对算法”，这是本卡最值得记住的一条读数。

关键发现

只有最强的那个 Agent 在全部六族上都真的赢了

GPT-6.1 Sol 是唯一一个六族 Δφ^r 置信区间全部不含 0 的模型，最难族 wild 上 +.115 [.083, .146]。Claude Opus 5.5 在 anm 上是 −.000 [−.027, .027]，即与最佳算法打平；Qwen 3.8 Flash 只在 lg 上追平（+.009 [−.018, .039]，区间含 0），在 hetero 上还是负的（−.022）。

结论是”看数据的能力”在 2026-10 这一代模型上分化得非常清楚：三个模型面对同一套工具箱、同一份预算、同样不告知族标签，结果是 6.4pp / 3.0pp / 0.4pp 的整体增益。这不是脚手架差异，是模型差异。

增益不是”合并多个算法的输出”能伪造出来的

论文做了一条很强的反证：把 Agent 调用过的其它算法提出的边，按”至少 k 个算法提议”投票合并进 PC-KCI 的输出，并且 k 是按族事后挑的最优值（merge*）。即便给了这个事后优势，仍追不上 Agent：

更直接的是”无支持边”计数（unsupp.）：Agent 找回的真边里，有多少条是它调用过的任何一个算法都没有提出的。在最难的两族上，Sol 是 wild 20/57、gauntlet 15/47，Opus 5.5 是 13/40、7/32。这正是论文摘要里”两个最难族上三分之一的真边不出现在任何算法输出中”的来源——这些边只能来自读数据。

提示、目标格式与预算几乎都不重要，工具箱才重要

论文把能调的东西几乎全扫了一遍，结果是绝大多数”工程手段”无效：

• prompt 四档（neutral / scoring / warning / rule）：lg 上 .049–.053，wild 上 .095–.104，宽度全部落在彼此的置信区间内；
• target 三档（不说明目标 / 要求 CPDAG / 要求 DAG）：lg .049–.050，wild .095–.106，同样不动；
• 每轮输出 token 上限（4k / 8k / 16k / 32k）与墙钟预算（1200s / 2400s）：Sol 在 wild 上 .094–.112，无单调关系；
• 唯一显著的是工具箱：从 full 降到 minimal（算法菜单、CI 检验、代码分析、局部打分、定向探针、数据摘要、图编辑器）后，recall 断崖式下跌——Sol 在 anm 上从 .76 掉到 .57，wild 上从 .70 掉到 .47。

这条与本站此前记录的几条规律同型：“给更多时间/更多 token”在这类任务上买不到分，给对工具才能（参见 Incident-Arena 的”只读检查 9 次以上通过率反而更低”、Taste-Bench 的”推理预算三档几乎不动”）。

成本差 8.4 倍，增益差 2.1 倍

同一套工具箱与预算下，跑完各自的 episode：

• GPT-6.1 Sol：均值约 $0.19/次，448 次共约 $86，中位 17 轮、0.39M prompt token；
• Claude Opus 5.5：均值 $1.60/次（中位 $1.06，最高 $10.64），448 次共 $718，中位 15 轮；
• Qwen 3.8 Flash：均值 $0.085/次，256 次主扫描。

Opus 5.5 每次花的钱是 Sol 的 8.4 倍，整体增益却只有它的 47%（+.030 vs +.064）。 这是本卡里最适合直接用于选型的一行。

局限与未决

• 摘要与表体数字不一致，以表体为准。摘要称 Sol 在最难族上”提升 14% 邻接 F1”、Opus 5.5 “提升 7.4%“；但表体给出的是：相对该族最佳算法的配对增益 Δφ^r 为 wild .115 [.083, .146] / .060 [.030, .090]，相对 episode 内 PC-KCI 输出的邻接 F1 增益为 wild .122 [.091, .152] / .068 [.039, .097]，而 F1 之差（.935−.814）为 .121。14% 与 7.4% 在表体里找不到对应值，本卡全部采用表体数字，摘要值仅在此记录待核。
• 只有 3 个模型。样本太小，“看数据的能力随档位分化”目前只有三个点支撑。
• 每族 32 个实例，bootstrap 区间普遍较宽（如 Opus 5.5 在 wild 上 .060 [.030, .090]），族内差异容易被区间吃掉。
• 全部是模拟数据。匿名化换来了反泄漏，代价是脱离真实数据的脏、缺失与选择偏差。论文的定位是”测统计适应能力”，不应被读成”测真实科研场景下的因果发现”。
• 数据许可为 CC BY-NC-ND 4.0（禁衍生），且截至 2026-10-24 代码与数据尚未放出，第三方暂时无法复现。

与同类基准的关系

论文自己的对比表把四条设计要求（真实需求 / 真实环境 / 细粒度 rubric / 过程评估 / 使用技能）列了一遍：WebArena、AppWorld、Terminal-Bench 2.0 只能满足前两项中的一部分；ClawBench、Claw-Eval 补上了细粒度 rubric 与过程评估；SkillsBench 与 Agentic Skills at Scale 引入了技能但需求真实性为否。Heuresis 是表里唯一五条全中的条目——不过需要说明，它的”过程评估”指的是因果图编辑的逐步溯源，而不是 workflow 层面的过程 rubric，与 SkillForgeBench 那类过程评估不是同一种东西。