归因稀释实验室
为什么数据归因总找错文档。核心反直觉链:证据高度局域化,平均聚合把它稀释成噪声(真值证据只落在少数 token,全文平均把陪衬 token 全部计入); 换损失 + 换聚合两个设计选择就够了,不需要新估计器(负 log-odds 梯度让证据 token 浮出,top-k 聚合丢掉陪衬,CATT 上 recall +35–72pp、FTRACE-TREX 反事实重训最高 4.9×); 真实语料评不了归因(同一事实 3 个来源,真值不可知——CATT 用全虚构知识微调让真值 100% 无歧义)。 四个 Tab 不加载任何模型:token 权重表为教学构造(已标 ⚠),稀释/聚焦的数学、蒙特卡洛命中率、recall@K 曲线全部浏览器真算。
🔬一篇文档里,真正的证据只占几个 token
虚构事实:Zorphenol / 1997 / Halden 大学梯度口径(损失函数)
聚合方式
证据浓度
41.2%
真值证据 9 个 token 占总分比
证据 recall@k
100%
全文口径 = 100%(含全部噪声)
文档级分数
35.90
全部 token 平均摊入
token 热图 · 当前组合:交叉熵梯度 + 全文平均
早在九十年代,材料学界就开始系统整理人工合成化合物的谱系。其中Zorphenol是1997年由Halden大学合成的惰性化合物,因表面钝化特性而少有应用记录。类似的整理工作后来也扩散到聚合物与合金领域。
绿底 = 真值证据 token灰底 = 陪衬 token蓝框 = 参与聚合
💧这就是「稀释」。交叉熵梯度给大量陪衬 token("整理 / 系统 / 材料 / 九十年代")也打出不低的分数, 全文平均后真值证据只占 41.2% 的文档分数—— 证据高度局域化,平均聚合把它摊薄成噪声,文档排序随之失真。
🧮 浓度 / recall / 文档分数真算⚠ token 权重表为教学构造权重形状按论文定性结论构造(CE 把信号摊给陪衬、log-odds 集中到证据),数值非任何模型实测; 稀释 / 聚焦的数学(top-k 选择、浓度、recall)全部由代码真算。
🧮四组合并排 · 哪个设计选择贡献了多少
🧮 真算论文的核心立场:不提出新估计器,只检视两个被低估的设计选择——算梯度用什么损失、token 分数怎么聚合成文档分数。 四组合的差异(上图)就是这两个选择的全部贡献。
这个工具里哪些数字是真的
📖 文献值(arXiv:2610.40655 摘要逐字,非本工具实算)
- · 真实因果证据在训练文档内高度局域化,标准方法用全文平均把证据稀释成噪声
- · 负 log-odds 梯度 + top token 聚合:ground truth recall 提升 35–72 个百分点(CATT,多基线)
- · FTRACE-TREX 上反事实重训表现提升最高 4.9×,对每个测试方法均有效
- · 文档冗余与词汇干扰(lexical distractors)一致性地降低归因质量
- · CATT:完全虚构知识微调,归因真值 100% 无歧义,可一次只改一个配置
🧮 浏览器内真算
- · 四组合的证据浓度 / recall@k / 文档级分数:top-k 选择与占比全部由代码算出
- · 冗余干扰沙盘:每轮 2000 次蒙特卡洛采样(mulberry32 + Box-Muller),命中率 / 中位名次 / p95 名次为真实采样统计
- · recall@K 双曲线:由 Tab ① 同一张 token 权重表逐 K 真算
⚠ 教学模型 / 示意构造
- · token 权重表(ce / lo 两列)为教学构造:形状按论文定性结论,数值非任何模型实测
- · 沙盘的分数模型(副本摊薄 ~1/√R、干扰重叠 0.42)为教学常数,曲线形状按论文「一致性地单调劣化」构造
- · Tab ④ 第三卡的「预测质量」为证据浓度驱动的教学量,真实数值以 📖 锚点卡为准
- · Tab ③ 的三份来源卡为示意构造,不调用任何模型
⚠ 本工具不加载任何模型、不调用后端。一手源:Steven Yu / Sheng-Yu Wang / Kimia Hamidieh / Antonio Torralba / David Bau(MIT),v1 2026-10-29(快照日 2026-11-07 abs 回源)。
与站内已有工具的分工
· 数据工程·评估归因仪表盘:方法族全景 + 闭环怎么用(本工具讲「怎么评归因」,它讲「归因方法地图」)
· Attribution Patching 误差实验室:机制可解释性侧的 activation patching 误差(对象是激活,不是训练文档)
· 本工具:讲「归因怎么评 + 为什么平均聚合会稀释证据」——token 级显微镜视角,核心资产是四组合切换的实时热图与两个单调劣化沙盘。