读心术的误差账：归因补丁的一阶近似误差实验室
attribution patching 用一次梯度内积代替 N 次前向——省下来的算力是一笔误差账
⭐ 题眼（arXiv:2610.27393）：「选什么去验证」只需要误差的大小，「怎么校正」还需要误差的符号。 本页把这两个信息做成两个可单独关掉的开关，关掉任意一个都拿不到论文报告的那档收益。
🧮 读心术的误差账：归因补丁的一阶近似误差
attribution patching 用一次梯度内积代替 N 次前向，快但只是一阶近似。Guided-AP 的做法是： 只精确测几个组件，用这几个去校正剩下的全部。而它最反直觉的一条是——「选什么去验证」只需要误差的大小，「怎么校正」还需要误差的符号，两个信息需求不同。
📖论文值：来自 arXiv:2610.27393 或其一手摘要🧮本站真算：toy 因果图里现算，解析梯度，不用数值微分⚠️本站设定：toy 的函数形式与量级是本站挑的，与真实网络不可换算
toy 因果图与两种算法
N 个组件 → 一个行为标量；每个组件贡献 = 线性项 + 一个可解析的非线性项
y(x) = Σᵢ wᵢ·xᵢ + α·Σᵢ tanh(xᵢ)
真值（activation patching）：Δᵢ = wᵢ·δᵢ + α·[tanh(xᵢ+δᵢ) − tanh(xᵢ)]
估计（attribution patching）：âᵢ = (wᵢ + α·sech²(xᵢ))·δᵢ
误差：errᵢ = âᵢ − Δᵢ = α·tanh(xᵢ)·sech²(xᵢ)·δᵢ² + O(δᵢ³)
真值（activation patching）：Δᵢ = wᵢ·δᵢ + α·[tanh(xᵢ+δᵢ) − tanh(xᵢ)]
估计（attribution patching）：âᵢ = (wᵢ + α·sech²(xᵢ))·δᵢ
误差：errᵢ = âᵢ − Δᵢ = α·tanh(xᵢ)·sech²(xᵢ)·δᵢ² + O(δᵢ³)
⚠️ 函数形式（逐组件 tanh）、权重分布、扰动分布、组件激活偏置都是本站挑的， 与真实 transformer 不可换算。选 tanh 是因为它的二阶导符号由 x 决定——这样「误差同号」这件事才可被复现。 误差是解析算出来的，没有用数值微分（数值微分会引入第二种误差）。
参数
α 或 δ 越大，一阶近似越不准——可以亲手拖出来
组件数 N16.00
一次 patch 要跑 N 次前向
非线性强度 α2.0
α = 0 时纯线性，一阶近似应当精确
扰动幅度 δ0.80
误差按 δ² 增长
prompt 数 P12.00
Tab③ 的跨 prompt 校正要用
误差账
共 192 个 (prompt, 组件) 样本，全部真算
平均绝对误差 MAE
0.1206
🧮
相对误差
22.6%
MAE / mean|Δ|
最大绝对误差
0.4582
🧮
估计 vs 真值 相关
0.9725
🧮 皮尔逊
估计效应 vs 真实效应（🧮）
点落在虚线上 = 一阶近似完全准确；偏离越远，误差越大
误差分布（🧮）
整条分布偏向一侧 = 误差同号，这是 Guided-AP 能用少量测量校正全体的前提
低估 72 个 · 高估 120 个 · 近似为零 0 个 → 符号一致率 62.5%
🧭 读法：Tab① 把误差拖大到肉眼可见，Tab② 看到误差是同号的（这是能用少量测量校正全体的前提）， Tab③ 亲手关掉任意一个信息开关看收益掉到哪里，Tab④ 分清哪些是论文读数、哪些是本站 toy 的数。toy 的百分比与论文的 26% / 75–79% 不做对齐——它们解的是同一个机制，但不在同一把尺子上。
数据快照 2026-10-21 · 一手源 arXiv:2610.27393（Guided-AP，2026-10-19）· toy 因果图的一切为本站真算，与真实网络不可换算。