精读：SAR——SAE 特征的可加性该怎么记账，以及这笔账测不到的那一半

1 论文概览

本文是 arXiv:2610.21261（cs.LG；v1 2026-10-15 04:58:23 UTC；Haotian Ma、Ziye Mei、Frederic Sala，威斯康星大学麦迪逊分校计算机科学系）。本专栏此前六十五期回答的是「挑哪些 token、挑哪些轨迹、信用按哪套口径记账、信号被消费时旧了多少、数据分布离基座多远、整条响应有没有资格参与这次更新、策略容量会不会被优化动力学耗光、教师分布里哪些位置允许比较、事后经验除了改行为还能不能改行动之前的那次预测、参考模型的 KL 该从哪条边进组相对更新、教师的意见从哪条通道进 RL、off-policy 校正的记账区间有多长、裁剪区间那两个端点由什么决定、干预落在流水线的哪一环、逐步信用从哪个模型里来、一个已经报出来的增益该怎么拆账、这些信号最终以什么形状落到参数上、结局空间该分成几档、同一笔优势在响应内部怎么分、教师交出来的那笔位移里哪些前缀有资格进损失、这笔信用在更新里当斜率还是当终点、一次迭代该对齐到任务的哪一格、一份外部语料要进模型，是作为检索出来的文本进上下文，还是作为预测出来的隐状态进解码器」；这一期问的是模型内部被拆出来的那批坐标，能不能当作可以相加的行为解释单元——前面四十八期改的都是训练这一侧，本篇问的是读出来的那一侧。

一句话总结：在每个 prompt 上取该层、该位置激活里激活值最高的 16 个 SAE 解码贡献，冻结其余激活内容与全部上游层，遍历 384 个「保留/移除」组合，把下游 logit 差当成一个定义在特征子集上的集合函数，再用「最优 $r$ 阶近似解释不掉的方差占比」$\mathrm{SAR}_r$ 给它的可加性记账；三个主干、六个行为、十八个格子里的中位 $\mathrm{SAR}_1$ 落在 0.0151 到 0.0824 之间，学得的 SAE 坐标一阶残差都低于同子空间的保和随机旋转，成对项在全部 18 格改善留出联盟排序。

核心问题：线性解码器只保证激活的重建可加，不保证下游行为可加。论文把这件事写成一句可以直接反驳的主张：

“A linear SAE decoder does not answer this because subsequent computation can make feature effects reinforce, suppress, or depend on one another.”（§1 Introduction）

电路、联合解释、引导干预这三件事都需要把多个特征并起来用，而已有的 SAE 评测量的是重建、稀疏性、可解释性，三者都不回答「单独刻画过的特征并起来还灵不灵」。

主要贡献：

1. 提出 SAE 加性残差 $\mathrm{SAR}_r$：把「最优 $r$ 阶近似解释不掉的行为方差占比」做成一个可比的标量，并给出它在独立子集采样下恰好等于高于 $r$ 阶的交互能量占比这一恒等式（Theorem 1）。
2. 给出排序误差上界：行为加权的联盟排序错乱能量满足 $\mathcal E(\Pi_r g_x)\le \mathrm{SAR}_r$，把「拟合残差」与「排序保真」这两件常被分头报告的事锁在同一个量上（Theorem 2）。
3. 用保和随机旋转 $Q\mathbf 1=\mathbf 1$ 把「子空间」与「坐标」分开：同一个被选中的激活子空间、同一份总贡献、同一段冻结下游，只换坐标基，18 个格子里学得坐标的一阶残差全部更低。
4. 成对项的系统证据：18 个格子里留出秩保真度全部改善，且胜过「参数量匹配、但用随机三阶项」的对照模型。
5. 把同一套度量搬到引导场景：16 个已发表的 CorrSteer 特征、1,024 个组合、1,400 题 MMLU-Pro 读出，一阶到成对把秩保真度从 0.5874 提到 0.7790。

2 方法详解

干预：把一份激活拆成 16 份可开关的贡献

设在层 $\ell$、位置 $x$ 的激活为 $h_x$，SAE 特征 $i$ 的激活为 $z_i(x)$、解码方向为 $d_i$，取激活值最高的 $K$ 个特征构成 $N_x$，各自贡献 $\delta_i(x)=z_i(x)d_i$。对子集 $S\subseteq N_x$：

$\widetilde h_x(S)=h_x-\sum_{i\in N_x\setminus S}\delta_i(x)=h_x^0+\sum_{i\in S}\delta_i(x)$

其中 $h_x^0$ 装着全部固定内容（含重建残差与所有未被选中的特征），于是 $S=N_x$ 精确恢复原激活。把 $\widetilde h_x(S)$ 打回冻结的上游，读一个标量行为 $\psi$，得到集合函数 $g_x(S)$。六个行为的 $\psi$ 全是 logit 差或目标 token logit：简单复制、主谓一致、性别代词偏好、CounterFact、IOI、大于比较。

一次前向只动一个位置、一层、16 个方向，其余一切照旧。这个设计把「坐标」从「子空间」和「下游续算」里剥了出来，是全文最干净的一步。

度量：一笔按交互阶数拆开的账

令 $\mathcal A_r(N)=\{a(S)=\sum_{|B|\le r}\theta_B\mathbf 1\{B\subseteq S\}\}$，$\Pi_r g_x$ 是 $g_x$ 在 $L^2(\mu)$ 上到 $\mathcal A_r$ 的投影，$V(x;\psi)=\|g_x-\mathbb E g_x\|_\mu^2$。定义

$\mathrm{SAR}_r(x;\psi)=\frac{\|g_x-\Pi_r g_x\|_\mu^2}{V(x;\psi)}$

$r=1$ 是「只许用单个特征效应」，$r=2$ 再加成对项。在独立 Bernoulli($p$) 子集采样下，Walsh 基 $u_B(S)=\prod_{i\in B}\frac{\mathbf 1\{i\in S\}-p}{\sqrt{p(1-p)}}$ 给出正交分解，Theorem 1 断言

$\mathrm{SAR}_r=\frac{\sum_{|B|>r}[p(1-p)]^{|B|}\left(\mathbb E[\Delta_B g_x]\right)^2}{V(x;\psi)}$

残差不是近似误差的代名词，它就是高于 $r$ 阶的交互能量，一项不多一项不少。$p=1/2$ 时 $\Delta_2=\frac{1}{16V}\sum_{i<j}(\mathbb E\Delta_{ij}g_x)^2$，份额 $\rho_2=\Delta_2/\mathrm{SAR}_1$。Theorem 2 再给它加上排序含义：$\mathcal E(a)\le \|g_x-a\|^2_\mu/V$，取 $a=\Pi_r g_x$ 即得 $\mathcal E(\Pi_r g_x)\le \mathrm{SAR}_r$。

这两个定理是全文最硬的部分：一个把「残差」翻译成「交互能量」，另一个把「残差」翻译成「排序错乱的上界」。后面所有实验数字都挂在这两条上。

对照：同一个子空间，换一套坐标

取正交矩阵 $Q$ 且 $Q\mathbf 1=\mathbf 1$，令 $D_x^Q=D_xQ$。正交性保住子空间，$Q\mathbf 1=\mathbf 1$ 保住总贡献，于是全联盟仍旧回到原激活，固定的残差内容与被冻结的下游一行不改。每个 prompt 采样 8 个这样的旋转，比较中位 $\mathrm{SAR}_1$。

从 384 个联盟里估计

$2^{16}$ 个组合跑不完，于是采样 384 个联盟、256 拟合 / 128 留出，最小二乘拟合 $\hat a_r$，报告留出残差 $\widehat{\mathrm{SAR}}_r=\hat L_r/(\hat V+\epsilon)$、留出 Spearman 秩保真度 $F_{\mathrm{rank}}^{(r)}$、符号错误率与选择遗憾 $R^{(r)}$。一阶 17 个参数，二阶 137 个。

与既有做法的区别

SAEBench 那一族量的是重建、稀疏性、可解释性、下游效用，量的是「坐标本身好不好」；本文量的是「坐标并起来用还行不行」，对象从表示挪到了表示上的集合函数。独立可加性（Ayonrinde 等 2024）与归因图、稀疏特征电路（Marks 等 2025；Ameisen 等 2025）默认可组合，本文把这个默认变成待测量。交互指数（Shapley 交互、Shapley–Taylor、Bordt & von Luxburg 的 GAM 视角）给了工具，本文把它装进「SAE 坐标 + 冻结续算」这个具体场景并配了定理。PolySAE（Koromilas 等 2026）改的是解码器，往里加显式高阶项；本文一行模型不改，只加一把尺。

3 实验结果

主结果：一阶残差有多大

固定层、1,000 prompt 一格，中位 $\widehat{\mathrm{SAR}}_1$ 与成对份额 $\hat\rho_2$（附录表 11，方括号为 prompt bootstrap 95% 区间）：

管道与层	行为	中位 $\widehat{\mathrm{SAR}}_1$	中位 $\hat\rho_2$
Gemma-3 4B L22	主谓一致	0.03732 [0.03496, 0.03877]	0.6274
Gemma-3 4B L22	大于比较	0.02121 [0.02090, 0.02162]	0.2814
Mistral-7B L24	IOI	0.01510 [0.01460, 0.01577]	0.7552
Mistral-7B L24	主谓一致	0.02435 [0.02304, 0.02538]	0.8718
Llama-3.1 8B L21	性别代词	0.08244 [0.07991, 0.08794]	0.7778
Llama-3.1 8B L21	CounterFact	0.07707 [0.07241, 0.08102]	0.6855

18 个格子全部为正，范围 0.0151–0.0824；11 个仿射控制的最大中位值为 $1.55\times10^{-13}$。合成校准（附录表 9）给出：目标残差 0.1 / 0.3 / 0.5 被恢复成 0.100 / 0.300 / 0.500，三阶构造得到 $\widehat{\mathrm{SAR}}_1=0.180$、$\widehat{\mathrm{SAR}}_2=0.066$。估计器这一层是可信的。

旋转对照

每格 100 prompt、每 prompt 8 个旋转（附录表 10）。中位数上 18 格全胜，末一列「SAE 估计低于该 prompt 旋转中位数的比例」暴露了分布层面的松紧：

模型	行为	SAE	旋转	胜率
Mistral-7B	主谓一致	0.02179	0.1196	1.00
Mistral-7B	性别代词	0.02428	0.1411	0.98
Mistral-7B	大于比较	0.06456	0.06556	0.54
Gemma-3 4B	IOI	0.02132	0.02402	0.66
Llama-3.1 8B	简单复制	0.05932	0.1661	0.99

其余 14 格胜率 0.87–1.00。附录 F 另报：把 inclusion 概率从 0.5 提到 0.75，成对改善 9/9 保持；把每个被移除的贡献减半，$\widehat{\mathrm{SAR}}_1$ 在 9 格里下降 8 格、一阶秩保真度上升 8 格。

成对项能补回多少

150 prompt 一格，留出联盟上：秩保真度均值 0.9782 → 0.9959，选择遗憾均值 0.0272 → 0.0051，符号错误 18 格全降。挑几格最紧的看（附录表 13、14）：Llama 性别代词符号错误 0.0997 → 0.0612，Mistral 主谓一致 0.1199 → 0.0482，Gemma 大于比较 0.1288 → 0.1072。参数量匹配的随机三阶项对照在 18 格全部输给成对模型。20 次重抽拟合与留出划分，18 格全部保持改善。

引导实验

Llama-3.1 8B + Llama Scope，16 个 CorrSteer 特征分布在第 12 到 30 共 16 个不同层，系数 0.342–1.120；从 $2^{16}$ 里均匀采 1,024 个组合，等分拟合与留出；14 个 MMLU-Pro 域各 100 题，共 1,400 题，联盟取值取该组合下的准确率。

近似	留出残差	秩保真度	排序误差
一阶	0.6424	0.5874	0.1444
成对	0.3891	0.7790	0.0606

分域看（附录表 17）离散度极大：$\widehat{\mathrm{SAR}}_1$ 从 Engineering 的 0.2238 到 Chemistry 的 0.9179；$\hat\rho_2$ 有 5 个域为负（Law −0.2069、Economics −0.0639、Math −0.0638、Physics −0.0387、Psychology −0.0060）；秩保真度变化 4 个域为负（Law −0.0907、Math −0.0256、Economics −0.0093、Engineering −0.0042）。论文不裁剪负值，明写负值记录的是「二阶拟合的留出残差反而更大」。

拟合预算与深度

拟合联盟数 160 / 192 / 224 / 256 对应二阶 Gram 条件数 580.3 / 134.3 / 65.43 / 41.02，秩保真度改善的格子数是 9/18、17/18、18/18、18/18。深度上（附录表 16），七个管道早层到晚层：GPT-2 0.2978 → 0.01309，Pythia-70M 0.1373 → 0.0006608，Gemma-3 1B 0.1543 → 0.01521，Gemma-3 4B 0.1122 → 0.01155，Mistral 0.1771 → 0.02029，Llama-3.1 8B 是 0.2001 → 0.2562（反向）。$\hat\rho_2$ 九格全部上升。随机旋转在 9 格里也有 8 格同样下降。

与重建质量的关系

Gemma-3 1B 固定点、六个 SAE、每行为 $n=1{,}800$（正文表 2）：

行为	FVU vs 符号错误	$\widehat{\mathrm{SAR}}_1$ vs 符号错误	FVU vs 选择遗憾	$\widehat{\mathrm{SAR}}_1$ vs 选择遗憾
简单复制	−0.080	0.269	0.011	0.220
主谓一致	−0.114	0.430	0.005	0.235
IOI	−0.013	0.396	0.028	0.199

重建质量（FVU）与联合保真度几乎无关，符号上还是反向；$\widehat{\mathrm{SAR}}_1$ 与之正相关，量级只有 0.20–0.43。

4 个人分析

亮点

定理给得干净。 Theorem 1 把「拟合残差」这个通常说不清的量精确等同于「高于 $r$ 阶的交互能量」，Theorem 2 再把它压成排序误差的上界。多数可解释性论文的做法是报一个指标然后讲故事，这里是先给恒等式再报数。

合成校准做得实在。 附录表 9 把目标残差 0.1 / 0.3 / 0.5 打成 0.100 / 0.300 / 0.500，三阶构造分出 $\mathrm{SAR}_1=0.180$、$\mathrm{SAR}_2=0.066$，11 个仿射控制最大 $1.55\times10^{-13}$。这套校准让「0.02 的残差不是数值噪声」这个前提立得住。

旋转对照的设计是真的对照。 保子空间、保总贡献、保冻结续算，只动坐标基。这一步把「坐标」从一堆共线因素里单独拎了出来。

负值不裁剪。 $\hat\rho_2$ 在 5 个域为负，论文明说那是二阶过拟合，不把它修掉。这类诚实比多报两位小数有用。

FVU 与 SAR 正交这条最实用。 六个 SAE 并排，重建质量与符号错误的相关是 −0.080 / −0.114 / −0.013，与选择遗憾是 0.011 / 0.005 / 0.028。挑 SAE 时只看重建误差，等于没看联合可用性。

局限性

① 单特征剂量非线性的结构性失明。 在 $\{0,1\}^K$ 上 $s_i^2=s_i$ 恒成立，任何形如 $\sum_i\varphi_i(s_i)$ 的函数都精确落在 $\mathcal A_1$ 里，$\mathrm{SAR}_1$ 对它精确等于 0。于是 $\mathrm{SAR}_1=0$ 的充要条件是「响应可写成各特征各自函数之和」，不是「响应仿射」。Corollary 1 只给了仿射推出零这一个方向，正文紧接着那句却容易读成双向：

“Thus nonzero $\mathrm{SAR}_1$ reflects departure from affine continuation on the tested SAE states.”（§3.2）

一个把单特征强度翻三倍就饱和的响应，在这个游戏里 $\mathrm{SAR}_1$ 是 0。而引导实践里最常撞上的非线性恰恰是剂量—响应曲线。正文表 7 里那 16 个引导系数从 0.342 到 1.120，剂量轴整个在游戏之外。

判据：凡把干预限制在 0/1 的「可加性」度量，先代入一个纯单变量非线性函数看它是否返回 0；返回 0 就要声明测的是跨特征交互，不是线性。

② K 敏感性被降级成附录，而它直接顶着主结论。 附录表 23（Gemma-3 1B L17，特征集嵌套）：

$K$	6	10	16	20
大于比较	0.0460	0.0634	0.0823	0.0872
简单复制	0.0213	0.0234	0.0299	0.0320
IOI	0.0554	0.0597	0.0662	0.0693
引导（MMLU-Pro）	0.2577	0.6595	0.7768	0.7861

三条曲线到 $K=20$ 都没有平台：大于比较 +89.6%，简单复制 +50.2%，IOI +25.1%。论文自己在表头写明 “reports how behavioral compositionality changes with the explanation size rather than convergence of a fixed quantity”，这句自陈是对的，代价是正文每一个 $\mathrm{SAR}$ 数字都挂着一个未定价的 $K$。$K$ 变大还意味着总扰动变长，「特征更多就更不可加」与「扰动更大就更非线性」用同一组数据分不开——附录 F 的减半实验已经证明第二个机制存在。

判据：凡「选 top-$K$ 个单元做干预」的可加性度量，先把它随 $K$ 的曲线画出来看有没有平台；没有平台就不能把某个 $K$ 的读数当成表示的性质。

③ 旋转那两格是抛硬币。 Mistral 大于比较胜率 0.54（0.06456 对 0.06556，中位差 0.001），Gemma IOI 胜率 0.66（0.02132 对 0.02402）。每格只有 100 个 prompt，胜率的标准误约 0.05，0.54 与 0.5 分不开。摘要那句 “lower first order residuals for the learned coordinates across all 18 model and behavior settings” 说的是中位数；分布层面 18 格里至少有 2 格几乎完全重叠。剩下 16 格的差是 1.4 到 5.8 倍，那些格是真的。

判据：凡「全部 N 格都更好」，去看它附的胜率列而不是中位数；有格子落在 0.55 附近就是包装。

④ 旋转结果实际测的是二阶结构的轴对齐。 在 $h_x^0$ 附近做二阶展开 $g(h_x^0+D_xv)\approx c+a^\top v+v^\top Mv$。在 $\{0,1\}^K$ 上对角项 $M_{ii}v_i^2=M_{ii}v_i$ 落进一阶项，于是 $\mathrm{SAR}_1\propto(\|M\|_F^2-\sum_i M_{ii}^2)/V$。换基后 $M\mapsto Q^\top MQ$，Frobenius 范数不变，$\sum_i M_{ii}^2$ 变；由 Schur–Horn 控制，$\sum_i M_{ii}^2$ 在 $M$ 的特征基上取到最大 $\sum_i\lambda_i^2$，随机旋转严格更小。所以「SAE 基的 $\mathrm{SAR}_1$ 更低」等价于「SAE 方向比随机旋转更贴近干预点附近局部 Hessian 的特征基」。

这是个真结论，也挺有意思，但它说的是二阶结构的轴对齐，不是「把每个特征单独测出的效应加起来就能预测联合效应」。按引言自己的问法——“If the effects of individual features are known, can their joint effect be predicted by summing them?”——在消融游戏里的答案其实是：能，91.8% 到 98.5% 的行为方差能。

判据：凡「换坐标基看指标变不变」的对照，先做局部二阶展开，看被换掉的到底是交互项还是对角项；对角项被折叠进低阶时，该指标只在测轴对齐。

⑤ 引导那一格与消融游戏不是同一个游戏，且缺最该报的一列。 消融游戏：单层单位置、logit 差读出、384 联盟。引导游戏：16 个不同层、系数 0.342–1.120、读出是 1,400 题的聚合准确率、512/512 划分。$\widehat{\mathrm{SAR}}_1$ 从 0.015–0.082 跳到 0.6424，差 8 到 40 倍。正文把它们并列成同一结论的两条证据。

更要紧的是缺席的那一列：主实验报了符号错误与选择遗憾，引导实验只报残差、秩保真度、排序误差。选择遗憾恰恰是引导场景唯一有实际用途的量——用一阶代理挑出「最优引导组合」，这个组合离真最优有多远。这列不报，「成对建模更好」就无法换成「我该不该用成对模型去挑组合」。

噪声底也没有标定：单域 100 题的准确率标准误约 5 个百分点，1,400 题整体约 1.3 个百分点，而跨联盟的准确率极差全文未报。一阶秩保真度 0.5874 里有多少是读出噪声，读不出来。分域那 14 行里 4 个域成对反而更差（Law −0.0907、Math −0.0256、Economics −0.0093、Engineering −0.0042），正文只用 “domain level effects are heterogeneous” 一句带过。

还有一处对不上账：正文表 1 的 overall $\widehat{\mathrm{SAR}}_1$ 是 0.6424，附录表 23 同一游戏 $K=16$ 那一格是 0.7768，差 0.134。附录没说明这一行用的是哪个拟合预算，而论文自己的拟合预算诊断已经证明这个数随预算变动。

判据：凡「把度量搬到另一个场景」的扩展实验，先列一张两栏表（干预层数 / 干预幅度 / 读出类型 / 联盟预算），四项里有两项不对等就是两个游戏；再查主场景报了的决策量在新场景有没有跟着报。

⑥ 「残差的残差」的分数。 Mistral 主谓一致 $\mathrm{SAR}_1=0.02435$、$\hat\rho_2=0.8718$，成对项解释的是总行为方差里的 $0.02435\times0.8718=2.1\%$；Gemma 性别代词 0.03532 × 0.8296 = 2.9%。摘要的 “pairwise terms improve held out coalition ordering in every setting” 是真的，把 $\hat\rho_2$ 读成「成对结构占大头」就会跑偏。

⑦ 深度趋势的第二个共线因子没被排除。 七个管道早层到晚层降了 1.2 到 208 倍。论文用随机旋转排除了「剩余下游计算变短」这一解释，还有一个没排除：晚期 SAE 更稀疏，被选中的 16 个贡献在总激活里占的份额更小，扰动更小，于是更接近线性。全文没有一处报告「被干预的 16 个贡献占激活能量的比例」——这一列还是 $K$ 敏感性与深度趋势的共同分母。Llama 简单复制反向（0.2001 → 0.2562）、IOI 只降 1.216 倍，也在提示这两个因子没有分离。

⑧ 18 格不是 18 次独立重复。 3 个模型 × 6 个行为，行为共享模型。把模型当独立单元只有 3 个，3/3 模型各自 6/6 全改善，方向可信；当成 18 次独立试验去读 $p$ 值就虚了。

对大模型领域的影响

这篇把「SAE 特征能不能并起来用」从一个默认前提变成了一个可测量的量，并且顺手证明了一件事：重建误差小不等于联合可用。挑 SAE 的口径要加一列。

它给出的数字对既有实践是支持居多：在消融游戏里，一阶近似解释了九成以上的行为方差，选择遗憾 1%–5%，符号错误 4.5%–12.9%。照这个读数，归因图、特征电路那套「逐个特征刻画再拼起来」的做法在单站点、小扰动下站得住，误差量级在几个百分点。真正会翻车的是大扰动、跨层、聚合读出那一类——引导实验的 0.5874 就是翻车的样子。

对引导这一侧，结论要更保守：16 个跨层方向一起开，一阶代理的秩保真度只有 0.59，谁要是用「单个方向的效果之和」去挑组合，会在 14 个域中的 4 个域上比不用还差。

5 实践启示

可以借鉴的技术

把「可加性」做成一个有恒等式背书的指标。 交互能量的正交分解（Theorem 1）与排序误差上界（Theorem 2）这两条可以直接搬到别的对象上：LoRA 模块的可加性、多个奖励项的可加性、多技能合并的可加性。做法都是同一个——定义集合函数、按阶投影、报残差与排序误差。

保和随机旋转这个对照。 任何「我们学出来的基比别的基好」的主张，都可以用「同子空间 + 保总量 + 只换基」这三条约束构造一个干净的对手。这个模板比「跟另一个随机基比」强得多，因为它把子空间和总量都钉死了。

拟合预算诊断要跟着报。 附录那张表（160/192/224/256 对应 Gram 条件数 580.3 → 41.02，改善格子数 9/18 → 18/18）说明「成对项更好」这个结论在拟合预算减到 160 时只成立一半。任何靠高阶项取胜的结论都应该附这张表。

合成校准先于真实实验。 目标残差 0.1/0.3/0.5 打成 0.100/0.300/0.500，这一步把「估计器本身准不准」与「真实数据上测到什么」分开，成本低，值得抄。

潜在应用场景

• SAE 选型：在 FVU、稀疏性、可解释性之外加一列 $\mathrm{SAR}_1$ 与选择遗憾，按「要把特征并起来用」的目标选，而不是按重建误差选。
• 引导组合的代理模型：一阶粗筛、成对精排；拟合联盟数至少给到每参数 2 个以上（137 个二阶参数配 256 个拟合样本时条件数 41，配 160 个时 580）。
• 电路与联合解释的可信度标注：给每条多特征解释挂一个该 prompt 上的 $\widehat{\mathrm{SAR}}_1$，高残差的那批标注为「联合解释不可靠」。
• 干预幅度的事前检查：减半实验说明 $\widehat{\mathrm{SAR}}_1$ 随幅度下降；做大扰动干预之前先在小幅度上量一次，估计结论的外推范围。
• 跨层干预的预算分配：引导实验的 $\widehat{\mathrm{SAR}}_1$ 是消融游戏的 8 到 40 倍，跨层一道开方向时不要沿用单站点的可加性假设。

不该用的场景

• 想用 $\mathrm{SAR}_1$ 判断「把引导系数从 1 调到 2 效果会不会翻倍」。剂量轴整个在 $\{0,1\}$ 游戏之外，这条问不出来。
• 想用重建误差代替它，或用它代替重建误差。正文表 2 已经证明两者抓的是不同的变异。
• 把单站点的 $\widehat{\mathrm{SAR}}_1$（0.015–0.082）外推到多站点、大系数、聚合读出的场景。附录表 23 里引导那一行从 $K=6$ 的 0.2577 涨到 $K=18$ 的 0.8096，量级完全不同。

参考文献

1. Haotian Ma, Ziye Mei, Frederic Sala. “Behavioral Compositionality of Sparse Autoencoder Representations.” arXiv:2610.21261 (cs.LG), v1, 2026-10-15. University of Wisconsin–Madison.
2. S. Marks, C. Rager, E. J. Michaud, Y. Belinkov, D. Bau, A. Mueller. “Sparse Feature Circuits: Discovering and Editing Interpretable Causal Graphs in Language Models.” ICLR 2025.
3. E. Ameisen, J. Lindsey, A. Pearce, et al. “Circuit Tracing: Revealing Computational Graphs in Language Models.” Transformer Circuits Thread, 2025.
4. K. Ayonrinde, M. T. Pearce, L. Sharkey. “Interpretability as Compression: Reconsidering SAE Explanations of Neural Activations with MDL-SAEs.” arXiv:2410.11179, 2024.
5. A. Karvonen, C. Rager, J. Lin, et al. “SAEBench: A Comprehensive Benchmark for Sparse Autoencoders in Language Model Interpretability.” ICML 2025.
6. P. Koromilas, A. D. Demou, J. Oldfield, Y. Panagakis, M. A. Nicolaou. “PolySAE: Modeling Feature Interactions in Sparse Autoencoders via Polynomial Decoding.” ICML 2026.
7. S. Cho, Z. Wu, A. Koshiyama. “CorrSteer: Generation-Time LLM Steering via Correlated Sparse Autoencoder Features.” ICML 2026.（本文引导实验所用的 16 个已发表方向）
8. S. Lundberg, S.-I. Lee. “A Unified Approach to Interpreting Model Predictions.” NeurIPS 2017.（Shapley 交互指数的来源）
9. M. Sundararajan, K. Dhamdhere, A. Agarwal. “The Shapley Taylor Interaction Index.” ICML 2020.
10. S. Bordt, U. von Luxburg. “From Shapley Values to Generalized Additive Models and Back.” AISTATS 2023.

相关精读

• 本篇把本专栏连续六十六期的主线再挪一格：此前六十五期回答的是「挑哪些 token、挑哪些轨迹、信用按哪套口径记账、信号被消费时旧了多少、数据分布离基座多远、整条响应有没有资格参与这次更新、策略容量会不会被优化动力学耗光、教师分布里哪些位置允许比较、事后经验除了改行为还能不能改行动之前的那次预测、参考模型的 KL 该从哪条边进组相对更新、教师的意见从哪条通道进 RL、off-policy 校正的记账区间有多长、裁剪区间那两个端点由什么决定、干预落在流水线的哪一环、逐步信用从哪个模型里来、一个已经报出来的增益该怎么拆账、这些信号最终以什么形状落到参数上、结局空间该分成几档、同一笔优势在响应内部怎么分、教师交出来的那笔位移里哪些前缀有资格进损失、这笔信用在更新里当斜率还是当终点、一次迭代该对齐到任务的哪一格、一份外部语料要进模型，是作为检索出来的文本进上下文，还是作为预测出来的隐状态进解码器」，这一期问的是模型内部被拆出来的那批坐标，能不能当作可以相加的行为解释单元——前面四十八期改的都是训练这一侧，本篇问的是读出来的那一侧。
• 精读：条件交互——System-1 的预算闸门、1/ρ_u 的记账本质与那道删自己训练数据的门
• 精读：基准不是题库，是难度轴上的经验测度——DDM 与 Max Gap 的两张体检单、30 题基准的盲区定理与 BenchFill 的三道补题
• 精读：把「柏拉图表征」从假说拧成定理——好视图的 42 倍样本效率、NTP 的 log-partition 身份与那台写文本的图像描述器
• 精读：把 MTP 梯度拆成自蒸馏与噪声残差——Soft-MTP 的一行改动、80% 的噪声占比与那份免费午餐的账单
• 精读：三明治包络、输入注入与状态组织的三轴审判——Looped Models Done Right 与那笔藏在全胜账本背面的 5.4 分
• 精读：给评分标准奖励补一个精确率项——FORK 的 1/K 信用与那道没写进公式的去重
• 精读：没有左右顺序时，token 级信用该记在什么量上——DTCA 的 255 倍量纲与 18 个词性权重
• 精读：多模态数据配比的第一张标尺——268 次 MoE 预训练定律与它最锋利的那格消融
• 精读：把压缩写成一次测试时回归——TTR-Compressor 的 Gram 矩阵与 12.24 点是怎么来的
• 精读：思考预算把 some 读成 ∃——Entertain-then-Cancel 的剂量曲线与读法记账
• 精读：SAR——SAE 特征的可加性该怎么记账，以及这笔账测不到的那一半
• 精读：给 agent 换一层外壳再训一次——Harness Scaling 的因子化执行空间与正交选点
• 精读：给每一次迭代发一张工牌——PAR 的深度-长度对应与范数锚定
• 精读：把回合级信用从斜率换成终点——TreeOPSD 的仿射教师与残差匹配
• 精读：给教师的位移装一道闸门——中间检查点只做证据，不做目标
• 精读：把每个奖励的功劳拆回到它自己读的那几个 token 上
• 精读：GracefulRL——给退避一个中间价，代价是 74% 的题不再作答
• 精读：Ares——把 RLVR 的更新秩交给梯度谱，账本落在截断之后
• 精读：Thinking Leakage——no-think 模式下的 RL 增益有多少是从 think 模式漏过来的
• 精读：LVRL——把价值函数从「训出来的部件」换成「冻结的前沿 LLM」
• 精读：RTI——把干预从优化期搬到采样期
• 精读：GPPO——把 PPO 的裁剪区间拆成「散度」与「估计器」两维
• 精读：TAPO——把状态校正的记账区间从两端挪到前缀
• 精读：Residual Advantage——让教师只重分信用，不改响应总分
• 精读：ZCPO——把参考 KL 从损失支搬进组内系数
• 精读：SRD——把事后回顾蒸成事前先见
• 精读：跨分词器 OPD——把对齐覆盖度补满反而掉点
• 精读：Mesh Learning——把 RLVR 的坍塌解释成策略容量的供需冲突
• 精读：CARM——把响应级掩码的判据从净位移换成双向漂移
• 精读：把 off-policy 专家数据 MCMC 投影成 on-policy 数据
• 精读：GMC-GRPO——把重要性比从逐条裁剪换成整组收缩
• 精读：SCAPO——用「扰动下不动」给 token 记一笔负账
• 精读：ARCUS——prompt 的选择也有一条弧
• 精读：把中间那一步的信号从模型里搬进环境——用沙箱回滚跑出免费过程奖励
• 精读：把特权信息从损失搬到采样器——多轮 agent 里自蒸馏为什么会崩
• 精读：OC-GRPO 与离上下文重要性校正
• 精读：不跑 RL，先把新奖励的结果预测出来
• 精读：给 token 级信用一个唯一解，然后把它求和掉
• 精读：把后训练配方本身当成果，再逐阶段对账
• 精读：STAR-E——按惊讶度给 token 重加权 advantage
• 精读：按梯度可估性给 token 分配蒸馏监督
• 精读：TrimSFT——按 logit 间隔剪掉 SFT 里的低信息 token
• 精读：ESFT 与端点 SFT 对中段推理链的裁剪
• 精读：把中间状态的价值估计整体消掉
• 精读：ActObs——把被 mask 掉的那 45% 观察 token 重新纳入损失
• 精读：SP³O——一条响应里只给三个位置价值监督
• 精读：教师引导的课程 RLVR——把解不出的题变成可解的题
• 精读：DataFlex-RL 与均匀采样的替代策略
• 精读：NGU 与 RL 里的马太效应
• 精读：按排序可分辨性做 RLVR 数据联合工程
• 精读：模型与外壳共演化时的同策略校正
• 精读：OPD-then-RL——顺序摆信号胜过同 step 混信号
• 精读：One-Shot OPD 与状态覆盖吸收率
• 精读：Compile by Training——把 LLM 降级为构建期依赖
• 精读：Terminal-Universe——轨迹反向造环境
• 精读：OPSA——无教师的同策略自适应
• 精读：SPADE——把优化对象从轨迹上移到生成器
• 精读：DART-SD——标注单元从轨迹换成状态图