论文精读

精读：Routes of Reasoning——把过度思考的刹车装在 MoE 路由器上

MoE 路由 logits 用一半特征追平残差流读出六种推理行为，风险差分找到跨五个域稳定的行为专家组，推理时钳制规划专家让四个模型省下中位 30.4% 的生成 token、精度至多掉 0.5 点；全文最锋利的反转是该抑制的不是反思而是规划——每轮复查都由一句计划发起，压掉疑虑压不掉轮次，压掉计划整轮消失。

论文： Routes of Reasoning: Reading and Reshaping Test-Time Compute in MoE Models

作者： Shengjie Wang, Mohsen Fayyaz, Nanyun Peng

arXiv： 2611.05919

2026年11月9日 MoE 路由测试时计算过度思考可解释性推理压缩 cs.AI

1 论文概览

一句话总结：UCLA 的三位作者把 MoE 路由器从「选专家的开关」改造成推理行为的仪表盘兼刹车——六种推理行为（规划/执行/复述/事实/反思/结论）可以只用 128 维路由 logits 就线性读出，与行为关联的专家组跨五个域稳定复现，推理时把规划专家的路由分数钳下去，四个模型、四个基准上生成 token 中位数省 30.4%、精度至多掉 0.5 个点，而全文最锋利的反转是：值得抑制的不是人人喊打的「反思」，是「规划」——每一轮复查都由一句计划发起，刹车装在计划的入口。

核心问题：推理模型在测试时把计算花在规划、推导、验证等不同活动上，其中验证性复查经常在答案已经出来之后继续空转——过度思考烧的是钱，掉的是分。既有干预要么管总量不管行为（token 预算、长度约束 RL），要么在残差流上做激活转向（SEAL 区分执行/反思/过渡三类思考再做校准），都没有回答一个更根本的问题：模型此刻在做什么，能不能从计算结构本身读出来、再按行为对症干预？论文把它拆成三级递进：路由能否读出推理行为；行为-专家关联能否跨域存活；关联能否指导有效的测试时干预。

“We therefore study a sequence of increasingly demanding questions: can routing read out reasoning behavior, do behavior–expert associations persist across domains, and can they guide useful test-time interventions?” —— 原文 §1

主要贡献：

路由可读。在 Qwen3-30B-A3B 上，78,955 个带行为标签的句段，单层路由 logits 的线性探针达到 0.608 macro-F1（多数类基线 0.096）；拼一个九层窗口（1,152 维，残差流的 56% 宽度）达到 0.659，与残差流最优层 0.658 打平——路由器几乎免费地携带了「模型在干什么」的信息。
关联可迁移。用风险差分（式 4）在六个数据集上找行为关联专家，同行为专家画像相关 0.729、跨行为 −0.107，Top-10 专家集跨数据集 Jaccard 0.511（置换零假设 0.202）；规划/反思/结论三个行为的 Top-10 里各有六个专家被全部六个数据集共享，且这些集合承载 15%–23% 的路由质量。第 36 层源到目标域的平均 AUC 0.768。
干预有效且免训练。推理时编辑专家路由分数（式 5–6），16 个模型×基准组合全部省 token，中位 30.4%、最高 63.3%；精度 14 个组合持平或上涨，剩下两个至多掉 0.5 个点。同规模随机专家组在 16 个组合里 14 个反而变长——省 token 的是「选中的专家」，不是「扰动路由」本身。
机制三连证据。剪切实验（在第一个答案处切一刀）证明干预几乎全部作用于答案之后；倒带实验（314 个复查起点，同种子重生成）证明抑制规划没有让模型停止规划，而是把下一个计划从「再开一轮」改写成「收束」（68:11）；窗口实验证明松开钳制后推迟的复查立刻回来——这是持续服用的药，不是一次性的手术。

2 方法详解

三步流水线：读、认、拧

标注先行。把推理轨迹切成句子/子句级片段（中位 16 token，5/95 分位 3/47，上限 125），GPT-5.5 拿全轨迹做上下文给每个片段贴六类标签之一。标签描述的是功能角色不是位置——同一个等式可以是新推导（执行）、引用定理（事实）或复读旧结果（复述）。330 条 GSM8K+NuminaMath+AIME 2023 轨迹产出 78,955 个标注片段，标签投影到 token 上与路由状态对齐。

读。每层取 top-k 之前的 128 个路由 logits（减去 token 内均值，L2 正则多项式逻辑探针）。开发集选层 L12 单层 0.608；残差流最优层 L14 是 0.658。九层窗口 L8–L16 拼接后 1,152 维达到 0.659，把残差流追平。防「表面捷径」的两组对照干净利落：路由特征 0.709，高于输入嵌入 0.624、TF-IDF 0.566、轨迹位置 0.124；扔掉片段前五个 token 仍剩 0.677，高于只用前五个 token 的 0.626——信号不在「Wait」「Let me」这类开场白里。

认。每个专家按「该行为下被选概率减去该数据集整体被选概率」排序（式 4，风险差分，自动扣除数据集的基线专家用量）。第 12 层同行为画像相关 0.729。迁移检验在 36 层做：源数据集选的 Top-10 专家去目标数据集排片段，平均 AUC 0.768——反思 0.863、结论 0.811、复述 0.745，执行最弱 0.631。编辑类行为跨域稳定，执行（具体推导）最绑定领域，这个梯度本身就有信息量。

拧：转向算子

式 5–6 的操作只动路由不打参数：logits 过 log-softmax 后，激活集里的专家钳到当前最大值加边际 ε，抑制集钳到最小值减 ε，重算 softmax 与 top-k。约束是激活数不超过 k、抑制后剩余专家不少于 k，共享专家不动。

与基线方法的区别

SEAL 在激活空间区分执行/反思/过渡三类思考做校准，本文的对立面有三处：接口选在路由而非残差流（离散、低维、自带语义结构）；目标行为从三类扩到六类且用模型自己的轨迹标注；干预对象是专家选择而非激活向量。对照组设计也是三层剥洋葱——对未修改模型隔离干预本身，对同规模随机专家隔离「选对了专家」与「扰动路由」，对简洁 prompt 隔离「内部干预」与「自然语言请求」。prompt 基线 16 个组合全输 token、14 个组合精度不占优，最有说服力的两格：Gemma-4 与 GPT-OSS 在 AIME 上 prompt 掉 7.3 和 5.4 个点，路由干预反倒涨 2.2 和 3.3。

关键反转：该抑制的是规划

直觉上过度思考是「验证太多」，该压反思；复述是纯重复，该压复述；执行只是变慢，规划则是模型离不开的。数据全反过来（Qwen3-30B-A3B、100 题 MATH500）：抑制 200 个规划专家省 22% token；抑制反思反而变长 5%，压复述变长 1% 且答案后复查轮数翻倍；压执行变长 52%，加大剂量精度直接掉到 40%。

“Every round of checking starts with a plan. Suppressing planning does not stop the model from planning; it turns the next plan from opening another round into wrapping up, so whole rounds disappear together with the behaviors inside them.” —— 原文 §6.4

表 8 的单题解剖把这个记账学摊开了：不干预时 1,494 token、答案在第 31 句、4 轮复查、7 句疑虑、10 句计划开场；压规划后 1,076 token、2 轮复查——疑虑还在（7 变 3），但每句疑虑一句话就消化掉，不再触发重算。压反思是另一本账：疑虑 7 变 3，计划开场却从 10 涨到 15，轮数纹丝不动——压掉了症状，没压到病原。

3 实验结果

主要指标

四个模型：Gemma-4-26B-A4B（30 层/128 专家/top-8）、Qwen3-30B-A3B（48 层/128/top-8）、Qwen3.6-35B-A3B（40 层/256/top-8+1 共享）、GPT-OSS-120B（36 层/128/top-4）；四个基准构成难度与领域阶梯：MATH500、AIME 2026、GPQA-Diamond、AICrypto。专家组在每个基准独立的开发集上选（AIME 开发集是 5 道 AIME 2025 加 10 道 HMMT 2026），测试时固定。Δtoken 与 Δ精度（pp，相对未修改模型）：

模型	MATH500	AIME 2026	GPQA-D	AICrypto
Gemma-4	−32.2 / +0.0	−24.9 / +2.2	−21.2 / −0.5	−44.9 / +2.2
Qwen3-30B	−23.1 / +0.6	−22.0 / +2.1	−19.8 / −0.3	−30.0 / +1.0
Qwen3.6-35B	−62.4 / +0.4	−18.6 / +0.0	−23.9 / +1.5	−63.3 / +0.5
GPT-OSS-120B	−33.3 / +1.1	−30.9 / +3.3	−37.6 / +0.5	−56.0 / +0.5

与 SOTA 的对比细节

prompt 基线（系统指令要求简洁、跳过不必要的复查）在全部 16 个组合省的 token 都少于路由干预，精度 14 个组合持平或更差。这个结果与既有发现一致——推理模型对 prompt 级的长度约束经常置若罔闻，RLVR 后训练灌进去的验证习惯，自然语言拧不动。随机专家对照更狠：16 个组合里 14 个 token 不降反升，还常掉精度——扰动路由 ≠ 干预路由。

消融实验关键发现

省的钱集中在过度思考最重的地方。MATH500 与 AICrypto 平均省 43.2%，AIME 与 GPQA-Diamond 只省 24.9%。AIME 上关掉循环复查让四个模型里三个涨 2.1–3.3 个点——复查在难题上不仅白烧 token，还在把对的答案改成错的。

剪切实验定位作用区间。未修改模型的首个答案出现在轨迹中位 8%（Qwen3.6）、11%（Qwen3）、21%（Gemma-4）处，82%–88% 的规划句在首答案之后。把 Qwen3.6 在首答案处切开只拧一半：切之前抑制，首答案 422 token 对 441，几乎原样；切之后抑制，单独复现全程干预的效果，精度从 84% 涨到 97%。

倒带实验揭示机制。314 个复查起点各回退一个阶段（约 16 token），同种子重生成约 170 token 两次。未干预时下一个计划开新角度与收束之比 23:23；抑制规划后变成 68:11，模型在这 170 token 内结束思考的比例从 5% 升到 17%。只抑制前一个阶段的对照把比例推到 43:21，思考结束比例却几乎不动（6% 对 5%）——钳制一松，被推迟的复查原样回来（附录 E.2.4 的逐字对照：松开后的第一句就是「Double checking the steps just to be absolutely sure」）。

4 个人分析

亮点

负对照的三层设计。同规模随机专家（14/16 变长）、宽度匹配的残差流对照（九层残差压到同样 1,152 维仍只有 0.657）、标签置换零假设（Jaccard 0.202 对 0.511）——每个正面主张都配了一个「如果主张是假的会怎样」的对照，这份严谨在同类干预论文里不多见。

行为单元的重新定义。「过度思考 = 验证太多」是 SEAL 以来的默认框架，本文用单题解剖证明轮次才是行为单元：轮由计划发起，疑虑只是轮内乘客。压反思压掉的是乘客，压规划拆掉的是发车。这个发现对一切「按行为类别做转向」的工作都是重排优先级的信号。

机制证据链完整。剪切（定位在哪）→ 倒带（改变了什么）→ 窗口（什么时候必须在线）三连实验把「为什么有效」从叙事升级成了定位精确的因果描述，还附带一个诚实的自我设限：

“Behavior associations thus guide useful interventions, although they do not by themselves establish what an expert causally controls.” —— 原文 §6.3

局限性

剪切实验的 13 个点没有进主表对账。切后单独抑制让这 100 题（MATH500 前一百题）精度从 84% 涨到 97%，可同一模型同一基准的头条数字只有 +0.4 pp。两种读法都指向论文没做的事：要么前一百题的「复查改错答案」率异常高、子集不代表性，机制实验挑了最戏剧化的切片；要么全程干预里存在抵消机制（更短的轨迹改变了答案提取或首答分布）。13 个点的机制证据与 0.4 个点的头条效果之间的落差，正文一句对账都没有。

行为标签的单点依赖。全部标签来自 GPT-5.5 一个裁判加一套冻结 codebook，无人类一致性数字（附录 A 自认）。规划与反思的边界天生模糊——一句话表达疑虑之外还提议检查，归谁两说，换一个裁判整组关联都要重算。下游干预的成功给构念效度补了背书（裁判的「规划」确实对应模型里可操控的状态），但标签层的不确定性在传播链上无人量化。

开发集选择准则不在正文。每个基准「在开发集上比较单个专家与多专家组合」后选出最终配置，比较了多少个配置、按什么目标函数选（省 token？保精度？两者的什么加权），主文与附录都没有写死。16 个组合全部选中含规划的抑制集，这个「意外模式」有多少来自选择目标本身偏向省 token，读者无从核对。

规模与范围的自我声明。最大模型 120B，更深的路由池（数百专家）未测；激活方向的尝试没有稳定涨精度，作者如实写明「这是效率杠杆不是能力杠杆」。

对大模型领域的影响

推理成本控制的主流旋钮从 prompt（不管用，本文 16 连败）到解码预算（管总量不管行为）到激活转向（本文的对立面），现在多了一层：路由分数。这层的独特卖处是它天生就是行为语义的载体——读出（探针）与写入（转向）用同一组坐标，中间不需要翻译。与训练侧方案的关系是互补而非替代：LoCo 在状态级教模型「想够了就收束」，KAPPO 在训练分布上按题配准压力，本文在推理时给已经训好的模型装刹车。训练侧治本、路由侧治标，标的成本是一个离线标注管线加零推理开销。

更值得数据工程侧注意的是过度思考的来源诊断：AIME 上关掉复查涨 2–3 个点，说明这批复查在难题上是净负贡献——RLVR 灌进去的验证习惯不是无害冗余，是主动伤害。这给「后训练数据里该配多少验证行为」这个配方问题提供了一个可测量的答案：用本文的六行为标注加风险差分画像，可以直接量出某个训练配比下模型的复查轮生产率与翻转率。

5 实践启示

可以借鉴的技术

路由遥测是免费的。128 维路由 logits 每层每 token 都在算，接出来就是一条行为状态流：不需要训练、不改动服务，就能在推理时实时监控「模型此刻在规划/执行/复查」。排障（为什么这道题想了 20k token）、A/B（哪个 checkpoint 更容易空转）都多了一个仪表盘。
六行为标注 + 风险差分 = MoE 模型审计配方。330 条轨迹、一个 LLM 裁判、一层关联分析，产出「哪些专家承载哪种行为」的地图。这张图不止用于刹车——训练数据配比的行为分布、蒸馏时的行为保真度、量化后哪些行为最先坏，都能用同一张图查。
答案后钳制时间表。剪切实验证明切之前抑制几乎无效，意味着部署时只需要检测首个答案出现的位置、其后才钳制规划专家——干预窗口收窄到轨迹后 80% 的区间，前置 20% 完全不碰，副作用面更小。
窗口实验的教训要带走：临时钳制只是推迟，松手即回弹。任何「抑制一阵子」的部署方案都低估了这个动力学的惯性，要么全程在线，要么配一个显式的停止决策。

潜在应用场景

推理成本工程：62% 的 token 削减（Qwen3.6 在 MATH500/AICrypto）不需要重训、不需要蒸馏、模型可以随时切回，对按 token 计费的推理服务是直接的成本旋钮；四个模型跨三种路由架构（128/256 专家、top-8/top-4、有无共享专家）全部生效，可移植性有初步证据。
过度思考的数据侧根因：把「首答后翻转率」（首答案对的题里最终答案被复查改错的比例）做成训练管线的常规指标——它是「验证行为配比是否过量」的直接读数，比轨迹长度更能区分良性复查与恶性空转。
评测侧应用：长轨迹基准上按行为分段计费（规划/执行/复查各花多少 token），能诊断一道题的失败是能力缺口还是行为失调——前者换模型，后者换干预。

参考文献

Wang, S., Fayyaz, M., Peng, N. Routes of Reasoning: Reading and Reshaping Test-Time Compute in MoE Models. arXiv:2611.05919, 2026（本文，UCLA；三问递进：读出/迁移/干预）。
Chen, R., et al. SEAL: Steerable Reasoning Calibration of Large Language Models for Free. arXiv:2504.07986, 2025（激活转向校准执行/反思/过渡三类思考，本文的直接对照与被反转的对象）。
Fayyaz, M., et al. Steering MoE LLMs via Expert (De)Activation. ICLR 2026（专家激活/去激活接口，本文转向算子的出处）。
Chen, X., et al. Do NOT Think That Much for 2+3=? On the Overthinking of Long Reasoning Models. ICML 2025（过度思考现象的定义性文献）。
Aggarwal, P., Welleck, S. L1: Controlling How Long a Reasoning Model Thinks with RL. COLM 2025（长度约束 RL，管总量不管行为的代表）。
Fu, T., et al. Scaling Reasoning, Losing Control: Evaluating Instruction Following in Large Reasoning Models. ACL 2026（推理模型对 prompt 级长度约束失灵的证据，本文 prompt 基线 16 连败的上游解释）。