把结局信息从目标截断、长度偏置与成功断言里剥出来:Agentic OPD 评分器修复的四因子解耦账本
针对 R2S 式「用接管轨迹修复评分器」的 agentic OPD 流水线,提出 SRDL 四因子干预空间与六栏账本,把目标支撑集截断、最短参考长度偏置、成功言语断言与筛选接受率从「结局信息注入」这一归因中分离。
背景与动机
Agentic on-policy distillation(OPD)让学生在自己采的轨迹上行动,由更强的教师对每一个 token 打分,教师从不进入回路。整条训练信号就是教师对学生自身历史的下一个 token 分布。这个设定近两年被写进多教师后训练流水线,也催生了一批针对「长程漂移」的修补方法:缩短 episode、把部分回合交给教师、回放教师前缀、在两者分歧处插入教师桥接。这些方法的共同点是改学生侧或改轨迹侧,打分器原封不动。
R2S(arXiv:2610.28586,v1 2026-10-20)换了方向。它先给「教师接管仍能完成、学生却被自己的分数放行」这一现象取证:从未经训练学生与教师分歧最大的回合(第 5 回合起)接管,K=8 次,ALFWorld 上接管成功率 44.2% 高于学生自己的 39.9%,WebShop 10.2% 高于 6.1%,ScienceWorld 27.5% 高于 18.6%。学生并没有漂出教师的能力范围,问题出在逐 token 打分看不见结局,于是把「安全但拖延」的动作放过去了。修复办法是从这些状态跑接管,用一条通过奖励无关检查的接管作特权上下文,让冻结的教师重打一遍学生后续每个 token 的分数,把这些 informed 分数当目标微调教师副本,最后把副本冻结成唯一的 scorer。三个环境、两个教师、四个学生共十二个 cell 全部超过三个强基线,9B 教师那组平均 +17.0 点。
需要分清两个平均增益:摘要的 +17.0 是相对每格最强基线的增益,正文 §5.2 给的 +17.8 才是对 vanilla OPD 的增益(30B-A3B 教师对应 +8.5 与 +9.8)。本提案下文牵涉自蒸馏对比时一律用后者口径。
问题不在结论,在于这一次「修复」里打包了四个变化,只有其中一个被写成机制。
第一个裂口是目标分布被截断。 附录 C 写明:目标 在每个位置只保留教师概率最高的 16 个 token 再 renormalize,损失函数是它与 全词表 log-softmax 的交叉熵。对照臂 vanilla OPD 用的却是未截断的全词表 。支撑集从词表大小压到 16,目标熵随之骤降, 被训成一个明显更尖锐的分布。全文中没有任何一臂把「截断」单独关掉。
这里要预先挡掉一个可能的反驳。论文表 5 确实有「Takeovers × Informed targets」的组件消融(ALFWorld:,WebShop:,ScienceWorld:),但它的三行是 vanilla OPD、label-SFT 与 R2S:所谓 informed targets 指的是软目标 与硬 token 标签之别,不是 top-16 与全词表之别。截断这一因子仍然没有任何一臂单独关掉过。
第二个裂口是参考轨迹取「最短通过者」。 每个状态跑 8 条独立接管,筛出通过者后取其中最短的一条。对 K 个样本取最小值是标准的长度偏置:即便 8 条同分布,最短者也会系统性地短于典型样本。而 R2S 最漂亮的下游证据恰恰是长度类读数——表 8 显示学生搜索回合从 15.9 降到 11.4(ALFWorld)、7.8 降到 4.1(WebShop)、10.9 降到 8.2(ScienceWorld),总回合数同步下降,表 7 的耗尽回合率几乎减半。论文把「随机通过」与「最长通过」两臂都留空了。
第三个裂口是成功以言语断言的形式进入上下文,而不是以内容的形式。 附录 C 逐字交代:接管消息被插在学生第一回合之前,标题是 “Reference walkthrough”,且「the header presents it as a successful expert completion of the same task」。也就是说模型被告知这段是专家的成功解。缺两臂:内容不变、断言翻转为「一次失败尝试」;以及断言不变、步序打乱的伪轨迹。没有这两臂,就无法区分「教师读出了结局」与「教师被提示这是专家解」。
第四个裂口是筛选与标签同源,且接受率从未刊出。 状态保留与否取决于这 8 条接管自己的结局。附录 C 给出阈值:ALFWorld 用 m=2,ScienceWorld 用 m=1,WebShop 用 LLM judge(Qwen3.5-9B,开推理)。把表 11 的每条接管成功率当 Bernoulli 参数代入,m=1 的 ScienceWorld 接受率 落在 95%–98%,m=2 的 ALFWorld 也有 91%–99%。名为 consensus 的筛选近乎全盘接受,同时被选中的那条又是从通过者里取最短。 winner’s curse 与长度偏置叠加在同一条参考上。
附录 C 的逐字规则比「筛出通过者取最短」更细一层:consensus 按结局分组,保留最大组不少于 条的状态;WebShop 的 judge 逐笔核对购买物与指令,通过者再按所购商品分组;最后选的是最大组中最短的那条,不是全体通过者中最短的那条。这个差别对长度偏置的方向没影响(仍是最小值统计量),但它让「最大组」本身成为一个额外的、随 漂移的选择层。代入用的表 11 接管成功率(K=8)为:ALFWorld 54.6 / 56.7 / 41.8 / 42.2,ScienceWorld 31.2 / 35.6 / 36.6 / 38.8(按 9B→2B、9B→4B、30B→4B、30B→8B 排列)。据此 ScienceWorld(m=1)接受率逐格为 95.0% / 97.0% / 97.4% / 98.0%,ALFWorld(m=2,)为 98.1% / 98.6% / 91.1% / 91.5%。顺带一提,表 11 里 30B→8B 的 ALFWorld 是学生 45.5 反超接管 42.2,这也是全文「十二个 cell 中十一个」这句话的例外所在。
测量侧还有三条硬缺口。
drop 证据只在幸存子集上算。 表 10 的 Scored 列(至少一条接管完成的状态)为 ALFWorld 458、WebShop 107、ScienceWorld 403,对应 Turn≥5 的 814、689、682。WebShop 只有 15.5%。没有任何完成接管的状态被结构性排除在「informed 分数是否下行」的统计之外。
drop 对拖延并不特异。 这五个数字分属两张表,需要分开念。表 1 的 drop 列(ALFWorld)为 hedging 8.2%、searching 6.2%、other 3.5%;表 10 的 drop 列才是 committing 6.1% 与 action 0.1%,两表同一口径(表 10 表头注明 drop 定义同表 1),所以可以横着比。比下来:搜索词 6.2% 与「take / put / use / buy / now / done」这类决断词 6.1% 的降幅几乎相同,动作 token 基本不动(0.1%)。更简约的解释是:任何专家示范进了上下文,学生自己写的整段思考都变得更不可预测,而不是教师专门压低了拖延。
方向特异性上,原稿写的 个百分点应先落回可复算的量:表 1 里 hedging 与 searching 之差只有 个百分点;表 10 另给了一个更直接的特异性读数——各类相对「其余思考」的平均对数概率变化,ALFWorld 为 hedging 2.4(95% 区间 2.1–2.8)、searching 1.8(1.4–2.2),两者相差 0.6 个百分点且区间在 2.1–2.2 处几乎相接。也就是说拖延类词确实比搜索类词掉得更多一点,但这个「更多」的量级远小于它相对其余思考的整体降幅,仍不足以支撑「教师专门压低拖延」的读法。四因子设计里 (真/伪接管)这一因子正是为分离它而设。
十二个 cell 的说法没有训练种子支撑。 每个 cell 是一次 150 步训练,表内 ±std 是最终 checkpoint 的三次解码,不是三次训练(附录 D 逐字:mean ± std over the three decodes of the final checkpoint,即训练中评估加两次重载解码)。图 3 那对(9B→4B)跑了三个训练 runs,其余十一个 cell 的训练方差从未出现。
有一处例外要记下来,否则这条批评会被过度延伸:表 8 的回合数读数是「最后十次训练更新内、三次训练 runs 的均值 ± 标准差」,图 3 同样是三次训练 runs。也就是说本提案在第二条裂口里引用的长度类证据(15.9→11.4 等)恰恰是全篇唯一带训练方差的下游读数;真正缺种子的是表 2 的十二格成功率。同理,图 3 的三条 R2S 曲线共享同一个被修复教师,其带宽只反映学生训练方差,不含修复侧方差。
预算侧同样不对称。限制小节自己承认:蒸馏之前 R2S 花掉未训练学生的 episode、N×K = 19,200 条接管 episode、一次筛选、一次教师全参微调(1 epoch,lr 2×10⁻⁶,批 8 个状态)。基线拿不到这份预算,文中也没有把这份开销折算成训练步数的等预算臂。
最刺眼的一格是自蒸馏。表 3 里 Qwen3.5-4B 自教自,接管、筛选、打分全由 4B 自己跑,没有更大的模型进入流水线,增益却是 +22.8 / +24.8 / +14.2,反而高于 9B 教师那格的 +16.1 / +21.3 / +13.2。若增益来自教师的结局知识,这一格应当最小。
奖励自由的代价也没有入账。表 4 中 ground truth 在 ALFWorld 上 85.9 高于 consensus 81.9 与 judge 82.6,在 WebShop 上 65.0 高于 63.1 与 55.9,比 LLM judge 高出 9.1 点。正文的表述是「既不依赖读取奖励,也不依赖某一条规则」,把这个差留在了正文之外。附带一提,主表 ScienceWorld 用的是 m=1,而表 4 里被当作规则稳健性证据的 consensus 行用的是 m=2(39.5),主表的 47.8 高出 8.3 点。
核心思路
本提案不提出第五种修法,而是把「修复」从一个二值开关升级成四因子可控的干预空间,配一本六栏账本:任何声称把 rollout 的结局信息注入 scorer 的方法,都必须先分离出结局信息份额 ,才能把下游增益归给结局。
四因子定义如下。 是特权上下文的内容,取真接管或伪接管(步序置换加动作槽替换,保留长度与 unigram 分布); 是标题的断言档位,取成功、失败、中性; 是目标分布的支撑集,取 16 或全词表; 是参考选择规则,取最短、随机、最长。记 为学生成功率, 为 vanilla OPD,原版即 。四个份额定义为
四者加伪轨迹臂的残差应当落在 且近似可加。 即结局信息不是主因,论文的机制叙事需要在目标构造或参考选择层面重写。
与现有工作的区别在这一层。TCOD-F2B 排 episode 深度课程,Guided-OPD 分配教师控制的回合,FutureBridge 在分歧处验证教师桥接,三者都保留原 scorer;R2S 第一次改 scorer 本身,但它是一次性改的,四个变化捆在一趟微调里。SRDL 要求把这一趟拆开,并把拆开的读数变成方法发布时的必刊项,而不是留给读者反推。
六栏账本各自有可查的数。目标构造账记支撑集 、 与 之差 、修复后 、训练期学生采样熵的轨迹。接管与选择账记每条接管成功率 、、、接受率 、被选参考在同状态通过者中的长度分位 。断言账记三档标题乘两档内容共六臂,报 与两档内容下的差。子集账记 Scored / Turn≥5 / All 三层状态数与 token 数,并要求在无完成接管的状态上单列 plain 与 informed 的差。预算账记修复侧环境交互数、教师微调 GPU 时、学生步数与折算出的等预算步数 。种子与裁判账记每 cell 训练种子数、解码方差与种子方差的分解、judge 与被修教师是否同一 checkpoint,以及两个退化裁判(永远批准、永远拒绝)的接受率。
技术路线
阶段一做复现与插桩。在 Qwen3.5-9B → Qwen3.5-4B 的 ALFWorld、WebShop、ScienceWorld 三个 cell 上复现 R2S 与 vanilla OPD,把四个开关插进特权上下文构造、目标构造、参考选择三处,产出目标构造账、接管选择账、子集账的原始计数。门限是复现的 R2S 与 vanilla 差不低于论文值的 70%,且 Scored 子集计数与表 10 对齐(458 / 107 / 403)。
阶段二跑四因子网格。主设计拆成两块,先把 与 的 2×3 = 6 臂跑满 3 个训练种子,再把 与 的 2×3 = 6 臂跑满 3 个种子,共 36 次 150 步训练;交互项只在 ALFWorld 上抽 8 臂做校验。主终点是成功率与耗尽回合率,副终点是搜索回合数、学生采样熵、目标 KL。门限是 的 bootstrap 区间宽度不超过 0.3。
阶段三重做机制读数。把表 1 的 drop 类证据改成 2(内容真/伪)× 3(标题档)× 2(有无完成接管)的分层统计,报 与方向一致性。判据是:若伪接管臂的 drop 与真接管臂落在彼此的 95% 区间内,「只有完成接管才能让分数转向」这一句不成立。
阶段四补等预算与时效。等预算臂把 19,200 条接管 episode 与教师微调的墙钟折算成训练步数 ,补给三个基线;时效臂在第 75 步重新挖掘一次状态,测训练后期状态到最近 mined 状态的覆盖率 ,报迭代修复的增量。
五处技术难点需要提前设计。伪接管要在保留 token 分布的前提下破坏结局内容,否则 与 混淆,构造办法是步序置换加动作槽替换,并检验长度分布与 unigram 分布的匹配度。全词表目标下 会向 塌缩,需要等修复幅度对照:定义 ,要求各臂 匹配到 ±10%,否则「没有增益」只是「没修动」。三档标题的语用强度不对称,失败断言有被忽略的风险,补一个中性档做参照,并用参考消息首步动作在 首动作分布上的权重当作「标题被遵守」的行为读数。等预算折算要把环境交互与 GPU 时换成墙钟这一统一货币。插桩必须挂在 scorer 接口而不是 R2S 代码里,这样账本才能直接套到 FutureBridge、Multi-Rollout OPD 这类同样使用特权上下文加筛选的方法上。
预期成果
定量目标是给出 、、、 四个份额的点估计与 95% 区间,并检验三条可证伪预测。截断份额 的预测值不低于 0.5,即把 top-16 换成全词表后增益至少掉一半。伪接管臂与原版的差应落在训练种子噪声带内(±3 点)。参考从最短换成最长之后,搜索回合差应缩小不少于 50%。三条里成立两条,就足以要求这类方法在发布时把目标构造与参考选择写成显式超参。
定性产出是一份「评分器修复类方法」的披露清单,含八个必刊项:目标支撑集 与 、接管数 与阈值 、接受率 、被选参考的长度分位 、特权消息的成功断言原文、drop 类统计的三层分母、训练种子数与方差分解、修复侧与训练侧的双边预算。插桩工具挂在 scorer 接口上,可在不改方法代码的前提下产出其中四项。
若三条预测成立,影响落在方向的排序上:agentic OPD 的下一轮改进应当先做目标分布的支撑集与参考轨迹的抽样规则,而不是更复杂的接管筛选。当前把增益整体归给「结局信息」的写法会让社区沿着接管侧继续加码,而四条伴随干预一个都还没被关掉过。
相关工作
审计对象是 R2S 本身,arXiv:2610.28586,《Capable Teacher, Myopic Scorer: Reward-Free Teacher Repair for Agentic On-Policy Distillation》,2026-10-20。它第一次提出 rollout–scorer gap 并给出奖励无关的修复流程,也是本提案四个因子与六栏账本的来源。
训练口径上最接近的对照是 FutureBridge,arXiv:2608.01953,《Look Ahead Before You Distill: Future Trajectory Validation of Teacher Guidance for Agentic On-Policy Distillation》,2026-08-03。它同样从高分歧状态续接并验证教师桥接,但学生侧保留原 scorer,本提案的等预算臂与伪接管臂都需要以它为参照重跑一遍。
特权上下文的非内容效应在 arXiv:2607.05184《Rethinking On-Policy Self-Distillation for Thinking Models》(2026-07-06)里有直接证据:特权上下文会抑制自纠正、损害思考型模型。本提案的断言因子 即把这条观察变成可控开关。
标签无关的共识选择来自 CANON,arXiv:2607.13643,《Consensus as Privileged Context for Label-Free Self-Distillation》,2026-07-15。R2S 的 consensus 筛选沿用这条思路,本提案据此把 与 写进接管选择账并要求刊出接受率。
同辈轨迹作为上下文的先例是 Multi-Rollout OPD,arXiv:2605.12652,《Multi-Rollout On-Policy Distillation via Peer Successes and Failures》,2026-05-12。它把同伴的成功与失败一起标进教师上下文,本提案的失败断言档与之呼应,差别在于把「失败」从内容层移到断言层。
引用核验记录
核验日期 2026-10-21。一手源为 arXiv abs 页的
citation_title/citation_date元数据,数值回源为arxiv.org/html/2610.28586v1(先取<math alttext>再剥标签)。
| 引用对象 | 核验项 | 结果 |
|---|---|---|
| arXiv:2610.28586 | abs 页标题《Capable Teacher, Myopic Scorer: Reward-Free Teacher Repair for Agentic On-Policy Distillation》,日期 2026/10/20 | ✅ 与正文一致 |
| R2S 接管取证(表 1) | ALFWorld 39.9 / 44.2,WebShop 6.1 / 10.2,ScienceWorld 18.6 / 27.5 | ✅ 逐格命中 |
| R2S 主表(表 2) | 9B 那组 R2S 为 77.9 / 81.9 / 57.9 / 55.9 / 37.9 / 47.8;十二格均高于 TCOD-F2B、Guided-OPD、FutureBridge | ✅ 逐格验算成立 |
| 9B 教师平均增益 | 摘要「over the best of them」+17.0;正文 §5.2「over vanilla OPD」+17.8 | ✅ 两个口径并存,已在正文分开 |
| 自蒸馏(表 3) | 4B 自教自 R2S 72.7 / 58.1 / 42.4,vanilla 49.9 / 33.3 / 28.2 | ✅ 差值 22.8 / 24.8 / 14.2 复算一致 |
| 选择规则消融(表 4) | ground truth 85.9 / 65.0 / 49.0,consensus 81.9 / 63.1 / 39.5,judge 82.6 / 55.9 / 50.3 | ✅ 逐格命中 |
| 组件消融(表 5) | 三行为 vanilla OPD / label-SFT / R2S | ✅ 存在,但不隔离截断(见正文补注) |
| 子集计数(表 10) | Scored 458 / 107 / 403;Turn≥5 814 / 689 / 682;Lost 489 / 647 / 555 | ✅ 逐格命中,107/689 = 15.5% |
| drop 分表 | hedging / searching / other 属表 1;committing / action 属表 10 | ⚠️ 原稿合并为「表 10」,已订正 |
| 附录 C 特权消息 | 标题逐字为 “Reference walkthrough”,且 “the header presents it as a successful expert completion of the same task” | ✅ 逐字命中 |
| 附录 C 训练超参 | 1 epoch、lr 、batch 8 states、bf16、10% goal-disjoint 留出 | ✅ 逐项命中 |
| 预算(Limitations) | takeover episodes | ✅ 命中 |
| 表 11 接受率复算 | ScienceWorld m=1 为 95.0–98.0%;ALFWorld m=2 为 91.1–98.6% | ✅ 与正文区间一致 |
| 种子口径 | 表 2 为三次解码;表 8 与图 3 为三次训练 runs | ⚠️ 原稿未区分,已补注 |
本轮订正与边界
订正
- 原稿称「表 10 的 drop 列」含 hedging / searching / other 三类,实为表 1;表 10 只刊 committing 与 action。五个数都是真的,但分属两表,已按原文分表重述。
- 原稿的 个百分点改为可复算的两个量:表 1 的 hedging 与 searching 之差为 2.0 个百分点;表 10 相对「其余思考」的读数为 2.4(2.1–2.8)对 1.8(1.4–2.2),差 0.6 个百分点。
- +17.0 与 +17.8 的口径已区分,避免与后文自蒸馏对比(同为对 vanilla 口径)混用。
边界
- 表 11 只刊 9B→2B、9B→4B、30B→4B、30B→8B 四对的接管成功率,WebShop 用 judge 且按所购商品分组,其接受率无法用 Bernoulli 公式直接代入,本轮未估。
- 表 4 的 consensus 行「votes with m=2 everywhere」是原文逐字规则,因此 ScienceWorld 的 39.5 与主表 47.8 不构成同口径对照,8.3 点的差含阈值差与规则差两层,本轮未拆分。
- 表 12 / 表 13 的 seen / unseen 与 256-goal pool 分层未逐格回源;论文称 R2S 在全部 24 个 split 的均值上均超过基线。
- 阶段二要求的 36 次 150 步训练在本轮未执行, 的四个份额目前仍是无点估计的设计。
终审核验记录(2026-10-21)
终审独立于编辑轮复算:全部数字回
arxiv.org/html/2610.28586v1,先取<math alttext>再按<tr>/<td>结构化解析表格;五个相关工作编号全部回 abs 页比对citation_title/citation_date;编辑轮的三处订正逐条复核。
| 终审项 | 结果 |
|---|---|
| 编辑订正 1(drop 分表) | ✅ 表 1 确为 hedging 8.2 / searching 6.2 / other 3.5(ALFWorld),表 10 才是 committing 6.1 与 action 0.1;两表分列成立 |
| 编辑订正 2( 改为可复算口径) | ✅ 表 1 两列之差为 2.0 个百分点;表 10「相对其余思考」为 hedging 2.4(2.1–2.8)对 searching 1.8(1.4–2.2),差 0.6 个百分点,区间在 2.1–2.2 相接 |
| 编辑订正 3(+17.0 与 +17.8 分口径) | ✅ 摘要 “gain over the best of them … averages +17.0 points”(9B)/ +8.5(30B-A3B);正文 §5.2 “over vanilla OPD averages +17.8”(9B)/ +9.8(30B-A3B)。按表 2 复算:对最强基线均值 17.02、对 vanilla 均值 17.82,两个口径各自闭合 |
| 表 11 接受率复算(m=1 / m=2) | ✅ ScienceWorld 95.0 / 97.0 / 97.4 / 98.0%;ALFWorld 98.1 / 98.6 / 91.1 / 91.5%,与正文区间逐格一致 |
| 「十二个 cell 中十一个」及其例外 | ✅ 原文 “finish more often than the student does in eleven of the twelve cells (Table 11)“,例外为「Qwen3-8B 学生 + ALFWorld」,与表 11 的 45.5 对 42.2 对应 |
| 自蒸馏(表 3) | ✅ R2S 72.7 / 58.1 / 42.4 对 vanilla 49.9 / 33.3 / 28.2,差 22.8 / 24.8 / 14.2;9B→4B 为 81.9 / 55.9 / 47.8 对 65.8 / 34.6 / 34.6,差 16.1 / 21.3 / 13.2,自蒸馏更高的论断成立 |
| 表 4 与表 5 | ✅ ground truth 85.9 / 65.0 / 49.0,consensus 81.9 / 63.1 / 39.5,judge 82.6 / 55.9 / 50.3;表 5 三行为 vanilla OPD / label-SFT / R2S(65.8→76.8→81.9 等),确不隔离截断 |
| 子集计数(表 10) | ✅ Scored 458 / 107 / 403,Turn≥5 814 / 689 / 682,Lost 489 / 647 / 555;107/689 = 15.5% |
| 附录 C 原文 | ✅ “Reference walkthrough” 标题、“presents it as a successful expert completion”、top-16 renormalize、m=2(ALFWorld)/ m=1(ScienceWorld)、WebShop judge 为 Qwen3.5-9B 开推理且按所购商品分组、「最大组中最短」 |
| 预算 | ✅ Limitations 原文逐字;另核 自洽 |
| 种子口径 | ✅ 表 2 为「三次解码」,表 8 与图 3 为「三次训练 runs」,正文已区分 |
| 五个相关工作编号 | ✅ 2608.01953 / 2607.05184 / 2607.13643 / 2605.12652 的 citation_title 与 citation_date 全部逐字一致(08-03 / 07-06 / 07-15 / 05-12) |
终审追加的一条判据(供下轮复用):本提案三处订正都不是数字错误,而是归属/口径错误(分表归属、可复算口径、增益基准)。这类错的共同形态是「每个数都在论文里找得到,但它们不属于同一个分母」。凡稿件出现「论文给出了 X」+ 一个自己算出来的差,优先检查 X 与这个差是否同表、同口径、同基准。