研究提案 已修订

把结局信息从目标截断、长度偏置与成功断言里剥出来:Agentic OPD 评分器修复的四因子解耦账本

针对 R2S 式「用接管轨迹修复评分器」的 agentic OPD 流水线,提出 SRDL 四因子干预空间与六栏账本,把目标支撑集截断、最短参考长度偏置、成功言语断言与筛选接受率从「结局信息注入」这一归因中分离。

Agent 训练数据 On-Policy Distillation 评分器修复 混淆解耦 因果归因 可复现性审计 Agentic RL

背景与动机

Agentic on-policy distillation(OPD)让学生在自己采的轨迹上行动,由更强的教师对每一个 token 打分,教师从不进入回路。整条训练信号就是教师对学生自身历史的下一个 token 分布。这个设定近两年被写进多教师后训练流水线,也催生了一批针对「长程漂移」的修补方法:缩短 episode、把部分回合交给教师、回放教师前缀、在两者分歧处插入教师桥接。这些方法的共同点是改学生侧或改轨迹侧,打分器原封不动。

R2S(arXiv:2610.28586,v1 2026-10-20)换了方向。它先给「教师接管仍能完成、学生却被自己的分数放行」这一现象取证:从未经训练学生与教师分歧最大的回合(第 5 回合起)接管,K=8 次,ALFWorld 上接管成功率 44.2% 高于学生自己的 39.9%,WebShop 10.2% 高于 6.1%,ScienceWorld 27.5% 高于 18.6%。学生并没有漂出教师的能力范围,问题出在逐 token 打分看不见结局,于是把「安全但拖延」的动作放过去了。修复办法是从这些状态跑接管,用一条通过奖励无关检查的接管作特权上下文,让冻结的教师重打一遍学生后续每个 token 的分数,把这些 informed 分数当目标微调教师副本,最后把副本冻结成唯一的 scorer。三个环境、两个教师、四个学生共十二个 cell 全部超过三个强基线,9B 教师那组平均 +17.0 点。

需要分清两个平均增益:摘要的 +17.0 是相对每格最强基线的增益,正文 §5.2 给的 +17.8 才是对 vanilla OPD 的增益(30B-A3B 教师对应 +8.5 与 +9.8)。本提案下文牵涉自蒸馏对比时一律用后者口径。

问题不在结论,在于这一次「修复」里打包了四个变化,只有其中一个被写成机制。

第一个裂口是目标分布被截断。 附录 C 写明:目标 q+q^+ 在每个位置只保留教师概率最高的 16 个 token 再 renormalize,损失函数是它与 TϕT_\phi 全词表 log-softmax 的交叉熵。对照臂 vanilla OPD 用的却是未截断的全词表 T0T_0。支撑集从词表大小压到 16,目标熵随之骤降,TϕT_\phi 被训成一个明显更尖锐的分布。全文中没有任何一臂把「截断」单独关掉。

这里要预先挡掉一个可能的反驳。论文表 5 确实有「Takeovers × Informed targets」的组件消融(ALFWorld:65.8→76.8→81.965.8 \to 76.8 \to 81.9,WebShop:34.6→46.7→55.934.6 \to 46.7 \to 55.9,ScienceWorld:34.6→41.0→47.834.6 \to 41.0 \to 47.8),但它的三行是 vanilla OPD、label-SFT 与 R2S:所谓 informed targets 指的是软目标 q+q^+ 与硬 token 标签之别,不是 top-16 与全词表之别。截断这一因子仍然没有任何一臂单独关掉过。

第二个裂口是参考轨迹取「最短通过者」。 每个状态跑 8 条独立接管,筛出通过者后取其中最短的一条。对 K 个样本取最小值是标准的长度偏置:即便 8 条同分布,最短者也会系统性地短于典型样本。而 R2S 最漂亮的下游证据恰恰是长度类读数——表 8 显示学生搜索回合从 15.9 降到 11.4(ALFWorld)、7.8 降到 4.1(WebShop)、10.9 降到 8.2(ScienceWorld),总回合数同步下降,表 7 的耗尽回合率几乎减半。论文把「随机通过」与「最长通过」两臂都留空了。

第三个裂口是成功以言语断言的形式进入上下文,而不是以内容的形式。 附录 C 逐字交代:接管消息被插在学生第一回合之前,标题是 “Reference walkthrough”,且「the header presents it as a successful expert completion of the same task」。也就是说模型被告知这段是专家的成功解。缺两臂:内容不变、断言翻转为「一次失败尝试」;以及断言不变、步序打乱的伪轨迹。没有这两臂,就无法区分「教师读出了结局」与「教师被提示这是专家解」。

第四个裂口是筛选与标签同源,且接受率从未刊出。 状态保留与否取决于这 8 条接管自己的结局。附录 C 给出阈值:ALFWorld 用 m=2,ScienceWorld 用 m=1,WebShop 用 LLM judge(Qwen3.5-9B,开推理)。把表 11 的每条接管成功率当 Bernoulli 参数代入,m=1 的 ScienceWorld 接受率 1−(1−p)81-(1-p)^8 落在 95%–98%,m=2 的 ALFWorld 也有 91%–99%。名为 consensus 的筛选近乎全盘接受,同时被选中的那条又是从通过者里取最短。 winner’s curse 与长度偏置叠加在同一条参考上。

附录 C 的逐字规则比「筛出通过者取最短」更细一层:consensus 按结局分组,保留最大组不少于 mm 条的状态;WebShop 的 judge 逐笔核对购买物与指令,通过者再按所购商品分组;最后选的是最大组中最短的那条,不是全体通过者中最短的那条。这个差别对长度偏置的方向没影响(仍是最小值统计量),但它让「最大组」本身成为一个额外的、随 pp 漂移的选择层。代入用的表 11 接管成功率(K=8)为:ALFWorld 54.6 / 56.7 / 41.8 / 42.2,ScienceWorld 31.2 / 35.6 / 36.6 / 38.8(按 9B→2B、9B→4B、30B→4B、30B→8B 排列)。据此 ScienceWorld(m=1)接受率逐格为 95.0% / 97.0% / 97.4% / 98.0%,ALFWorld(m=2,P(Bin(8,p)≥2)P(\mathrm{Bin}(8,p)\ge 2))为 98.1% / 98.6% / 91.1% / 91.5%。顺带一提,表 11 里 30B→8B 的 ALFWorld 是学生 45.5 反超接管 42.2,这也是全文「十二个 cell 中十一个」这句话的例外所在。

测量侧还有三条硬缺口。

drop 证据只在幸存子集上算。 表 10 的 Scored 列(至少一条接管完成的状态)为 ALFWorld 458、WebShop 107、ScienceWorld 403,对应 Turn≥5 的 814、689、682。WebShop 只有 15.5%。没有任何完成接管的状态被结构性排除在「informed 分数是否下行」的统计之外。

drop 对拖延并不特异。 这五个数字分属两张表,需要分开念。表 1 的 drop 列(ALFWorld)为 hedging 8.2%、searching 6.2%、other 3.5%;表 10 的 drop 列才是 committing 6.1% 与 action 0.1%,两表同一口径(表 10 表头注明 drop 定义同表 1),所以可以横着比。比下来:搜索词 6.2% 与「take / put / use / buy / now / done」这类决断词 6.1% 的降幅几乎相同,动作 token 基本不动(0.1%)。更简约的解释是:任何专家示范进了上下文,学生自己写的整段思考都变得更不可预测,而不是教师专门压低了拖延。

方向特异性上,原稿写的 σspec=2.1\sigma_{\rm spec}=2.1 个百分点应先落回可复算的量:表 1 里 hedging 与 searching 之差只有 8.2−6.2=2.08.2-6.2=2.0 个百分点;表 10 另给了一个更直接的特异性读数——各类相对「其余思考」的平均对数概率变化,ALFWorld 为 hedging 2.4(95% 区间 2.1–2.8)、searching 1.8(1.4–2.2),两者相差 0.6 个百分点且区间在 2.1–2.2 处几乎相接。也就是说拖延类词确实比搜索类词掉得更多一点,但这个「更多」的量级远小于它相对其余思考的整体降幅,仍不足以支撑「教师专门压低拖延」的读法。四因子设计里 cc(真/伪接管)这一因子正是为分离它而设。

十二个 cell 的说法没有训练种子支撑。 每个 cell 是一次 150 步训练,表内 ±std 是最终 checkpoint 的三次解码,不是三次训练(附录 D 逐字:mean ± std over the three decodes of the final checkpoint,即训练中评估加两次重载解码)。图 3 那对(9B→4B)跑了三个训练 runs,其余十一个 cell 的训练方差从未出现。

有一处例外要记下来,否则这条批评会被过度延伸:表 8 的回合数读数是「最后十次训练更新内、三次训练 runs 的均值 ± 标准差」,图 3 同样是三次训练 runs。也就是说本提案在第二条裂口里引用的长度类证据(15.9→11.4 等)恰恰是全篇唯一带训练方差的下游读数;真正缺种子的是表 2 的十二格成功率。同理,图 3 的三条 R2S 曲线共享同一个被修复教师,其带宽只反映学生训练方差,不含修复侧方差。

预算侧同样不对称。限制小节自己承认:蒸馏之前 R2S 花掉未训练学生的 episode、N×K = 19,200 条接管 episode、一次筛选、一次教师全参微调(1 epoch,lr 2×10⁻⁶,批 8 个状态)。基线拿不到这份预算,文中也没有把这份开销折算成训练步数的等预算臂。

最刺眼的一格是自蒸馏。表 3 里 Qwen3.5-4B 自教自,接管、筛选、打分全由 4B 自己跑,没有更大的模型进入流水线,增益却是 +22.8 / +24.8 / +14.2,反而高于 9B 教师那格的 +16.1 / +21.3 / +13.2。若增益来自教师的结局知识,这一格应当最小。

奖励自由的代价也没有入账。表 4 中 ground truth 在 ALFWorld 上 85.9 高于 consensus 81.9 与 judge 82.6,在 WebShop 上 65.0 高于 63.1 与 55.9,比 LLM judge 高出 9.1 点。正文的表述是「既不依赖读取奖励,也不依赖某一条规则」,把这个差留在了正文之外。附带一提,主表 ScienceWorld 用的是 m=1,而表 4 里被当作规则稳健性证据的 consensus 行用的是 m=2(39.5),主表的 47.8 高出 8.3 点。

核心思路

本提案不提出第五种修法,而是把「修复」从一个二值开关升级成四因子可控的干预空间,配一本六栏账本:任何声称把 rollout 的结局信息注入 scorer 的方法,都必须先分离出结局信息份额 αout\alpha_{\rm out},才能把下游增益归给结局。

四因子定义如下。cc 是特权上下文的内容,取真接管或伪接管(步序置换加动作槽替换,保留长度与 unigram 分布);aa 是标题的断言档位,取成功、失败、中性;kk 是目标分布的支撑集,取 16 或全词表;ss 是参考选择规则,取最短、随机、最长。记 S(c,a,k,s)S(c,a,k,s) 为学生成功率,SbaseS_{\rm base} 为 vanilla OPD,原版即 SR2S=S(真,成功,16,最短)S_{\rm R2S}=S(\text{真},\text{成功},16,\text{最短})。四个份额定义为

αtrunc=SR2S−S(真,成功,全词表,最短)SR2S−Sbase,αlen=SR2S−S(真,成功,16,最长)SR2S−Sbase,\alpha_{\rm trunc}=\frac{S_{\rm R2S}-S(\text{真},\text{成功},\text{全词表},\text{最短})}{S_{\rm R2S}-S_{\rm base}},\quad \alpha_{\rm len}=\frac{S_{\rm R2S}-S(\text{真},\text{成功},16,\text{最长})}{S_{\rm R2S}-S_{\rm base}},

αassert=SR2S−S(真,失败,16,最短)SR2S−Sbase,αout=S(真,成功,全词表,随机)−SbaseSR2S−Sbase.\alpha_{\rm assert}=\frac{S_{\rm R2S}-S(\text{真},\text{失败},16,\text{最短})}{S_{\rm R2S}-S_{\rm base}},\quad \alpha_{\rm out}=\frac{S(\text{真},\text{成功},\text{全词表},\text{随机})-S_{\rm base}}{S_{\rm R2S}-S_{\rm base}}.

四者加伪轨迹臂的残差应当落在 [0,1][0,1] 且近似可加。αout≤0.5\alpha_{\rm out}\le 0.5 即结局信息不是主因,论文的机制叙事需要在目标构造或参考选择层面重写。

与现有工作的区别在这一层。TCOD-F2B 排 episode 深度课程,Guided-OPD 分配教师控制的回合,FutureBridge 在分歧处验证教师桥接,三者都保留原 scorer;R2S 第一次改 scorer 本身,但它是一次性改的,四个变化捆在一趟微调里。SRDL 要求把这一趟拆开,并把拆开的读数变成方法发布时的必刊项,而不是留给读者反推。

六栏账本各自有可查的数。目标构造账记支撑集 kk、H(q+)\mathrm{H}(q^+) 与 H(T0)\mathrm{H}(T_0) 之差 ΔH\Delta\mathrm{H}、修复后 H(Tϕ)\mathrm{H}(T_\phi)、训练期学生采样熵的轨迹。接管与选择账记每条接管成功率 pp、KK、mm、接受率 aacc=P(Bin(K,p)≥m)a_{\rm acc}=P(\mathrm{Bin}(K,p)\ge m)、被选参考在同状态通过者中的长度分位 qlenq_{\rm len}。断言账记三档标题乘两档内容共六臂,报 σspec\sigma_{\rm spec} 与两档内容下的差。子集账记 Scored / Turn≥5 / All 三层状态数与 token 数,并要求在无完成接管的状态上单列 plain 与 informed 的差。预算账记修复侧环境交互数、教师微调 GPU 时、学生步数与折算出的等预算步数 teqt_{\rm eq}。种子与裁判账记每 cell 训练种子数、解码方差与种子方差的分解、judge 与被修教师是否同一 checkpoint,以及两个退化裁判(永远批准、永远拒绝)的接受率。

技术路线

阶段一做复现与插桩。在 Qwen3.5-9B → Qwen3.5-4B 的 ALFWorld、WebShop、ScienceWorld 三个 cell 上复现 R2S 与 vanilla OPD,把四个开关插进特权上下文构造、目标构造、参考选择三处,产出目标构造账、接管选择账、子集账的原始计数。门限是复现的 R2S 与 vanilla 差不低于论文值的 70%,且 Scored 子集计数与表 10 对齐(458 / 107 / 403)。

阶段二跑四因子网格。主设计拆成两块,先把 kk 与 ss 的 2×3 = 6 臂跑满 3 个训练种子,再把 cc 与 aa 的 2×3 = 6 臂跑满 3 个种子,共 36 次 150 步训练;交互项只在 ALFWorld 上抽 8 臂做校验。主终点是成功率与耗尽回合率,副终点是搜索回合数、学生采样熵、目标 KL。门限是 αout\alpha_{\rm out} 的 bootstrap 区间宽度不超过 0.3。

阶段三重做机制读数。把表 1 的 drop 类证据改成 2(内容真/伪)× 3(标题档)× 2(有无完成接管)的分层统计,报 σspec\sigma_{\rm spec} 与方向一致性。判据是:若伪接管臂的 drop 与真接管臂落在彼此的 95% 区间内,「只有完成接管才能让分数转向」这一句不成立。

阶段四补等预算与时效。等预算臂把 19,200 条接管 episode 与教师微调的墙钟折算成训练步数 teqt_{\rm eq},补给三个基线;时效臂在第 75 步重新挖掘一次状态,测训练后期状态到最近 mined 状态的覆盖率 ρstale\rho_{\rm stale},报迭代修复的增量。

五处技术难点需要提前设计。伪接管要在保留 token 分布的前提下破坏结局内容,否则 cc 与 kk 混淆,构造办法是步序置换加动作槽替换,并检验长度分布与 unigram 分布的匹配度。全词表目标下 TϕT_\phi 会向 T0T_0 塌缩,需要等修复幅度对照:定义 ρ=Es∥log⁡Tϕ−log⁡T0∥1\rho=\mathbb{E}_s\|\log T_\phi-\log T_0\|_1,要求各臂 ρ\rho 匹配到 ±10%,否则「没有增益」只是「没修动」。三档标题的语用强度不对称,失败断言有被忽略的风险,补一个中性档做参照,并用参考消息首步动作在 TϕT_\phi 首动作分布上的权重当作「标题被遵守」的行为读数。等预算折算要把环境交互与 GPU 时换成墙钟这一统一货币。插桩必须挂在 scorer 接口而不是 R2S 代码里,这样账本才能直接套到 FutureBridge、Multi-Rollout OPD 这类同样使用特权上下文加筛选的方法上。

预期成果

定量目标是给出 αtrunc\alpha_{\rm trunc}、αlen\alpha_{\rm len}、αassert\alpha_{\rm assert}、αout\alpha_{\rm out} 四个份额的点估计与 95% 区间,并检验三条可证伪预测。截断份额 αtrunc\alpha_{\rm trunc} 的预测值不低于 0.5,即把 top-16 换成全词表后增益至少掉一半。伪接管臂与原版的差应落在训练种子噪声带内(±3 点)。参考从最短换成最长之后,搜索回合差应缩小不少于 50%。三条里成立两条,就足以要求这类方法在发布时把目标构造与参考选择写成显式超参。

定性产出是一份「评分器修复类方法」的披露清单,含八个必刊项:目标支撑集 kk 与 ΔH\Delta\mathrm{H}、接管数 KK 与阈值 mm、接受率 aacca_{\rm acc}、被选参考的长度分位 qlenq_{\rm len}、特权消息的成功断言原文、drop 类统计的三层分母、训练种子数与方差分解、修复侧与训练侧的双边预算。插桩工具挂在 scorer 接口上,可在不改方法代码的前提下产出其中四项。

若三条预测成立,影响落在方向的排序上:agentic OPD 的下一轮改进应当先做目标分布的支撑集与参考轨迹的抽样规则,而不是更复杂的接管筛选。当前把增益整体归给「结局信息」的写法会让社区沿着接管侧继续加码,而四条伴随干预一个都还没被关掉过。

相关工作

审计对象是 R2S 本身,arXiv:2610.28586,《Capable Teacher, Myopic Scorer: Reward-Free Teacher Repair for Agentic On-Policy Distillation》,2026-10-20。它第一次提出 rollout–scorer gap 并给出奖励无关的修复流程,也是本提案四个因子与六栏账本的来源。

训练口径上最接近的对照是 FutureBridge,arXiv:2608.01953,《Look Ahead Before You Distill: Future Trajectory Validation of Teacher Guidance for Agentic On-Policy Distillation》,2026-08-03。它同样从高分歧状态续接并验证教师桥接,但学生侧保留原 scorer,本提案的等预算臂与伪接管臂都需要以它为参照重跑一遍。

特权上下文的非内容效应在 arXiv:2607.05184《Rethinking On-Policy Self-Distillation for Thinking Models》(2026-07-06)里有直接证据:特权上下文会抑制自纠正、损害思考型模型。本提案的断言因子 aa 即把这条观察变成可控开关。

标签无关的共识选择来自 CANON,arXiv:2607.13643,《Consensus as Privileged Context for Label-Free Self-Distillation》,2026-07-15。R2S 的 consensus 筛选沿用这条思路,本提案据此把 mm 与 KK 写进接管选择账并要求刊出接受率。

同辈轨迹作为上下文的先例是 Multi-Rollout OPD,arXiv:2605.12652,《Multi-Rollout On-Policy Distillation via Peer Successes and Failures》,2026-05-12。它把同伴的成功与失败一起标进教师上下文,本提案的失败断言档与之呼应,差别在于把「失败」从内容层移到断言层。

引用核验记录

核验日期 2026-10-21。一手源为 arXiv abs 页的 citation_title / citation_date 元数据,数值回源为 arxiv.org/html/2610.28586v1(先取 <math alttext> 再剥标签)。

引用对象核验项结果
arXiv:2610.28586abs 页标题《Capable Teacher, Myopic Scorer: Reward-Free Teacher Repair for Agentic On-Policy Distillation》,日期 2026/10/20✅ 与正文一致
R2S 接管取证(表 1)ALFWorld 39.9 / 44.2,WebShop 6.1 / 10.2,ScienceWorld 18.6 / 27.5✅ 逐格命中
R2S 主表(表 2)9B 那组 R2S 为 77.9 / 81.9 / 57.9 / 55.9 / 37.9 / 47.8;十二格均高于 TCOD-F2B、Guided-OPD、FutureBridge✅ 逐格验算成立
9B 教师平均增益摘要「over the best of them」+17.0;正文 §5.2「over vanilla OPD」+17.8✅ 两个口径并存,已在正文分开
自蒸馏(表 3)4B 自教自 R2S 72.7 / 58.1 / 42.4,vanilla 49.9 / 33.3 / 28.2✅ 差值 22.8 / 24.8 / 14.2 复算一致
选择规则消融(表 4)ground truth 85.9 / 65.0 / 49.0,consensus 81.9 / 63.1 / 39.5,judge 82.6 / 55.9 / 50.3✅ 逐格命中
组件消融(表 5)三行为 vanilla OPD / label-SFT / R2S✅ 存在,但不隔离截断(见正文补注)
子集计数(表 10)Scored 458 / 107 / 403;Turn≥5 814 / 689 / 682;Lost 489 / 647 / 555✅ 逐格命中,107/689 = 15.5%
drop 分表hedging / searching / other 属表 1;committing / action 属表 10⚠️ 原稿合并为「表 10」,已订正
附录 C 特权消息标题逐字为 “Reference walkthrough”,且 “the header presents it as a successful expert completion of the same task”✅ 逐字命中
附录 C 训练超参1 epoch、lr 2×10−62\times10^{-6}、batch 8 states、bf16、10% goal-disjoint 留出✅ 逐项命中
预算(Limitations)N×K=19,200N\times K = 19{,}200 takeover episodes✅ 命中
表 11 接受率复算ScienceWorld m=1 为 95.0–98.0%;ALFWorld m=2 为 91.1–98.6%✅ 与正文区间一致
种子口径表 2 为三次解码;表 8 与图 3 为三次训练 runs⚠️ 原稿未区分,已补注

本轮订正与边界

订正

  1. 原稿称「表 10 的 drop 列」含 hedging / searching / other 三类,实为表 1;表 10 只刊 committing 与 action。五个数都是真的,但分属两表,已按原文分表重述。
  2. 原稿的 σspec=2.1\sigma_{\rm spec}=2.1 个百分点改为可复算的两个量:表 1 的 hedging 与 searching 之差为 2.0 个百分点;表 10 相对「其余思考」的读数为 2.4(2.1–2.8)对 1.8(1.4–2.2),差 0.6 个百分点。
  3. +17.0 与 +17.8 的口径已区分,避免与后文自蒸馏对比(同为对 vanilla 口径)混用。

边界

  • 表 11 只刊 9B→2B、9B→4B、30B→4B、30B→8B 四对的接管成功率,WebShop 用 judge 且按所购商品分组,其接受率无法用 Bernoulli 公式直接代入,本轮未估。
  • 表 4 的 consensus 行「votes with m=2 everywhere」是原文逐字规则,因此 ScienceWorld 的 39.5 与主表 47.8 不构成同口径对照,8.3 点的差含阈值差与规则差两层,本轮未拆分。
  • 表 12 / 表 13 的 seen / unseen 与 256-goal pool 分层未逐格回源;论文称 R2S 在全部 24 个 split 的均值上均超过基线。
  • 阶段二要求的 36 次 150 步训练在本轮未执行,α\alpha 的四个份额目前仍是无点估计的设计。

终审核验记录(2026-10-21)

终审独立于编辑轮复算:全部数字回 arxiv.org/html/2610.28586v1,先取 <math alttext> 再按 <tr>/<td> 结构化解析表格;五个相关工作编号全部回 abs 页比对 citation_title / citation_date;编辑轮的三处订正逐条复核。

终审项结果
编辑订正 1(drop 分表)✅ 表 1 确为 hedging 8.2 / searching 6.2 / other 3.5(ALFWorld),表 10 才是 committing 6.1 与 action 0.1;两表分列成立
编辑订正 2(σspec\sigma_{\rm spec} 改为可复算口径)✅ 表 1 两列之差为 2.0 个百分点;表 10「相对其余思考」为 hedging 2.4(2.1–2.8)对 searching 1.8(1.4–2.2),差 0.6 个百分点,区间在 2.1–2.2 相接
编辑订正 3(+17.0 与 +17.8 分口径)✅ 摘要 “gain over the best of them … averages +17.0 points”(9B)/ +8.5(30B-A3B);正文 §5.2 “over vanilla OPD averages +17.8”(9B)/ +9.8(30B-A3B)。按表 2 复算:对最强基线均值 17.02、对 vanilla 均值 17.82,两个口径各自闭合
表 11 接受率复算(m=1 / m=2)✅ ScienceWorld 95.0 / 97.0 / 97.4 / 98.0%;ALFWorld 98.1 / 98.6 / 91.1 / 91.5%,与正文区间逐格一致
「十二个 cell 中十一个」及其例外✅ 原文 “finish more often than the student does in eleven of the twelve cells (Table 11)“,例外为「Qwen3-8B 学生 + ALFWorld」,与表 11 的 45.5 对 42.2 对应
自蒸馏(表 3)✅ R2S 72.7 / 58.1 / 42.4 对 vanilla 49.9 / 33.3 / 28.2,差 22.8 / 24.8 / 14.2;9B→4B 为 81.9 / 55.9 / 47.8 对 65.8 / 34.6 / 34.6,差 16.1 / 21.3 / 13.2,自蒸馏更高的论断成立
表 4 与表 5✅ ground truth 85.9 / 65.0 / 49.0,consensus 81.9 / 63.1 / 39.5,judge 82.6 / 55.9 / 50.3;表 5 三行为 vanilla OPD / label-SFT / R2S(65.8→76.8→81.9 等),确不隔离截断
子集计数(表 10)✅ Scored 458 / 107 / 403,Turn≥5 814 / 689 / 682,Lost 489 / 647 / 555;107/689 = 15.5%
附录 C 原文✅ “Reference walkthrough” 标题、“presents it as a successful expert completion”、top-16 renormalize、m=2(ALFWorld)/ m=1(ScienceWorld)、WebShop judge 为 Qwen3.5-9B 开推理且按所购商品分组、「最大组中最短」
预算 N×K=19,200N\times K=19{,}200✅ Limitations 原文逐字;另核 N=2,400×K=8N=2{,}400 \times K=8 自洽
种子口径✅ 表 2 为「三次解码」,表 8 与图 3 为「三次训练 runs」,正文已区分
五个相关工作编号✅ 2608.01953 / 2607.05184 / 2607.13643 / 2605.12652 的 citation_title 与 citation_date 全部逐字一致(08-03 / 07-06 / 07-15 / 05-12)

终审追加的一条判据(供下轮复用):本提案三处订正都不是数字错误,而是归属/口径错误(分表归属、可复算口径、增益基准)。这类错的共同形态是「每个数都在论文里找得到,但它们不属于同一个分母」。凡稿件出现「论文给出了 X」+ 一个自己算出来的差,优先检查 X 与这个差是否同表、同口径、同基准。

关联内容

研究 🔗 相关
环境合成质量门的可辨识性审计:分离裁判同源、门—部署口径错位与机制对齐对计算机使用智能体训练增益的贡献
针对 WildAWM 式计算机使用智能体环境—任务—验证器合成流水线,提出判据溯源与可辨识性账本,把裁判同源自证、门与部署口径错位、机制与基准不同向从同一次训练增益中分离。
研究 🔗 相关
长上下文指令数据增益的可辨识性审计:分离修复次数、训练预算与量具召回对结构质量的贡献
针对 LongForge 式证据—断言推理图数据质量计量,提出三重可辨识账本,把生成端质量、结构分布增益与测量可信度从同一批实验中分离。
研究 🔗 相关
把准则集变成一等记账单位:验证器门控多专家在线蒸馏中的弃权漂移与准则银行压力测试
针对 VG-OPD 把监督分配下沉到准则级却未对准则集本身记账的问题,提出准则集账本、双分母重打分与证书式压力测试,量化验证器弃权对奖励与门控的同向扭曲。
研究 🔍 深入
精读:把回合级信用从斜率换成终点——TreeOPSD 的仿射教师与残差匹配
把终端奖励沿共享前缀树回传成回合级信用,再用仿射映射换成冻结的伯努利教师做 Forward KL 蒸馏:第一个 optimizer block 精确恢复树策略梯度,后续块拿当前残差当系数,越过大就反向。Deep Research 平均分在 Qwen3-30B-A3B 上比 GRPO 高 4.97,拆开看 54.7% 的增益来自两个百题集合,回传权重的长度病态也留着没治。