单向符号门下的恢复信用可辨识性账本:区分「删除终端信用」与「赋予恢复信用」
针对 RIPPLE 式阶段化二值门只能抑制、不能创造正向信用这一结构限制,提出单向门信用账本(SCL):把门方向、标签溯源、分层对撞、对照推断与训练成本拆成五本可刊出的账,并给出反向门臂与反事实归因臂两条等预算对照。
背景与动机
长程编码智能体的训练数据工程正在从「收集成功轨迹」转向「标注中间决策的功能角色」。RIPPLE(arXiv:2610.31276,v1 2026-10-22,cs.AI)是本轮这一转向里结构最完整的一项工作:它先把恢复拆成触发()、诊断()、纠正动作()三段,再为每个阶段配一个二值门 、、,用门控后的优势 替代 GRPO 的均匀广播。四个仓库级基准上算术均值 +4.8 分(Verified +1.3、Pro +6.5、Multilingual +4.8、SWE-Compass +6.4),部署侧零外部调用、1.17 倍 actor token。
式(11)的代数决定了这套门只能单向工作。轨迹失败时 ,门控给有效恢复段的结果是 ,而不是正值:有效恢复被免罚,却拿不到任何正向信用。成功轨迹里 的无效段同样落到 ,被删掉的是它本可继承的正向信用。三个门做的全部事情是删除终端信用,从不创造恢复信用。论文自己在正文 §3(式 11 之后)写明了同一件事的另一种形式——组内终端奖励完全一致时 ,符号门无法产生策略梯度信号。
这一区分直接决定了哪些量必须登场而论文一个都没刊出。第一,正向恢复梯度只落在「组内有方差」「该轨迹成功」「门判有效」三条都成立的位置,因此要先知道训练组里非退化组的占比 ,才能知道 RL 阶段的有效样本量。第二,门控后每个恢复 token 的整形优势落在正、零、负三档中的哪一档,决定了这条目标函数究竟在教什么,而 从未出现。第三,「不让中间决策盲目继承终端结果」是靠删除实现的,那么删除了多少、剩下了多少就是这条机制唯一的强度读数,论文只给了一个名为 positive-credit contamination 的派生量(38.4% → 11.2%),没有给删除份额本身。
现有过程监督与信用分配路线都绕不开同一个盲区。Lightman 式过程监督加的是标量过程奖励,MURPHY、pivotal-aware retry、TRACE 做的是终端回报的重新分配,ICRL 内化自批评但只在轨迹层。把「是否继承」做成二值门是 RIPPLE 的新增结构,而二值门有一类专属失效模式:门的错误会被静默地折算成「多少 token 拿不到梯度」,既不会抬高损失,也不会在消融表里露面。本提案的目标是把这类失效模式变成可刊出的一级量。
核心思路
提出单向门信用账本(Sign-gated Credit Ledger, SCL):不改动 RIPPLE 的目标函数,只把它已经产生但从未登记的量补齐,并补三条等预算对照臂。账本分五本。
第一本登记门的方向。三个量:(组内终端奖励非恒定的训练组占比,即 RL 阶段的有效样本量)、(恢复 token 整形优势的三档占比)、 的反向读数——被门静默置零的比例。 若接近 1,说明阶段化信用在多数恢复 token 上等价于不更新,机制强度全部来自少数 token。
第二本登记标注溯源。论文报告的人工审计 Cohen’s 是 0.81(边界)、0.76(诊断)、0.73(动作归因),但附录 B.2 写明了训练时的 GRM 不用于评分,评分由另一个模型族的 evaluator 完成——这三项 属于评分侧,而塑造梯度的门标签来自训练侧的 GRM 教师、frozen consistency model 与 attribution judge,三者的对人一致率全文未测,人工审计子集的规模也未报。账本要求逐个给出 、、 与审计子集体量 ,并报 。
第三本登记分层对撞。附录 F.3 的 2×2 表给出:证据充分且状态可逆(,42.7 → 63.1,+20.4)、证据充分不可逆(,+5.8)、证据不足可逆(,+4.7)、两者皆否(,+1.7)。四格上 base 与增益的秩相关为 +1.0。而附录 D.2 的静态难度四分位给出反方向的秩序:Easy 71.2/73.0(+1.8)、Medium 58.4/62.8(+4.4)、Hard 44.8/52.7(+7.9)、Extreme 28.8/40.7(+11.9),base 与增益的秩相关为 −1.0。两组分层在难度轴上符号相反,正文却用同一句「增益跟随恢复机会」概括。账本要求把难度四分位与 2×2 交叉成 4×4 表,并把 800 条可恢复前缀之外的 400 条非偏离前缀单独成行。
第四本登记对照与推断。主表(表 1)只有点估计;附录 D.1 给出的是相对 base 的仓库聚类区间,半宽分别为 1.5、2.6、2.7、3.2 分。而 RIPPLE 相对最强受控变体 ICRL-style 的边际只有 +0.5、+1.3、+0.9、+1.3(均值 1.0),四项全部落在对应区间的半宽之内,且附录 B.3 的 Holm 校正只覆盖「四个基准层的主对照」。账本要求对每一个受控变体补区间与 McNemar 检验,并报每个基准的仓库聚类数。
⚠️ 口径提示(2026-10-25 回源):附录 D.1 那四个区间是 RIPPLE 对 base 的仓库聚类区间(
[-0.2,2.8]、[3.9,9.1]、[2.1,7.5]、[3.2,9.6],半宽 1.5 / 2.6 / 2.7 / 3.2),不是 RIPPLE 对 ICRL-style 的区间。把 +0.5 / +1.3 / +0.9 / +1.3 拿去比这些半宽,得到的是「边际小于 base 对照的不确定性」这一间接结论,不是「边际不显著」的正式检验。方向不变(边际确实小于误差棒),但第四本账要求的是直接做 RIPPLE−ICRL 的配对检验,不可复用 D.1 的区间替代。另核:四个半宽由区间端点复算无误,(2.8-(-0.2))/2=1.5、(9.1-3.9)/2=2.6、(7.5-2.1)/2=2.7、(9.6-3.2)/2=3.2。
第五本登记成本归因。部署侧成本表列到小数点后两位(外部调用 0 / 4.8 / 10.9,actor token 1.00–1.17 倍,p95 延迟 1.00–2.61 倍),训练侧却是空白:
每次 code-writing 动作后的快照执行、每条候选前缀的 GRM 调用、每条批评的 consistency model 调用、每个纠正段的 attribution judge 调用,全部未计;论文在 Limitations 里自陈「no complete amortized analysis」。而在线同教师参考在四个基准上是 76.0、57.9、73.8、31.0,四项全部高于 RIPPLE 的 75.9、57.3、73.6、30.7。内化换来的是每次部署省 4.8 次外部调用、代价是 0.1–0.6 分与一笔未入账的训练开销,盈亏平衡部署次数从未被算过。
⚠️ 订正(2026-10-25 回源):上文「p95 延迟 1.00–2.61 倍」是整张表的取值范围,不是 RIPPLE 自身的延迟。回
arxiv.org/html/2610.31276v1表 1 逐行核对:RIPPLE 一行是外部调用0、actor token1.17×、p95 延迟1.23×;2.61×属于 Online strong critic(外部调用 10.9/任务)那一行,1.57×属于 Online same teacher。RIPPLE 与 base 的延迟比是 1.23 倍,与 ICRL-style 的1.18×、MURPHY-style 的1.13×同量级——内化方案在延迟上比在线批评者便宜,而不是比基线贵。「1.00–2.61」这个写法把最贵的一行算进了 RIPPLE 的成本描述,方向读反了。下文所有涉及部署延迟的论证一律以1.23×为准。
技术路线
复现路径分四步。先在原脚手架上以 Qwen3.5-27B 与共享的 Recovery-SFT 检查点重跑式(11),在训练循环中挂三个计数器: 按 计, 按 token 计数并区分三段。这一步不新增任何模型调用,成本为零。
第二步补标签溯源。取论文那套人工审计协议,在训练侧三类标注器的输出上各抽同样规模的子集复标,得 三值与 ;再换一个模型族重跑 attribution judge,重训一次,报端到端分数的变化。第二步的读数直接决定第二本账怎么解释第一本账:若 明显低于 0.73,则动作阶段承载的最大贡献(去掉它 Pro 从 57.3 掉到 54.0、Full-Loop 从 59.6% 掉到 43.5%)建立在最不可靠的那一道上。
第三步做反事实归因。附录 F.1 的 matched-prefix 干预机制已经存在——固定检查点、前缀、仓库快照、剩余预算与配对解码种子,只替换批评——但只被用于评测。把它接到训练侧的 上:对判定为 effective 的纠正段,删掉批评重跑同一段,比较 F2P/P2F 是否仍然改善;判定为 ineffective 的段同样处理。这一步给出归因裁判的假阳性率 与假阴性率,把「judge 说是你修好的」换成「删掉它就不修了」。
第四步跑三条等预算臂。反向门臂在失败轨迹的有效段上补一个与终端结果无关的小正项,检验单向性是不是绑死了机制上限——这是区分「删除信用」与「赋予信用」的唯一直接实验。随机翻转臂按附录 F.2 的做法做,但把随机翻转换成「只翻裁判最自信的标签」,因为真实裁判误差集中在难判样本上,随机翻转是最温和的噪声模型。等预算臂把离线辅助调用总量对齐到在线同教师参考的 4.8 次/任务,让内化与在线化的比较落在同一本账上。
三个技术挑战落在不同的层。 的估计依赖组大小 与训练任务数,而论文没有报 、训练任务数、RL 步数与 GPU 小时中的任何一个,复现时需要自行设定并扫描 观察 的敏感性—— 越大组内越难全同, 越高,机制的有效样本量与 直接耦合。反事实归因的第二个挑战是代价:每次重跑纠正段都要恢复仓库快照并重放工具调用,只能抽样做,抽样比例决定了 的区间宽度。第三个挑战在 2×2 表的可迁移性上:F.3 的四格只在 800 条可恢复前缀上划分,而部署分布里可恢复偏离的占比是 Verified 17.8%、Pro 43.6%、Multilingual 39.8%、Compass 41.2%,把 2×2 的边际增益 +9.16 乘以各基准的占比,得到 1.63、4.00、3.64、3.77——只有 Verified 的 1.63 与实测 +1.3 对得上,其余三项实测(6.5、4.8、6.4)全部高于预测。这条重建对不上,说明挑战集的条件增益与基准上的条件增益不同源,跨母体换算是本提案必须自己解决的那一环。
预期成果
第一,给出 与 在三个 档下的第一手数值。若 超过 0.5,则「阶段化信用分配」这一命名与「多数恢复 token 不参与更新」这一事实需要重新对齐,后续所有过程门控方法都应把置零比例作为强制刊出项。
第二,把门标签的可靠性从评分侧挪回训练侧。预期 三项中有至少一项低于对应的 ;届时 E.2 的贡献排序(去触发 −1.7、去诊断 −2.5、去动作 −3.3)与可靠性排序(0.81、0.76、0.73)严格反号这一事实就获得了完整解释,而不是停留在「恰好相反」的观察上。
第三,产出归因裁判的假阳性率 。附录 F.2 的噪声审计说 20% 标签腐败只掉 1.2 分,而 RIPPLE 对最强基线的 Pro 边际是 1.3 分;两者同量级意味着只要归因裁判的真实错误率接近两成,「有效动作」这一阶段的可辨识性就与头条边际同宽,机制结论与基线差异不可分。
⚠️ 竞争读法(2026-10-25 回源):附录 F.2 原文把同一张表读成反向结论——「Randomly flipping 10–20% of the process labels degrades Pro smoothly and costs fewer than 1.5 points, indicating that the stage-local objective does not depend on perfectly clean labels」。同一组数字,作者读作鲁棒,本提案读作可辨识性不足。两种读法都成立,差别在分母取谁:作者拿 1.2 分比 base 的 50.8(2.4%),本提案拿它比最强基线的边际 1.3 分(92%)。第三本账必须把分母写死,否则同一张表能被两边各引一次。另核:10% 腐败掉 0.5 分、20% 掉 1.2 分,原文逐字命中。
第四,给出内化方案的盈亏平衡部署次数。把训练侧的 GRM、consistency model、attribution judge 与快照执行折算成每次部署均摊的等效调用数,与在线参考的 4.8 次/任务相除,得到内化优于在线化的最小部署规模;这个数字目前不存在,而它恰恰是「no auxiliary critic at deployment」这一卖点能否成立的判据。
第五,交付一份可复用的账本模板与计数钩。五本账的每一项都是训练循环里的计数器,不是事后分析;任何采用二值门控终端信用的方法(阶段化信用、局部有效性门、过程级筛选)都能直接挂载。
相关工作
审计对象是 RIPPLE(arXiv:2610.31276),它把恢复拆成触发、诊断、纠正三段,并用二值有效性门控终端优势的符号,是本提案五本账的直接对象;它的附录 B.1、C、D.1、E.1、E.2、F.1、F.2、F.3 已经给出了绝大部分原始数值,缺的是把它们按同一口径并置。
信用分配的对照基线是 MURPHY(arXiv:2511.07833)与 pivotal-aware self-feedback retry(arXiv:2607.03702)。前者做多轮代码生成的回溯式信用重分配,后者以枢轴状态识别做重试,二者都重分配已有回报而不做二值门控,是判断「删除信用」这一新增结构带来什么的合适参照。
自批评内化方向最接近的是 ICRL(arXiv:2605.15224),它用 RL 把自批评内化进策略;RIPPLE 的受控实验中 ICRL-style 是最强的对照变体(Pro 56.0 vs RIPPLE 57.3),本提案第四本账要求的逐变体区间检验主要针对这一条。
自纠正的失效模式最早由 SCoRe(arXiv:2409.12917)系统刻画:单纯的结果奖励会让自纠正塌缩为保守不改。本提案第一本账里的 是这一塌缩在二值门控下的对应量——置零与「不改」在梯度层面等价。
turn 级信用估计的另一条路线是 TRACE(arXiv:2607.13988),它以信用估计做回合级奖励分配,与本提案第三本账的分层对撞分析互补:TRACE 关心分给谁,本提案关心分不到的人有多少、以及分层本身是不是撞在了后处理变量上。
引用核验记录(2026-10-25)
| 本稿声明 | 一手出处 | 结果 |
|---|---|---|
| RIPPLE,v1 2026-10-22,cs.AI | arxiv.org/abs/2610.31276 的 citation_title / citation_date | ✅ 题名 Recovery Internalization through Process-Level Policy Learning and Effect-Aware Credit for Long-Horizon Agentic Coding |
| 算术均值 +4.8(精算 4.75) | 表 1 与附录 D.1 正文 | ✅ 两处逐字命中 |
| Verified +1.3 / Pro +6.5 / Multilingual +4.8 / SWE-Compass +6.4 | 表 1 | ✅ |
| 附录 D.1 区间半宽 1.5 / 2.6 / 2.7 / 3.2 | 表 D.1 的 [-0.2,2.8] [3.9,9.1] [2.1,7.5] [3.2,9.6] | ✅ 由端点复算无误 |
| 部署侧外部调用 0 / 4.8 / 10.9 | 表 1 | ✅(分属 RIPPLE / Online same teacher / Online strong critic 三行) |
actor token 1.17× | 表 1 与 Limitations | ✅ |
p95 延迟 2.61× | 表 1 | ❌ 归错行——2.61× 是 Online strong critic;RIPPLE 自身为 1.23×。已加 ⚠️ 订正 |
| 组内奖励恒定时 、符号门无梯度信号 | HTML v1 | ✅ 但出处为正文 §3,非附录 C。已订正 |
| Cohen’s = 0.81 / 0.76 / 0.73(边界 / 诊断 / 动作归因) | §4.1「Fixed recovery evaluation」 | ✅ 逐字命中 |
| Recovery Challenge Set:800 条可恢复 + 400 条非偏离前缀 | §4.1 | ✅ |
| 附录 F.3 四格:248 / 174 / 206 / 172,增益 +20.4 / +5.8 / +4.7 / +1.7 | §4.4 正文 | ✅ 四项全中 |
| 2×2 边际增益 +9.16 | 无 | ✅ 本稿自算:按 加权 ,复算无误 |
| 重建值 1.63 / 4.00 / 3.64 / 3.77 | 无 | ✅ 本稿自算: 复算无误 |
| 附录 D.2 难度四分位 71.2/73.0、58.4/62.8、44.8/52.7、28.8/40.7 | 附录 D.2 | ✅ 四档全中,且「等权均值复现 Pro 的 50.8/57.3」原文亦命中 |
| 可恢复偏离占比 17.8% / 43.6% / 39.8% / 41.2% | §1 与附录 D.2 | ✅ 两处一致 |
| positive-credit contamination 38.4% → 11.2% | §4.3 | ✅ 完整阶梯为 38.4%(outcome-only GRPO)→ 24.6%(event-local)→ 11.2%(RIPPLE),本稿只取首尾 |
| 去动作阶段:Pro 57.3 → 54.0、Full-Loop 59.6% → 43.5% | §4.3 与附录 E.2 | ✅ 两处一致 |
| 去触发 −1.7 / 去诊断 −2.5 / 去动作 −3.3 | 附录 E.2(55.6 / 54.8 / 54.0 对 57.3) | ✅ 复算无误 |
| 在线同教师参考 76.0 / 57.9 / 73.8 / 31.0,四项均高于 RIPPLE | 表 1 | ✅ 差值为 0.1 / 0.6 / 0.2 / 0.3,与原文「within 0.6 points on each benchmark」一致 |
| ICRL-style 边际 +0.5 / +1.3 / +0.9 / +1.3,均值 1.0 | 表 1(75.4 / 56.0 / 72.7 / 29.4 对 75.9 / 57.3 / 73.6 / 30.7) | ✅ 复算无误 |
| 附录 B.3 Holm 校正只覆盖「四个基准层的主对照」 | 附录 B.3 | ✅ 逐字命中 |
| Limitations 自陈「no complete amortized analysis」 | Limitations「Cost and recovery boundaries」 | ✅ 逐字命中 |
| 论文未报 、训练任务数、RL 步数与 GPU 小时 | HTML v1 全文 | ✅ 全文 grep GPU 命中 0 次;G 只在式(5)作为符号出现,未给数值 |
| 附录 F.2 噪声审计:20% 腐败掉 1.2 分 | 表 F.2 | ✅(10% → 0.5 分) |
| 附录 F.1 matched-prefix 固定检查点 / 前缀 / 快照 / 预算 / 配对解码种子 | 附录 B.3 与 F.1 | ✅ |
| MURPHY / pivotal-aware retry / ICRL / SCoRe / TRACE 五个对照编号 | 五份 abs 页 citation_title | ✅ 题名与日期全部对齐 |
本轮订正与边界
- 订正(数值归行错误):第五本账的「p95 延迟 1.00–2.61 倍」把表里最贵的 Online strong critic 一行算进了 RIPPLE 的成本。RIPPLE 自身 p95 为
1.23×。已在正文加 ⚠️ 块保留原表述并给出正确值,方向随之反转:内化在延迟上优于在线批评者(1.23×对1.57×与2.61×),只是略贵于其他离线受控变体(1.13×–1.18×)。 - 订正(出处错位):「组内奖励恒定时符号门无梯度信号」出自正文 §3,不是附录 C。附录 C 的内容是 Qwen3.5-27B、150 tool turns、actor-token 预算等训练配置。
- 新增口径提示:附录 D.1 的区间是 RIPPLE 对 base,不能用来直接判 RIPPLE 对 ICRL-style 的边际是否显著。第四本账要求的逐变体 McNemar 检验因此不可省。
- 新增竞争读法登记:F.2 那张噪声表同时支持「鲁棒」与「可辨识性不足」两种结论,差别只在分母。第三本账须把分母写死。
- 未核到的边界:附录 F.3 四格的 base 绝对分(本稿只记了增益)、附录 E.1 完整阶梯的七条规则逐条数值、附录 D.4 的 repair-vs-damage 分解(正文提到 damages 4.8%)、以及 与 ——后两项论文确实全未刊出,是本提案的核心新增量,无法回源,只能复现。
- 保留说明:第三本账「9.16」与本稿的四项重建值(1.63 / 4.00 / 3.64 / 3.77)均为本稿自算而非论文原值,已在核验表标明;论文只给四格增益与占比,跨母体换算这一步由本提案自行承担。
终审核验记录(2026-10-25)
终审以 arxiv.org/abs/2610.31276 与 arxiv.org/html/2610.31276v1 全文(HTML 剥离后约 7.1 万字符,<math alttext> 优先提取)逐条复核。11 个引用编号全部回源命中:RIPPLE 2610.31276、MURPHY 2511.07833、pivotal-aware self-feedback retry 2607.03702、ICRL 2605.15224、SCoRe 2409.12917、TRACE 2607.13988,题名与 citation_date 与本稿标注一致。
核心数字复核结果:表 1 的 75.9 / 57.3 / 73.6 / 30.7 与四个区间端点;表 D.2 的四档难度分;§4.4 的 248 / 174 / 206 / 172 与 +20.4 / +5.8 / +4.7 / +1.7;§4.3 的 38.4% → 24.6% → 11.2%;附录 E.2 的 55.6 / 54.8 / 54.0 与 50.8% / 47.6% / 43.5%;表 F.2 的 0.5 / 1.2;§4.1 的 0.81 / 0.76 / 0.73 与 800 / 400。全部逐字命中。
两处订正(p95 归行、附录 C → 正文 §3)均为本轮回源新发现,已按「保留原文 + ⚠️ 标注」处理。两处口径提示(D.1 区间主体、F.2 分母)为新增限定,不改变原结论方向。
终审复核(2026-10-25 二审)
本轮回 arxiv.org/abs/2610.31276 与 arxiv.org/html/2610.31276v1(剥离后 73,056 字符)独立复核,结论如下。
- p95 订正成立。表 1 逐行读数:base 行
1.09×/1.13×、MURPHY-style0 / 1.09× / 1.13×、ICRL-style0 / 1.15× / 1.18×、RIPPLE0 / 1.17× / 1.23×、Online same teacher4.8/task / 1.00× / 1.57×、Online strong critic10.9/task / 1.00× / 2.61×。2.61×确属 Online strong critic。正文另一处亦明写 “RIPPLE uses 1.17× actor tokens and 1.23× p95 latency relative to the base policy”,双通道一致。 - 出处订正成立。原文逐字为 “If every rollout in a group has the same terminal reward, and sign gating cannot create a policy-gradient learning signal”,位于 §3.3 式(11)之后、式(13)之后那段,属正文。注意 Limitations 段还有一句近义表述 “Sign gating supplies no learning signal in uniform-reward groups”,两者不冲突,本稿引的是前者。
- 表 F.2 竞争读法回源确证。原文表注逐字:“Randomly flipping 10–20% of the process labels degrades Pro smoothly and costs fewer than 1.5 points, indicating that the stage-local objective does not depend on perfectly clean labels”,与本稿登记的「作者读作鲁棒」一致。表值 0% = 57.3 / 10% = 56.8(−0.5)/ 20% = 56.1(−1.2)。
- 四格与四分位双向秩相关复算无误。F.3 表 base 列为 42.7 / 31.6 / 27.2 / 12.8、增益列 +20.4 / +5.8 / +4.7 / +1.7,两列同为降序,秩相关 +1.0;D.2 base 71.2 / 58.4 / 44.8 / 28.8、增益 +1.8 / +4.4 / +7.9 / +11.9,一降一升,秩相关 −1.0。F.3 四格还提供 base 绝对值(31.6 / 27.2 / 12.8),本稿上一版登记的「四格 base 绝对分未核」边界已解除。
- 9.16 确为本稿自算。全文 grep
9.16仅 1 处命中且落在参考文献arXiv:2509.16941的编号子串里,属假阳性;论文未刊出该值。 - 题名口径微调:abs 页
citation_title为 RIPPLE: Recovery Internalization through …,带 “RIPPLE:” 前缀;本稿核查表内省略了前缀,不影响识别,此处登记备查。 - 未闭合边界(移交下轮):附录 E.1 完整阶梯七条规则的逐条数值、附录 D.4 的 repair-vs-damage 分解(正文提到 damages 4.8%)、表 1 中 base 行的绝对分,以及 与 ——后两项论文全未刊出,只能复现。
- 新增站内关联:
relatedContent补 3 条(CCL 耦合条件账本 / PACT 信用分配精读 / 《数据工程》Ch16 推理模型 RL 数据)。