研究提案已修订

随机残差账本：SFT 到 RLVR 边际价值的任务级预测与三通道预算分配

以 SFT 后残差随机性为度量单位，预测任务级 RL 边际价值，在演示采购、RL、蒸馏三通道间做等预算分配，把 RLVR 数据工程从堆任务量转向保随机 headroom

2026年11月7日 RLVR SFT GRPO 数据选择后训练预算分配残差分析

背景与动机

后训练预算的每一美元要在两种采购之间分配：演示数据（用于 SFT）与基于验证器的强化学习（RLVR）。标准流水线 SFT 在前、RL 在后，汇报的增益通常针对整条流水线或 RL 相对 base 模型的提升，RL 阶段超出演示数据之上的边际贡献几乎从不单独计量。Sagtani 与 Garg（arXiv:2611.07639）用 8.69 美元成本的预注册对照实验把这个缺口变成了硬数字：在 1,877 个 GPU 与 LLM 训练故障诊断任务（gpu-train-debug 基准，确定性验证器、部分给分）上，1,200 条金标演示的 SFT 把 hard split 拉到 0.785，接近解决整个基准；随后 60 步 GRPO 在分布内增益 +0.22 分（95% CI [-0.06, +0.51]），仅在留出 OOD split 上留下 +0.33 分（CI [+0.02, +0.68]）。整条流水线在 OOD 上相对 base 的 51.8 分总增益中，51.5 分来自演示数据。流行的 RL-vs-base 对比把 RL 阶段的贡献夸大了约 99%。

论文给出了机制解释：SFT 之后的残差错误以系统性为主。hard split 的 160 个任务中 95 个、OOD 的 163 个中 89 个，三次评估采样返回完全相同的分数——模型每次以同样的方式丢掉同一个目标，而非围绕正确答案做采样波动。GRPO 这类组相对算法的优势信号来自组内奖励差异，全组同分即零优势。训练日志印证了信号枯竭：batch reward 稳定在 0.77-0.94 区间、约 45% 的完成样本拿满分、终策略与初始化行为几乎一致。论文原文把这一判断定位为「机制假设（a mechanistic hypothesis, not a proven claim）」，同时给出设计准则——面向 RL 的环境应保留随机性而非系统性的 headroom——并把「构造随机残差任务、直接检验该预测」明确留作 future work。

现有方案不够好的地方集中在三点。第一，边际价值的度量止步于整域均值：2611.07639 报的是整个基准上的单个置信区间，任务级的增益预测（哪些任务值得跑 RL）无人给出。第二，通道选择被当成全有全无的域级决策：2611.08453 在域粒度比较 GRPO 与在策略蒸馏（OPD），发现以学生自己的 GRPO checkpoint 为教师时，OPD 在数学域用 50 倍更少的蒸馏 FLOPs 恢复同等精度（更大学生模型、代码域与第二模型族上该高效性一致复现），多教师 OPD 合并域专家在双域混配上总 FLOPs 省 42%——但选择单位是域，不是任务。第三，SFT 侧的数据选择已有覆盖优先于难度的结论（arXiv:2611.07323：聚类覆盖选择在 Tülu 3 混配上胜过全部基线），RL 侧却连对应的度量单位都没有：残差随机性这一决定 RL 信号上限的量，从未被当作可计量、可预测、可工程化的对象。

核心思路

提出 SRA（Stochastic-Residual Allocator）框架：把「下一个美元买演示、跑 RL 还是蒸馏」变成任务级决策，决策依据是一套残差随机性账本。框架包含四个组件：残差随机性探针（对每个任务度量 SFT 后组内分数分布）、任务级边际价值预测器、系统性残差的环境改造臂、三通道预算分配器。

与现有工作的关键区别有三。2611.07639 度量了整域的 RL 边际价值并留下机制假设，SRA 把该假设变成三件可操作的事：随机性的探针度量、任务级增益预测、把系统性残差改造成随机性残差的环境变换。2611.08453 的通道比较停在域粒度，SRA 下沉到任务粒度，蒸馏与 RL 不再互斥，而是按预测边际价值在同一预算里混合。2611.07323 的覆盖准则只覆盖 SFT 单通道，SRA 把它推广为三通道分配器的正则项：覆盖约束决定「每类任务至少买多少」，边际价值决定「多出来的一单位给谁」。

技术路线

探针阶段先做度量。对每个任务 i，用 SFT checkpoint 以 RL 采样温度做 k=16 次推理，验证器打分得组内分数分布，报三个量：均值 mu_i、八样本全同分概率 P_same(8)、随机残差比 rho_i = 1 - P_same。三分类规则：mu_i 不低于 0.95 判为饱和（两个通道都跳过）；mu_i 低于 0.95 且 rho_i 低于 0.3 判为系统性残差（RL 零信号，转演示采购或环境改造）；mu_i 低于 0.95 且 rho_i 不低于 0.3 判为随机性残差（RL 有信号）。探针成本约为 RL 阶段每组 rollout 成本的两倍，占预算上限设为 5%。

预测器在探针之上建。输入为探针特征（mu_i、rho_i、分数熵）加任务特征（原型类别、参数化维度、SFT 训练损失），输出为单任务短程 GRPO（10 个梯度步）的预测增益及区间。标定集从任务池分层抽 200 个任务真跑标定，多种子重复压测量噪声。校验指标为预测值与实测增益的 Spearman 相关及校准斜率，排序按预测区间下界执行，保证保守性。

改造臂处理系统性残差任务。施加三类扰动算子：参数噪声化（固定常数换成区间采样）、线索遮蔽（关键证据需主动探测才能获得）、多路径验证（验证器接受多条正确路径）。每个算子改造后重跑探针，双向校验：rho_i 显著上升，且 mu_i 不塌缩（任务仍可由演示解出，演示采购通道不被破坏）。这一步直接检验 2611.07639 的机制假设——随机性残差是 RL 边际价值的必要条件。

分配器收口。三通道（演示采购、RL、蒸馏）在统一 FLOPs 口径下按预测边际价值贪心分配，蒸馏通道的教师前向开销计入成本；覆盖约束给每个原型簇设下限配额。对照三条基线：uniform SFT 转 RL、uniform SFT 转蒸馏、随机分配；预算扫描 0.5 倍、1 倍、2 倍三档画帕累托前沿。

关键技术挑战有四项。探针的 k 与温度选择要在估计方差与成本之间折中，k=16 下 P_same 的 bootstrap 区间宽度需预先标定；单任务增益的测量噪声大（GRPO 组内方差高），标定集须多种子重复；改造臂把任务改难后演示数据失效的风险，靠双向校验兜住；三通道 FLOPs 口径的公平换算（教师模型的前向开销、SFT 的每样本成本、RL 的 rollout 数）需要一张统一的成本表。

预期成果

定量目标五项。任务级增益预测的 Spearman 不低于 0.5，跨三个任务族验证（gpu-train-debug 复刻、代码生成、一个 agentic 域）。零信号组占比从 2611.07639 实测的 59.4%（hard）与 54.6%（OOD）降到不高于 20%（两值由论文的 95/160、89/163 同分任务数直接换算而来）。等预算总增益比 uniform SFT 转RL 高出至少 3 个百分点，区间估计下界为正。RL 通道的 FLOPs 浪费率（花在实测零增益任务上的份额）压到三分之一以内。改造臂达标线：系统性残差任务经改造后，短程 GRPO 增益的置信区间下界大于 0。

定性产出两件。残差随机性账本五本（探针账、预测账、零信号账、改造账、预算账），可直接并入现有 RLVR 训练管线的监控面板；探针与分配器的开源实现，复用 2611.07639 的公开基准与归档产物保证全程可复现。

影响面取决于机制假设的检验结果。若随机残差确为 RL 边际价值的必要条件，RLVR 数据工程的注意力将从堆任务量转向保随机 headroom：任务合成器（如 2611.08219 的真源合成管线）在生成阶段就应把 rho_i 当作质量门槛。Agent-R2 用 4k 精选实例训出的 4B 模型在 GDPval 上超过 235B 思考模型（51.0% 对 48.0%），已经暗示边际价值密度比数据规模更稀缺；SRA 把这个暗示变成可执行的选择规则。

随机残差账本：SFT 到 RLVR 边际价值的任务级预测与三通道预算分配

背景与动机

核心思路

技术路线

预期成果

相关工作

关联内容