恢复密度可控的智能体RL数据引擎：用故障注入把错误恢复从偶然产物变成可配给资产
基于多轮智能体RL增益集中于错误恢复而非单步质量的实证，提出故障注入、同错分叉采样与恢复密度配比三组件的数据引擎RDE，把恢复转移变成可度量、可配比、可验收的数据资产属性
背景与动机
11 月 4 日的 arXiv 论文《What Does Multi-Turn Reinforcement Learning Really Improve in LLM Agents?》（arXiv:2611.06483）用 Pass@(K,T) 评测框架系统拆解了多轮智能体 RL 的增益来源，结论对数据工程从业者构成直接冲击：RL 模型在单步决策质量上并不稳定占优，只在 46.8% 的 DeepCoder-MT 状态与 42.8% 的 FrozenLake 状态上选出比基座更好的下一步；真正的增益集中在错误恢复与长程韧性，从相同错误状态出发续走，RL 模型在 DeepCoder-MT 上把成功率从 22.9% 提到 38.5%，在 FrozenLake 上从 38.6% 提到 51.3%。且在错误状态上 RL 模型选出更优动作的比例分别达到 65.7%（FrozenLake）与 67.3%（DeepCoder-MT）——恢复优势是步级、持续性的，不只是终局运气。论文给出的 BudgetMix RL 通过在训练中混合不同回合预算缓解部署风险，对恢复增益的数据来源只做了初步讨论，没有给出工程答案。
对照之下，现有智能体 RL 数据管线在恢复样本供给上有四块短板。其一，恢复机会密度不可控：一个批次里有多少轨迹在进入错误状态后继续执行，取决于采样运气，没有管线把恢复转移当作可度量的质量指标。其二，同错对比信号天然稀少：稀疏终局奖励下信用分配本就困难，GiGPO 一类状态分组方法依赖 rollout 中自然出现的重复状态，真实任务分布中重复状态很少，恢复段的优势估计长期处于高方差状态。其三，难度过滤反向损害恢复数据：按任务通过率筛数据的通行做法，会把高失败任务（恢复信号最密集的来源）从训练集中剔除，越难的任务越留不下。其四，假恢复污染验证：11 月 5 日的《Accepted but Wrong》（arXiv:2611.08269）实测 API 迁移场景中 41% 的错误修复代码通过了全断言门，表面成功的恢复掩盖着验证静默失效，训练数据里的「已恢复」标签并不可信。
一句话概括矛盾：RL 的学习信号集中在恢复转移，数据管线却在随机供给恢复样本，需求与供给完全错配。错误恢复目前是 rollout 的偶然产物，本提案要把它改造成数据管线的受控产物。
核心思路
提出 RDE（Recovery-Density Engine），一套以恢复转移为最小配给单元的智能体 RL 数据引擎，由三个组件构成：
| 组件 | 职责 | 与最接近现有工作的区别 |
|---|---|---|
| 故障注入器 | 从种子轨迹的成功中间状态注入受控故障，产出已知来源的降级状态 | 故障注入测试（2611.08144 的至多 23 类边界故障）用于发现环境缺陷，这里用于生产训练数据 |
| 同错分叉采样 | 从同一降级状态分叉 K 条延续，组内只在恢复后缀上计算优势 | GiGPO 等待自然重复状态，RDE 主动制造重复状态 |
| 恢复密度配比器 | 以恢复转移密度（RTR）为第一类数据质量拨盘，联动注入位置与剩余预算 | BudgetMix 混合预算提升鲁棒性，RDE 在此之上控制恢复样本的供给量与分布 |
关键区别在于配给粒度。现有 RL 数据工程以任务为最小单元：任务级通过率、难度分层、领域配比都在任务层操作。RDE 把配给粒度下沉到恢复转移这一层，批次质量由 RTR（批次中处于错误后状态的回合占比）、故障类型覆盖度、恢复成功率三个指标刻画。
真实性保障是设计前提。注入故障前先从自然失败轨迹统计错误类型分布，注入分布向自然分布对齐并周期性回灌自然失败样本，避免训练出一个只认得人工故障模式的模型。验证侧执行全断言门（完整测试套件加环境一致性检查），不复用修复点局部断言，针对的就是 41% 假通过率的实证。
技术路线
第一步，种子库与故障分类学。从基座模型在 ToolSpace（arXiv:2611.05036）一类工具中心合成环境中的成功轨迹抽取中间状态，状态包含文件系统、工具注册表、对话历史的完整快照。故障分类学取两路：环境-训练器边界的协议故障清单提供注入实现参考，自然失败轨迹的错误聚类提供分布对齐目标。
第二步，注入与分叉。注入点按轨迹位置分层抽样，位置与剩余回合预算联合设计：同一降级状态在紧、中、松三档剩余预算下各分叉 K 条延续，一个批次直接生成预算与恢复的联合覆盖。延续轨迹过全断言门验证，拦截假恢复后，组内构成恢复与未恢复的对比对。
第三步，段级优势计算。分叉组共享注入点之前的前缀，优势只在恢复后缀上做组相对计算，共享前缀不参与。这一步绕开稀疏终局奖励的信用分配难题：恢复段的回报差在组内直接可见，方差远低于整轨迹级优势。
第四步，配比与监控。RTR、恢复成功率、故障覆盖度进数据看板；单步决策质量用配对状态评测持续监控（复用 2611.06483 的 paired comparison 协议），一旦出现回退迹象立即下调注入比例，防止单步质量被恢复优化挤占。
三个关键技术挑战。真实性漂移：注入故障与自然错误的分布差需要分布对齐加定期自然失败回灌，这是全流程最依赖人工判断的环节。恢复模式过拟合：模型学会识别注入痕迹而非掌握恢复技能，对策是故障实现多样化、注入点随机化、在留出的自然失败集上做外部效度检验。验证门成本：全断言门比局部断言昂贵，用增量执行缓存与测试选择算法把单条验证开销压到训练预算可承受的范围。
预期成果
定量目标五条：相同降级状态下的恢复成功率从 38.5%（DeepCoder-MT 基线）提升到 55% 以上；松紧预算 Pass@(K,T) 差距收敛到 3 分以内，紧预算场景不再出现 RL 优势反转；训练批次 RTR 达到自然 rollout 的 2 至 3 倍；单步决策质量不回退，配对状态胜率保持在 GRPO 基线的噪声带内；用 60% 的 rollout 计算量追平全量 GRPO 的长程基准表现，验证恢复密集数据在单位 token 信号量上的优势。
定性影响两个层面。对内，恢复能力第一次成为数据集中可度量、可配比、可验收的属性，RTR 与故障覆盖度进入智能体 RL 数据的验收标准；数据真实性优先于规模的判断（Agent-R² 用 4k 真源实例让 4B 模型在 GDPval 上超过 235B 模型，51.0% 对 48.0%，arXiv:2611.08219）获得第二块拼图：真实性之外，恢复密度是下一个待证明的数据杠杆。对外，紧预算部署场景（生产环境的轮次与延迟约束）下的智能体可靠性获得直接收益，这正是 2611.06483 指出的部署风险所在。
相关工作
- What Does Multi-Turn Reinforcement Learning Really Improve in LLM Agents?（arXiv:2611.06483，2026-11-04）。本提案的立论基点：多轮 RL 增益集中在错误恢复而非单步质量，且对回合预算敏感；BudgetMix 证明预算混合有效，RDE 补上数据供给侧的工程方案。
- StepBack: Step-Level Error-Localized Resampling for Efficient Test-Time Reasoning（arXiv:2611.08403，2026-11-05）。推理期定位首个错误步并只重采样错误后缀，验证了恢复段粒度的有效性；RDE 把同一粒度搬进训练数据生产环节。
- ToolSpace: Scaling Tool-Centric Environment Synthesis for Long-Horizon Agents（arXiv:2611.05036，2026-11-03）。从 2042 个真实工具合成 804 个可验证环境，为种子轨迹库提供规模化环境底座。
- Detecting Silent Faults at the Environment-Trainer Boundary in Reinforcement Learning（arXiv:2611.08144，2026-11-05）。至多 23 类边界故障的注入与步账本检测方法，构成 RDE 故障分类学与注入实现的直接参考。
- Accepted but Wrong: Silent Failures of LLM Code Repairs after API Migrations（arXiv:2611.08269，2026-11-05）。41% 的错误修复通过全断言门的实测，是 RDE 全断言验证门与假恢复过滤设计的实证依据。