研究提案已修订

从轴级缩放律到实例级选择：GRPO 智能体轨迹影响归因与合成预算反馈回路

在多轮智能体 RL 中构建混淆受控的轨迹级影响归因，并将其作为合成管线预算分配的在线反馈信号

2026年11月1日数据归因智能体训练数据缩放律 GRPO 合成数据数据工程

背景与动机

智能体强化学习的数据供给正在经历一次结构转变。以 SynthAPI 为代表的合成管线可以在受控多样性下批量产出工具、任务与数据库环境（458,752 个任务、四种规模共 849 个训练模型的实验已见诸报道），数据从稀缺资源变成了结构化设计空间。How Data Scales in Agentic Reinforcement Learning 一文把这个空间压缩成三条基数轴（任务、环境、轨迹），拟合出环境 > 任务 > 轨迹的指数排序，给出等预算下最多 1.7 倍计算效率的分配配方。同一份工作也留下一个刺眼的数字：两轮总 FLOPs 相同、仅分配比例不同的 Qwen3-8B 训练，成功率相差 14 个百分点。

轴级定律回答的是”花在哪个轴”，回答不了”这个轴上哪些数据值得花”。一百万条候选轨迹里，哪一千条真正推动了工具调用能力、哪一千条在教模型走捷径，缩放律对此沉默。实例级答案要靠数据归因，这条路线近期在三个方向各自取得进展，也各自暴露出短板：SFT 场景下，DRIFT 用 on-policy 回滚构造验证锚并做梯度范数去偏，把已收敛模型的平均准确率从 39.17 推到 40.14（Olmo3-7B）；在线 RL 场景下，RL-IF 形式化了跨轮次的轨迹级留一影响（RL-LOO）并导出一阶估计器；归因方法学层面，Bau 组的系统研究（CATT 基准）发现用负对数几率梯度替代交叉熵梯度、聚合 top 词分数能显著提升归因性能。三条线没有汇合：BehaviorTrace 在 GRPO 在线微调上做了带植入行为的受控评估，结论并不乐观：梯度大小控制（不含任何行为目标）在三个种子上达到 4.2-4.5 倍随机水平，两个种子上追平或超过最好的定向估计器；模型流畅度在饱和检查点上预测行为标签的能力不弱于任何梯度方法。GRPO 场景下的大多数”归因信号”其实是混淆的影子。

缺口由此清晰：可信的实例级归因在多轮智能体 RL 上尚不存在，归因到合成预算的反馈回路更无人打通。

核心思路

本提案把三个孤立进展装配成一条反馈回路：混淆受控的轨迹归因 → 轴级定律的在线修正 → 合成器预算再分配。框架命名为 ABA-L（Attribution-Budget-Allocation Loop），分三层。

归因层不发明新估计器，改做三件事：沿用 DRIFT 的对数空间正交化剥离梯度范数依赖，按 BehaviorTrace 的清单加流畅度分层与种子/采样双重重复，用 CATT 的负对数几率梯度加 top 词聚合改造 token 级分数。评估先行：在植入行为的受控环境上，梯度大小控制基线不再追平定向估计器，才算通过门槛。

分解层把单条轨迹的影响拆到 turn 与工具调用粒度。GRPO 的组相对结构在这里免费提供了一层对照：同组 rollout 共享任务与环境，组内差异恰好隔离轨迹级变量，影响估计可以写成组内条件化的留一量。

分配层把去偏后的轨迹分数沿簇边界聚合（环境簇、任务簇、工具调用模式簇），作为对 2610.23946 拟合的每轴折扣因子的在线修正项，重解约束优化得到下一轮合成预算。轴级定律负责外推，实例级归因负责校正，两者粒度不同、互不替代，这是本提案与纯缩放律工作的关键区别。与 DRIFT 的区别在场景：多轮、外部工具反馈、GRPO 策略更新下的非平稳性；与 RL-IF 的区别在算法与粒度：组相对优势加权、turn 级分解，而非 PPO 连续控制下的整轨迹留一。

技术路线

先建立评估协议。把 BehaviorTrace 的植入行为范式从单轮扩展到 τ²-bench 与 AppWorld 的多轮环境，植入行为绑定到特定工具调用序列而非表面措辞，控制变量覆盖梯度范数、流畅度、种子与生成抽样。没有通过该协议的估计器不进入后续环节。

去偏估计器落在两个工程点：其一，TRAK 式梯度 sketching 压缩存储，多轮轨迹的梯度维度随上下文线性增长，sketch 预算按 turn 分段摊销；其二，分数后处理沿 DRIFT 的任务内 log-space 回归做正交化，再叠流畅度分层校准。GRPO 的组相对优势作为权重组装验证目标——正优势 rollout 的负对数几率梯度之和构成”要强化的方向”，影响分数定义为候选轨迹梯度对该方向的投影。

层级聚合与预算再分配在最后展开。轨迹分数按环境/任务簇聚合时引入收缩估计，簇内样本量小、噪声大，James-Stein 式收缩防止小簇被高方差分数劫持。聚合分数修正每轴折扣因子后重解预算优化，合成器按新配比生成，训练-归因-再分配按固定窗口迭代。

关键挑战有三。混淆在长轨迹上更严重：梯度范数与流畅度的方差随轮数累积，去偏残差需要按轨迹长度分层评估。sketching 显存与 RLHF 规模存在矛盾，需要激进低秩与分段近似，近似误差对归因排序的影响要单独消融。反馈回路的非平稳性最棘手：预算再分配改变数据分布，历史轨迹的归因分数过期，需要滚动窗口重估而非全量重算。

预期成果

归因可信度设为首要门槛：混淆控制后，定向估计器在植入行为检索上至少 2 倍于随机水平，且梯度大小控制基线的追平率从 BehaviorTrace 观察的三分之二降到三分之一以下。达不到即报告负结果，评估协议本身作为可复用产出发布。

回路效率对标两条基线：等预算下相对”规模轨迹”常规做法至少 1.3 倍计算效率（2610.23946 的静态配方上限是 1.7 倍），回路的增量价值在于逼近乃至超过它；AppWorld 与 τ²-bench 成功率相对静态配方提升 3-5 个百分点。

定性产出指向数据工程的操作层：一套把归因从”事后解释”推进到”事前分配”的方法学，一个开源的多轮植入行为评估套件，以及合成数据可审计性的操作定义：每条进入训练池的轨迹可追溯到对既定能力目标的量化贡献。合成管线的每一步生成决策，第一次有了实例级的、混淆受控的反馈信号。

局限性与失效模式

归因门槛可能整体无法通过。BehaviorTrace 三个种子上唯一稳定的信号是触发 token 梯度与行为实际发生处构建目标的对齐；本提案的估计器改造（负对数几率梯度 + top 词聚合 + 正交化去偏）并未直接采用该信号，存在「改良后仍追不平梯度大小控制」的系统性风险。此时按预设报告负结果，评估协议作为主产出。
轴级交互可能淹没实例级修正。2610.23946 的临界合成-真实比在轴间相差一个数量级，折扣因子本身对合成方法高度敏感；把轨迹级归因分数沿簇聚合为轴级修正项时，轴内异质性可能使修正信号与噪声同量级。
理论保证不覆盖 GRPO 加权。RL-IF 的一阶估计器近似精度保证建立在平滑性假设与 PPO 式连续控制之上，组相对优势加权与 turn 级分解均在其理论覆盖之外，只能作为经验性改造。
多轮植入行为的 ground truth 唯一性减弱。τ²-bench 与 AppWorld 中同一行为可经多条因果路径习得，植入行为绑定工具调用序列后，「该行为由哪条轨迹教会」不再有单轮场景下的唯一答案，评估协议的检出率上限受此约束。