工具使用 Agent 数据缩放律的监督质量轴：把可推导性与组合覆盖纳入预算分配
在 SynthAPI 环境三轴缩放律上增加监督可推导性与组合覆盖两根质量轴，拟合联合定律并导出等预算下的最优数据配比
背景与动机
工具使用 Agent 的训练数据几乎全部来自合成：真实互联网文本里缺少多步状态交互，人工采集的成本高到不可行。这笔合成预算怎么花，此前全靠逐次消融实验摸索。Meta FAIR 10 月 27 日提交的 SynthAPI 论文（arXiv:2610.37648）给出第一条预测性公式：在 458,752 个任务、849 个模型、四个参数规模上，工具多样性与数据库多样性对泛化的边际收益随预算增长压过任务数量，数据复杂度越高收益越大。按该定律分配预算训出的模型在 AppWorld、BFCL、ASTRA-Bench 等四个基准上全面超过此前的大规模工具使用训练集（第四个基准为自建留出集 SynthAPI-Holdout），其中对 Nemotron-Agentic 的平均优势达 30.5 个百分点（AppWorld、BFCL、ASTRA-Bench 三基准均值口径，出自论文 §4.4 原文）。
这条定律有个盲区：它把每个任务的监督（demonstration）当作天然给定的量，只调环境三个轴（工具、任务、数据库），不问监督本身的信息质量。10 月 24 日的 Trajectory2Gym（arXiv:2610.33568）恰好补上反面证据：成功轨迹里有大量「不可推导」的动作——决策时刻可见的历史不足以推出该动作，模型只能靠死记硬背学；还有大量组合依赖结构（哪条观测支撑哪步动作）根本没被覆盖。用「交互重构 + 父归一化」把同一批任务重新组织成可推导监督后，五个 Qwen3 规模（1.7B 到 30B-A3B）上 tau-bench/tau2-bench/BFCL 平均分提升 16.9 到 29.8 个百分点，训练目标仍是普通 SFT 交叉熵——几十个百分点的收益来自监督的组织方式，不来自更花哨的目标函数。
两篇论文放在一起，缺口清晰：缩放律覆盖环境多样性，缺监督质量这一维；监督质量工作证明了它值几十个百分点，却没回答固定预算下该花多少钱修它、与环境扩张怎么权衡。数据飞轮团队今天面临的正是这个联合决策。
核心思路
把「监督可推导性」（groundedness）与「组合覆盖」（compositional coverage）显式参数化为缩放律的第四、第五根轴，与环境三轴联合拟合，得到一个预算分配器：给定算力预算与目标基准，输出各轴的最优投入配比。
与现有工作的关键区别有三点。SynthAPI 的定律在环境侧闭环，监督质量保持不变；本提案把它变成自变量，检验它与多样性轴是相乘还是相加关系。Trajectory2Gym 证明了监督质量在单点配置下的巨大收益，本提案把该效应放进缩放框架，回答「修到什么程度够」——它自带的消融（父归一化单独 +8.04 分、支撑深度 2 优于 3 和 4）说明质量轴内部同样存在收益递减，这正是缩放律要刻画的对象。第三点，CodeSpecWeave（arXiv:2610.40256）在代码 Agent 上把「规格间相互依赖」做成可控任务属性并用 RL 放大收益，本提案把这类属性统一为质量轴的一个实例，让定律具备跨任务域外推的入口。
技术路线
先做自动化可推导性度量。对每条轨迹的每个动作做反事实遮蔽：用一个小探针模型（60M–500M）在遮掉部分历史后预测该动作，以预测坍塌程度作为该动作的可推导性分数；组合覆盖用观测-动作依赖图的覆盖深度刻画。探针在采样子集上训练一次后摊销到全量，成本控制在目标训练预算的 5% 以内。
网格生成走正交设计。沿用 SynthAPI 的环境合成管线，扩展三个质量旋钮：不可推导动作的修复率（重合成或重加权的强度）、支撑深度、组合覆盖配额。分数因子设计负责压缩实验数——SynthAPI 跑了 849 个模型，本提案在 0.5B–4B 代理规模上用约 300 个模型覆盖五轴网格。
拟合阶段分两层。每个轴先独立饱和（幂律），再检验交互项：质量轴是乘在多样性收益上的系数（假设一：低可推导性数据让多样性收益打折），还是独立可加项（假设二：两者作用于不同失效模式）。两个假设对应不同的预算分配形态，网格数据能直接分辨。外推检验沿用 SynthAPI 的标准：它把训练 FLOPs 前 25% 的运行留出，定律外推到拟合预算 16 倍的运行上平均绝对误差 0.0285——含质量轴的定律必须过同一条留出线，否则「质量轴纳入缩放律」只是内样本拟合。
验证环节产出预算分配器。从拟合出的定律求各轴边际收益，解等预算约束下的分配问题；在 AppWorld、BFCL、tau-bench 留出基准上与「纯多样性最优分配」（SynthAPI 定律）对打，等预算下目标增益 5 个百分点以上。代码域用 CodeSpecWeave 的规格依赖轴做一次跨域复制。
关键技术挑战：探针分数与下游学习收益要对齐校准——探针预测坍塌不等于模型学不到，需在子集上用人工标注对齐；质量与多样性在自然数据里强相关，合成环境的正交操纵是切断混淆的唯一手段；SFT 与 RL 两种目标分别拟合，检验定律对目标函数的稳健性。
预期成果
定量目标四项：拟合出含五轴的联合缩放律，各轴饱和参数与交互项在四个模型规模上可复现；等预算实验中，含质量轴的分配器在三个留出基准上超过纯多样性分配 5 个百分点以上；探针度量管线开销不超过训练预算的 5%，分数与人工标注的一致率不低于 85%；跨域复制中代码 Agent 的规格依赖轴纳入同一定律框架，拟合残差不劣于域内拟合。
定性影响：这项工作把「多样性胜过数量」与「可推导性胜过数量」两条独立经验合并进同一个预算框架，给数据飞轮团队一个可直接查询的答案——下一笔钱该买新 API、新任务，还是修监督。度量工具、网格配置与拟合代码全部开源。
相关工作
- Scaling Laws for Tool-Use Agents via Controllable Environment Synthesis（arXiv:2610.37648）：SynthAPI 管线与工具使用 Agent 首条环境组成缩放律，本提案的直接基座。
- Trajectory2Gym: Decision-Grounded Compositional Interaction Synthesis for Tool-Use Agents（arXiv:2610.33568）：证明成功轨迹作为监督的结构性缺陷与交互重构的收益，本提案质量轴的方法来源。
- When Requirements Interact: Scaling Long-Horizon Coding via Interdependent Specifications（arXiv:2610.40256）：代码域的规格相互依赖任务合成，质量轴的跨域实例。
- AdaPRA: Process Reward Agents with Adaptive Rubrics for Data Science（arXiv:2610.33245）：过程级监督替代结果级监督，监督质量在过程维度的另一份证据。
- AppWorld: A Controllable World of Apps and People for Benchmarking Interactive Coding Agents（arXiv:2407.18901）：可控应用环境基准，本提案留出评测的载体之一。