数据配方可辨识性账本：把工具—任务—数据库三轴的分配效应从选择偏误与量纲偏误中分离出来

背景与动机

SynthAPI（arXiv:2610.37648，Apple，v1 2026-10-27）把工具使用智能体的训练数据合成拆成四个可控旋钮：应用数 $A$（工具多样性）、每应用任务数 $T$、每条指令的数据库实例数 $S$、数据库干扰深度 $D$，总量 $N=A\cdot T\cdot S$。作者生成 64 个应用、10,472 个 API、458,752 条任务，训练 849 个模型（2B/4B/9B/27B），拟合出

$\widehat P_M(A,T,S,D)=\sigma\!\left(c_0+c_A\log_2(A\cdot S\cdot D)\right)\sigma\!\left(b_0+b_T\log_2 T\right)^{\nu},$

留出训练 FLOPs 前 25% 的跑，报留出 MAE $0.0285$，对照「只看任务数」的模型为 $0.1706$。头条结论是：预算增大后，扩工具与数据库多样性优于加任务数，加深干扰数据收益更大。

这条结论所依赖的三个构件——目标量 $P$ 的定义、配方的选择方式、FLOPs 的口径——各自带着一层未记账的变换，三层的作用方向一致，都朝「多样性优于数量」倾斜。

第一层落在目标量的定义上——$P$ 用同一批 849 个跑里的最大值做归一化分母 $\max_{\theta'\in\Theta_i}\mathrm{Succ}_i(\theta')$，而留出集合（FLOPs 前 25% 的跑）属于 $\Theta_i$。留出跑的分数参与定义了每一个拟合点的尺度，名为留出，实则未留出。后果可以直接算：按二值近似（4 次解码只压解码噪声，不压题目抽样噪声），AppWorld Test-C 417 题的标准误约 $0.024$、SynthAPI-Holdout 100 题约 $0.050$；除以各自的归一化跨度后取平均，$\mathrm{SE}(P)$ 落在 $0.040$–$0.051$（分母按尺寸内取最大值时 $0.051$，跨尺寸取最大值时 $0.040$）。头条 MAE $0.0285$ 只有 0.56–0.71 个标准误，对照模型的 $0.1706$ 是 3.4–4.2 个标准误。预测误差低于目标量自身的可测精度，说明留出区不是一个有代表性的区域。

第二层落在配方选择上——Figure 3 展示的是「每个 FLOP 预算下表现最好的配置」，即按配置取最大值的 frontier。

需要先把一处边界划准。论文 Figure 3 的 caption 原话是「We only display the optimal points at the given FLOP budgets, but the curves are fit to all the data points」——拟合对象是全部配置点，frontier 只作展示。因此不能说「拟合曲线读的是一条被选择性抬高过的上包络」，这个说法会被原文直接否掉。真正可辩护的是另外两件论文自己刊出的事。

第一件是附录 E.1 的误差形状反常：2B 的外推 MAE $0.004$ 只有其内样本 MAE $0.033$ 的 $0.12$ 倍，9B 为 $0.026$ 对 $0.038$，27B 为 $0.028$ 对 $0.049$，四个尺寸里三个外推误差低于内样本误差，只有 4B 相反（$0.051$ 对 $0.039$；RMSE 同向：2B $0.043{\to}0.004$、4B $0.050{\to}0.066$、9B $0.050{\to}0.033$、27B $0.076{\to}0.037$）。外推区按构造更难，误差却更低，这个形状需要一个解释，论文没有给。低预算档可用的配置数远多于高预算档（只有最大的几组跑能进入高 FLOPs 区间）仍然成立，但它作用的是展示用的 frontier 点，不是拟合本身。

第二件是拟合参数本身不稳定。Table 3 给出的 $\nu$ 是 2B $20.00$、4B $1.67$、9B $1.46$、27B $0.05$，跨 400 倍；27B 的内样本 RMSE $0.076$ 是四个尺寸中最差的。$\nu$ 控制的是第二个 $\sigma(\cdot)$ 因子的指数，从 20 塌到 0.05 意味着这个因子在两端的作用方式完全不同，而论文用同一套式子对四个尺寸作统一解读。

同时有一组对手证据必须写进来：Table 3 的 $c_A$ 随尺寸单调上升，2B $0.181$、4B $0.247$、9B $0.236$、27B $0.392$。也就是说「工具多样性系数的收益随模型变大」在论文的拟合里是成立的，且 9B 处只比 4B 低 $0.011$，形状稳定。要推翻「多样性优于数量」这条头条，等预算臂必须在存在这组单调性的前提下仍然把 $c_A$ 压到 2 个标准误以内，否则只是换了个口径复述原结论。

第三层落在预算口径上——$C\approx6ML$ 里的 $L$ 被定义为「训练轨迹中的总监督 token」，而全文给出的另一组数是 5.9B 总 token / 721M 监督 token——监督 token 占 $12.22\%$，两个候选分母差 $8.18$ 倍。$D$ 加深的是数据库干扰行，抬高的是工具返回的观测 token，不是模型的推理与动作 token。用监督 token 当横轴，等于让 $D$ 的成本从 FLOPs 里消失，却把 $D$ 的收益留在纵轴。Opt 与 SubOpt 的对照把这层放大：两者同为 32,768 条任务，Opt 取 $A{=}64,T{=}128,S{=}4,D{=}4$，SubOpt 取 $A{=}32,T{=}1024,S{=}1,D{=}2$。

按 $A\cdot T$ 推导，Opt 的不同指令数是 $64\times128=8{,}192$，SubOpt 是 $32\times1024=32{,}768$，相差 4 倍。这两个数是本提案按论文对 $T$ 的定义（每应用的任务数）推出的，论文正文未直接刊出，复现时需以去重后的指令计数核对。无论核对结果如何，Opt 臂的指令多样性更低而上下文更长，两个变量一并变动，收益无法单独归因到「多样性」这一侧。

诊断集的规模本身也是一层未入账的成本。论文原话是「evaluating on these benchmarks alone required 1.8 million episodes」，而它只用 AppWorld 与 SynthAPI-Holdout 两者做诊断集；也就是说，四基准的完整评测 episode 数比 180 万还要高一个未知的倍数。

数据工程侧还有两处缺口。全文检索不到去污染程序，而 SynthAPI 的八类应用分类（购物/音乐/效率/金融/健身/消息/工具/社交）与 AppWorld 的九个应用、BFCL 的八个域高度重合，这三个又都是评测基准。合成侧的过滤器只有两条正向条件——初始状态 $v(\mathrm{Db}^0)=0$、oracle 解执行后 $v=1$——没有负向对照，验证器 $v$ 本身没有独立实现或人工复核。教师 GLM-5.2 每条任务最多四试、全败即弃，拒绝率 $\rho_{rej}$ 从未刊出，而它随 $A,T,S,D$ 变化，直接决定各档配方留下的任务难度分布。

核心思路

提出数据配方可辨识性账本 CAL（Composition–Allocation Ledger）。沿用 SynthAPI 的四个旋钮，把「哪个旋钮有效」重述为可辨识性条件，用五本账逐项替换掉上文三层变换中的未记账部分。

目标量纲账排在第一位——把 $P$ 的分母从「同一批跑的最大值」换成训练前冻结的外部锚点（零样本基线加一组预先固定的参考模型），并把诊断集从 AppWorld Test-C 与 100 题 holdout 扩到不少于 400 题的 holdout。必刊 $\mathrm{SE}(P)$、泄漏比 $\lambda_{leak}$（分母中来自留出跑的比例）、压缩度 $\zeta=\mathrm{MAE}_{ext}/\mathrm{MAE}_{in}$。判据：$\zeta$ 落在 0.5–2.0 之间才允许谈外推。

选择账把拟合曲线与上包络分开——曲线拟合全部配置点，frontier 只作展示不作拟合目标；按 FLOP 档刊出配置数 $n_{cfg}(F)$，每档做 leave-one-config-out 的偏差估计 $\Delta_{max}$。判据：随机去掉一半配置后 frontier 高度的变化超过 $\mathrm{SE}(P)$，该档的 frontier 点就是选择产物而不是规律。

预算账把口径换成真实处理 token——$L$ 取前向—反向实际经过的 token 总数（含观测），报 $\rho_{sup}=L_{sup}/L_{total}$ 并按 $(A,T,S,D)$ 分档；每个多样性旋钮配一条「把对手的上下文长度补齐」的反向等预算臂。判据：在等预算臂上 $c_A$ 的估计仍超过 2 个标准误才算成立。

内容单位账定义什么算一条独立数据——去重后的独立指令数是 $A\cdot T$，$S$ 只是同一指令的实例化，两者不能并进同一个多样性因子；应用池只有 64 个，$A<64$ 时的子集必须随机重抽并重复 $R$ 次，报应用级随机效应 $\sigma_{app}$ 与子集嵌套度；另附一条污染账，报合成 API 名与功能描述对三个评测基准的重叠率 $\gamma$。

门与产出账管住筛选环节——按 $(A,T,S,D)$ 分档刊出四试全败率 $\rho_{rej}$ 及被弃任务的难度分布；给验证器装三条对照：注入已知错误解时的假阳性率 $\pi_v$、与独立重实现的一致率 $\kappa_v$、对「完成了但留下副作用」这一类的检出率 $\pi_{side}$（下游评测把「避免非预期改动」计入成功，训练侧验证器没有对应条款）。

关键区别不在提出新的合成方法，而在把「配方—性能」这条链上的三个中间变量（目标量、选择规则、预算单位）全部明码标价。ScaleEnv、Agent World Model、EnvScaler 一类工作比最终分数，Agentic RL 数据缩放律（arXiv:2610.23946）比轴向指数排序，两者都默认这些中间变量中性。

技术路线

第一步做正交化设计——固定真实处理 token 总量而非任务数 $N$，在 $(A,T,S,D)$ 上做部分因子设计，让每个旋钮都有只动自己的一条臂：固定 $A\cdot T$ 扫 $S$、固定 $S$ 扫 $A\cdot T$、固定 $A\cdot T\cdot S$ 扫 $D$，并补一条把 $D{=}1$ 臂的上下文补齐到 $D{=}4$ 长度的臂。

第二步随机化应用子集——64 个应用按分类分层，每个 $A$ 抽 $R{=}5$ 个不相交子集，报 $\sigma_{app}$；若 $\sigma_{app}$ 与 $A$ 的主效应同量级，则「多样性优于数量」需在应用质量这一维度上重新表述。

第三步重构目标量——外部锚点归一化加 400 题 holdout、每题 4 次解码，把 $\mathrm{SE}(P)$ 压到 0.02 以下；所有拟合点改用单点估计，不再取最大值。

第四步审计验证器——对保留任务重跑四类解：oracle 解、注入错误的解、正确但留下副作用的解、随机解，得 $\pi_v$、$\kappa_v$、$\pi_{side}$。

第五步把门与成本入账——刊出 $\rho_{rej}$ 分档表，以及合成侧 builder LLM token、教师 rollout token、训练 GPU 时、评测 episode 数（原论文自陈诊断集评测用了 180 万条 episode），换算成每点归一化得分的 GPU 时，替代「在固定任务预算下选配方」这个不含成本的优化目标。

三条技术挑战。第一条是等预算约束在长上下文场景里难两全：固定 token 总量与固定轨迹数不可兼得，本方案固定 token 总量并把轨迹数当协变量。第二条是应用级随机效应只有 64 个样本，$R{=}5$ 次重抽会把跑的数量推到数倍，需按尺寸分层削减（27B 档只做 $R{=}2$）。第三条是 $\pi_{side}$ 要求「完成了但留下副作用」可被自动判定，需要先把 AppWorld 的副作用检查逻辑抽成独立检查器。

预期成果

可测性目标：$\mathrm{SE}(P)$ 由 0.040–0.051 降到不超过 0.02，$\lambda_{leak}=0$，$\zeta$ 落在 0.5–2.0。

可辨识性目标：在等预算且应用子集随机化的设计下重估 $c_A$，要求估计值超过 2 个标准误；若 $\sigma_{app}$ 与 $c_A\log_2 A$ 项同量级，结论改述为「应用质量与工具多样性共同决定收益」。

可信度目标：$\pi_v$ 与 $\pi_{side}$ 逐档刊出，$\kappa_v\ge0.9$；$\rho_{rej}$ 分档表首次进入配方研究，并给出按被弃难度重加权后的主表。

成本目标：给出合成、训练、评测三段的 GPU 时与每点得分成本，把配方优化从「固定任务预算」改成「固定成本预算」。

影响面有两条。对数据工程，这套账本把「合成多少」升级为「合成什么、按什么单位计价」，可直接迁移到代码智能体环境与 AI for Science 工作流环境。对评测方法，$\mathrm{SE}(P)$ 与 $\zeta$ 两个量能充当任何拟合型缩放律论文的投稿前自检项。

相关工作

• Scaling Laws for Tool-Use Agents via Controllable Environment Synthesis（SynthAPI，本提案的审计对象），arXiv:2610.37648
• ScaleEnv: Scaling Environment Synthesis from Scratch for Generalist Interactive Tool-Use Agent Training，arXiv:2602.06820
• Agent World Model: Infinity Synthetic Environments for Agentic Reinforcement Learning，arXiv:2602.10090
• SimSAT: Environment-free Synthetic Data Generation for API-calling Agents，arXiv:2607.16900（abs 页标题为 “Simulate to Generalize: Scaling Stateful Supervision for API-calling Agents using LLM World Models”，与 2610.37648 参考文献条目所记标题不一致，引用以 abs 页为准）
• How Data Scales in Agentic Reinforcement Learning: Laws and Synthesis Strategies，arXiv:2610.23946

事实核查记录（2026-10-28）

审计对象 arXiv:2610.37648（Scaling Laws for Tool-Use Agents via Controllable Environment Synthesis，Apple，第一作者 Andrew Szot，v1 2026-10-27）的 HTML 全文已逐项回源。已坐实：64 个应用 / 10,472 个 API（6,266 写 + 4,206 读）/ 458,752 条任务 / 849 个模型 / 四个尺寸；留出 FLOPs 前 25%，留出 MAE $0.0285$，对照 $0.1706$，外推最远达拟合最大预算的 16 倍；5.9B 总 token 中 721M 为监督 token（$12.22\%$，两分母差 $8.18$ 倍）；教师 GLM-5.2 每条任务最多四试；SubOpt 取 $A{=}32,T{=}1024,S{=}1,D{=}2$；诊断集评测耗 180 万条 episode；附录 E.1 的 in-sample / extrapolation RMSE 与 MAE 四组数值、Table 3 的 $c_0,c_A,b_0,b_T,\nu$ 五列数值均与本文引用一致。

已订正一处：本文原将第二层写为「拟合曲线读的是被选择性抬高过的上包络」，与论文 Figure 3 caption「curves are fit to all the data points」冲突，已改为以外推/内样本误差比值与 $\nu$ 跨 400 倍不稳作为可辩护证据，并补入 $c_A$ 随尺寸单调上升这一对手证据。

待复现核对（本文未采为定论）：$8{,}192$ / $32{,}768$ 两条独立指令数为按 $A\cdot T$ 推导；$\rho_{rej}$ 未在论文中出现；合成 API 名与三个评测基准的重叠率无原始数据。