研究提案 已修订

见证边界账本:MCP 工具依赖图环境合成的覆盖估计、漂移监控与难度可控课程

给 ToolSpace 的执行见证范式配上覆盖、回放、漂移、难度、课程五本账,把 Agent 环境合成从一次性管线升级为可维护可审计的数据资产

Agent 训练数据 MCP 环境合成 工具依赖图 数据覆盖度 生态漂移 难度调控 长时程 Agent

背景与动机

把大模型部署为跨 MCP 服务编排工具的长时程 Agent,训练环境从哪里来,是当前 Agent 数据工程的核心问题。主流做法是数据中心式合成:先造数据库与场景,再从里面派生工具和任务。人大、复旦、上交团队 11 月 3 日发布的 ToolSpace(arXiv:2611.05036)把这条顺序倒转:从真实 MCP 服务与开放 Agent 语料的执行轨迹里,用确定性规则挖掘相邻调用之间的数据依赖、状态依赖与重试依赖,把带权工具组合图聚成 804 个环境,对状态可变环境才合成数据库,查询类与无状态工具直接重放录制返回值;再做带回滚的状态感知随机游走,把链反编译成自然语言任务并用断言检查,只保留能从初始状态完整回放的样本。七个长时程基准上,Qwen3.6-35B-A3B 从 23.0 提到 41.0(加 RL 到 43.2),GLM-5.2 从 44.6 到 56.6,追平 Claude Opus 5;Pro 版基准让七个前沿模型最多掉 38.2 分。

这套管线最有价值的贡献是把「执行见证」立为环境合成的唯一原语:消融显示 LLM 判断的边几乎与删掉状态边同样伤性能(组件消融表上 LLM-judged edges 均分 43.5、w/o state edges 均分 44.0,两档几乎重合,见证与否比边看起来合不合理重要得多)。问题恰恰出在这里。「见证」本身有三条边界,论文一条都没有计量。

第一条是语料边界。边只来自轨迹中相邻调用的见证,图的节点粒度是(工具,归一化参数配置),见证集合完全由语料 M=MMCP∪Mopen\mathcal{M}=\mathcal{M}_{\mathrm{MCP}}\cup\mathcal{M}_{\mathrm{open}} 决定。真实存在但语料没覆盖的工具组合进不了图;边权采样偏向高频组合,任务分布继承语料的流行度偏差。论文的环境缩放消融里,AutomationBench 的环境比例从 1/16 提到 1/8,分数从 9.2 跳到 33.8(τ³-Bench Banking 在同一消融里涨得慢得多,作者归因于其依赖更窄的服务集合)。这说明低覆盖时广度是硬瓶颈;但图本身覆盖了真实组合空间的多少,全文没有给出任何估计。

第二条是回放边界。只有能从初始状态回放并通过断言的游走才进训练。副作用落在合成数据库之外的任务(邮件真实送达、支付真实扣款、第三方系统状态改变)被结构性排除在训练分布之外。回放拒绝率是多少、被排除的是哪些工具族,论文均未刊出。

第三条是时间边界。MCP 生态在版本化演进,服务升级会改参数语义、废弃工具、调整调用顺序约束。过去见证的边不等于现在成立,而全文零处讨论图的新鲜度。804 个环境的资产建好那天就开始过期。

核心思路

提出 WiBL(Witness-Boundary Ledger,见证边界账本)框架:给「执行见证」这个二元谓词配上连续的账本计量,把环境合成从一次性管线升级为可维护、可审计的数据资产。框架含三个组件,产出五本账。

组件一是覆盖计量器。把语料对分后独立跑两遍挖掘管线,用 capture-recapture 估计量(按边权分层)推断未见证边的总量与分布,按环境簇报告边召回下界,对低覆盖簇定向补充语料。

组件二是漂移哨兵。按边权、依赖类型与簇中心性分层抽样金丝雀边,周期性调用真实工具验证 data/state/retry 语义是否仍成立,比对工具 schema 版本;检测到失效即标记过期边并触发增量重挖。只读接口优先,写操作走沙箱账号,探针成本控制在全图验证的 5% 以内。

组件三是难度可控游走器。ToolSpace 的任务难度是随机游走的涌现属性,方向不可控。把游走的结构参数显式化为旋钮:链长 LL、状态变异次数 MM、重试深度 RR、跨环境跳数 HH、采样温度 τ\tau。用 8-10 个前沿模型在这些旋钮张成的空间里跑失败率,拟合「结构参数→失败概率」的难度面,再按当前模型的能力诊断做弱项定向采样与课程调度。对不可回放任务,引入 AWM(arXiv:2610.40927)式的只读证据采集做半回放验证,不重置真实环境也能核验关键断言。

与现有工作的区别在于计量对象:SynthAPI(arXiv:2610.37648)在四个合成旋钮上拟合缩放律,回答「预算怎么分」;ToolSpace 把图挖出来了,却把图当成免费且恒定的输入。WiBL 把图本身当成待计量、会漂移、可调控的对象,这是两者都没做的。

技术路线

分四步走。

覆盖计量先行。语料 M\mathcal{M} 均分为两半,各自独立挖掘,统计两边重合的边数与单边出现的边数,代入按权重分层的 Chao 估计量得到未见证边总量估计;用随后 10% 新语料挖出的边做地面真值检验估计误差。刊出覆盖账:未见证边比例、头部 10% 边占据的游走概率质量、逐簇召回下界。

漂移哨兵建在覆盖账之上。按(边权×类型×中心性)分层抽 500-1000 条金丝雀边,每日真实调用验证;写类工具用沙箱账号与可撤销操作。刊出漂移账:边过期率曲线、半衰期、哨兵检测召回、增量重挖成本。schema 版本比对不花调用成本,作为第一道触发器。

难度面拟合分两层。网格生成走结构参数的拉丁超立方采样,每个配置合成 50-100 条任务;观测层用前沿模型的失败率,拟合层用逻辑回归与浅层高斯过程各报一份,交叉验证选优。刊出难度账:每个旋钮的边际难度 ∂pfail/∂L\partial p_{\mathrm{fail}}/\partial L、∂pfail/∂M\partial p_{\mathrm{fail}}/\partial M、∂pfail/∂R\partial p_{\mathrm{fail}}/\partial R、∂pfail/∂H\partial p_{\mathrm{fail}}/\partial H,以及跨模型系数稳定性(SynthAPI 的指数 ν\nu 跨 400 倍的教训:系数跨一个数量级即该难度面不是一张面)。

验证环节产出课程账与回放账。等任务预算下做三臂对照:均匀游走(ToolSpace 原版)、随机课程、弱项定向课程;另设 20% 留出环境簇测迁移。刊出:等预算增益、留出簇增益保留率、回放拒绝率按原因分解、被排除工具族清单、半回放验证通过率。

关键技术挑战有三。capture-recapture 的独立性假设在语料上不成立(热门工具两边都会出现),用分层与下界估计缓解。金丝雀探针对真实服务有副作用风险,沙箱账号与只读接口只能压低不能归零。难度面与模型耦合,每换一档模型要重拟合,跨模型系数稳定性本身要作为刊出项。

预期成果

定量目标:覆盖估计对留出语料新边的预测误差 ≤15%;30 天窗口内真实 MCP 变更的哨兵检测召回 ≥90%;难度面跨模型平均 MAE ≤0.08,旋钮系数跨模型变异控制在一个数量级以内;等任务预算下弱项定向课程比均匀游走在七个长时程基准均分 +3pp;留出环境簇的增益保留 ≥60%。

定性影响有两条。其一,见证从「有或无」升级为带五本账的连续量,环境合成管线第一次有了覆盖度、新鲜度与难度的审计口径。其二,与 Strategist(arXiv:2611.03618)形成对偶:推理策略那一半系统已经能自进化,环境资产这一半也该有同等的维护机制。VCoT-SQL(arXiv:2611.00815)证明步级验证可以压过教师规模,见证边与回放断言正是 Agent 任务上的同类验证,值得同等严格地计量其边界。

相关工作