双侧边界账本：为可执行专业任务合成补上捷径侧审计、工作保全覆盖率与增益归因分解

背景与动机

审计对象是 WorkFactory（arXiv:2610.37161，IQuestLab，13 位作者，v1 2026-10-27，cs.AI）。它的位置对本专栏关注的支线是正中靶心的：把「职业意图」变成可执行、可验证的专业任务环境，再让教师模型在这些环境上跑出轨迹做监督微调。规模是 112,686 个任务、612 个细粒度职业、23 个职业大类；教师 GLM-5.3 产出轨迹（平均 57.36 个 assistant turn、62.95 次工具调用、136.18K token），微调 Qwen3.5-4B / Qwen3.6-27B / Qwen3.6-35B-A3B 得到 WorkPilot 家族，GDPval-AA 上 35B-A3B 由 879 涨到 1565 Elo。

机制主张也清楚：先建信息支持图 $\mathcal{G}_{\mathrm{info}}$，从期望输出反推需要哪些信息、信息该落在哪个载体上；实例化之后用一个 probe solver 实跑一遍，只把「阻塞完成」的问题交给 refiner 修，修完重验。Table 3 在 5,000 条任务的分析集上给出八类硬缺陷发生率，artifact-level planning → 加信息支持图 → 加执行式修复，三级把 GDPval-AA Elo 推到 1245 / 1293 / 1326。

问题不在「这套流程有没有用」——四个基准全涨，这一层不用怀疑。问题在于它声称守住的边界实际上只守住了一侧，以及涨出来的 686 分里有多少真来自任务环境质量。以下五条证据全部可用论文自己印的数字算出。

证据一：probe/修复循环是单向的——只能删掉「撑不住」，删不掉「撑过头」。 §3.4 与附录 C.1 写得很直白：只有 blocker 级发现触发修复，而 blocker 的定义是「prevent completion of the minimum required deliverable」。Table 6 里「Leakage or shortcut」的定义恰好是「Inputs reveal an answer or internal evaluation signal that should require work」——泄露让任务变容易，永远不阻塞完成。捷径任务因此没有 blocker，不触发修复，直接进入轨迹采集；它要出现在 Table 3 中，只能靠 probe 主动把这类发现标成 correctness。1.92% → 3.36% → 0.84% 是「probe 自愿上报的捷径」发生率，不是捷径发生率：探测器对该失效模式构造性失明，实测值只能当下界。论文自己也观察到加信息支持图会让捷径上升 1.44 个百分点，并归因于「explicit dependencies lead the materializer to expose solver-derived information in the request」——这是结构性成因，却交给一个看不见捷径的机制去清。

证据二：工作保全审计最多覆盖 30.42% 的任务。 Table 7 给出修复深度：0 轮 3,479 条（69.58%）、1 轮 1,012 条（20.24%）、2 轮 385 条（7.70%）、3 轮 124 条（2.48%）。附录 C.2 又写明未修复的任务不做工作保全复核。两条合起来：69.58% 从未进入修复，也就从未被检查过「该留给求解者的工作有没有被提前给出去」，真正被兜住的只有 1,521/5,000。整轮只丢 24 条（0.48%）——拒绝率近乎为零的审计器，其「通过」本身携带的信息量很低。修完之后仍有 242 条跨文件不一致、163 条推导断裂、87 条自相矛盾、65 条事实错误（八类含重叠，并集落在 4.84%–14.76% 之间）流入采集。

还有一处更硬的：refiner 「directly edits the request $u$ and the contents of existing reference files… without updating the information support graph」。信息支持图是全文的中心对象，它在所有被修过的任务上都是过期的；任何基于图的下游用途（奖励塑形、课程排序）读到的都和实际交付的环境不一致。

证据三：教师身份的效应是论文自身贡献的 2.9 倍，且近似 1:1 传导给学生。 §4.5 在同一批 30K 任务上换教师：GLM-5.3 教出的学生 1483（[1455,1510]），DeepSeek-V4-Flash-0731 教出的学生 1248（[1220,1274]），差 235 分。两位教师自己的官方 v2.1 Elo 为 1646 与 1427，差 219 分，传导比 235/219 = 1.073；蒸馏税 163 与 179，只差 16 分。这条流水线主要是一根能力导管：插什么教师就输出什么水平，扣掉一个近似常数。对比之下，论文自己的环境侧三级累计 +81 分、修复那一级单独 +33 分，而 75K→110K 多 35,000 个任务只加 13 分。排序是：教师身份 235 ≫ 环境侧 81 > 修复级 33 > 35K 增量 13。教师与环境从未交叉，所以「环境连贯性带来监督质量」这一机制在换教师后是否仍成立，没有证据。组件分析的两个增量（+48 与 +33）彼此只差 15 分且都不带区间，连「规划比修复更重要」这一步都站不住。

这一条还有更暗的一面：附录 D.3 写明意图合成、信息层规划、环境构建、执行修复全部用 DeepSeek-V4-Flash-0731，只有轨迹采集用 GLM-5.3。语料库的世界模型来自一个 1427 Elo 的模型（612 个职业长什么样、什么算专业产物、什么算可执行，全由它定义与认证），行为模型来自另一个 1646 Elo 的模型。世界构建者与行为示范者不是同一个模型，而两者在实验中都没有被独立换过。

证据四：83.5% 的训练轨迹采集在与头条评测完全相同的 harness 中。 附录 D.3：94,077 个任务用 GDPval-AA Stirrup harness（带 GDPval-AA 工具与官方 context-compaction 机制），其余 18,609 个用 Claude Code。94,077/112,686 = 83.48%。Table 2 的头条 Elo 全部出自 GDPval-AA，评测走的正是 Stirrup；另三个基准走 Claude Code，对应那 16.52%。没有任何一条手臂是「用 Claude Code 采集的 18,609 条训练、在 GDPval-AA 上评」，反向也没有。Figure 5(b) 给了提示：基线 24.87 turn，2K 任务时冲到 162.88 turn（6.5×），而头 447 分 Elo 正是在这一段拿到的。行为形态先变，能力后到，两者在同一条曲线上被混成一条读数。

证据五：头条 Elo 的读数精度撑不住被读出来的那些差距。 附录 E.1 自报：冻结流程后在三个未见模型上 MAE 19.00、RMSE 22.77、最大绝对误差 32.20 Elo，并声明 task-bootstrap 区间「does not include method-form error」。正文据此称 WorkPilot-27B（1612，[1594,1631]）比 DeepSeek-V4.1-Flash 高 12 分、比 GLM-5.3 低 34 分。两源误差合成 $\sqrt{18.5^2 + 22.77^2} = 29.3$，12 分是 0.41 个合成标准差；而冻结测试集上已出现过的单次最大误差 32.20 分，是这个 12 分差距的 2.7 倍。用一把平均误差 19 分的尺子报一个 12 分的差距，缺口是量纲级的。同一张表里 Qwen3.5-4B 的 661 分区间为 [363, 792]，宽 429 分——三档中涨幅最大的那个（+714）恰恰基线最不可识别。

另一处口径：GDPval-AA 覆盖 220 个任务、9 个行业、44 个职业，训练语料覆盖 612 个职业，44/612 = 7.19%。训练过的职业里 92.8% 没有任何评测覆盖，职业维度的迁移从未被测。

核心思路

提出双侧边界账本（Two-Sided Boundary Ledger, TSBL）。落点不是换掉 WorkFactory 的合成机制，而是把它自己定义的那条「前提必须给足、推导必须留下」的边界，从单侧门禁升级为双侧可对账的量。五本账各自对应上面一条证据，全部可以挂在现有流水线上而不改其产出逻辑。

第一本，捷径侧账。 造一个被剥夺推导能力的 probe：同一个求解器，在工具层（不是提示层）拿掉代码执行与一切计算类工具，只允许它读取 solver-visible 的输入并拼装交付物。它交出的产物若在与教师产物相同的判定阈值下通过，该任务即判为捷径。产出三个量：任务级捷径率 $\pi_{\mathrm{short}}$、连续量 $\sigma_{\mathrm{skip}}$（交付物所要求的推导步中可纯靠抽取复现的比例）、以及判定阈值 $\tau_{\mathrm{short}}$ 的校准曲线。这个 probe 严格比教师弱，所以它是合法的下界探测器；用 artifact-level 与 information-level 两个已知条件（1.92% 与 3.36%）做正负对照来定阈值。

第二本，审计覆盖账。 把工作保全复核从修复中解耦，对每一条被保留的任务（含修复深度 0 的那 69.58%）无条件执行。发布 $\rho_{\mathrm{aud}}$（覆盖率）与逐类判定，使捷径率从「条件于进入修复的发生率」变成「语料库级发生率」。

第三本，图漂移账。 修复后重新绑定 $\mathcal{V}_{\mathrm{info}}$ 的每个节点，检查载体位置是否仍可解析、节点角色（supplied / solver-derived / internal）是否改变，发布漂移率 $\delta_G$，并单列角色反转率：修复前为 solver-derived、修复后变成 supplied 的节点占比。这正是论文猜测的泄露机制，这里是直接测而不是从 probe 报告里反推。

第四本，漏斗账。 逐阶段计数加逐阶段难度分布：意图 → 构建 → 修复放行 → 教师过滤 → 拒绝采样放行 → 终稿，每一步给出丢弃数与该步被丢弃集合的难度分布，由此得选择差分 $\Delta_k = \mathbb{E}[\text{difficulty}\mid \text{discarded at }k] - \mathbb{E}[\text{difficulty}\mid \text{retained}]$。拒绝采样那一步的设计（教师四次都赢不了一个 1427 Elo 的基线就把任务和 workspace 一起删掉）保证 $\Delta_k > 0$，于是 Figure 5(a) 的曲线是「在一个被难度筛选过的池子上缩放」，+13 分不能只读成数据量效应。

第五本，归因账。 把 base→final 的跨度做因子分解，补齐缺失的两条手臂：harness/格式对齐臂（同 harness、同教师、但任务换成非专业合成池，或抽掉交付物要求的通用产物任务）与教师×环境交互臂。发布 $\omega_f$（各因子占总跨度的份额）与残差。

配套一条测量口径：任何基于本地 Elo 的差距声明必须报 $m = \Delta\mathrm{Elo}/\mathrm{MAE}_{\mathrm{method}}$，且 $m \ge 2$ 才允许定性表述。按此规则，「高 12 分」的 $m = 12/19.00 = 0.63$，不达标；「低 34 分」的 $m = 1.79$，也不达标。

技术路线

第一步，复现与插桩。WorkFactory 已开源数据与权重，在现有流水线上挂五本账的采集点，把每阶段的输入/输出/判定全部落盘为结构化账本，而不是事后重跑。

第二步，捷径 probe。在工具层做 ablation（屏蔽执行类工具而非靠提示约束），用同一判定器对比「无推导产物」与「教师产物」，扫阈值得到 $\pi_{\mathrm{short}}(\tau)$ 曲线；用 1.92% / 3.36% 两个已知条件锚定工作点。

第三步，无条件复核。把 C.2 的 LLM 复核改成独立阶段，对全部保留任务执行，输出 $\rho_{\mathrm{aud}}$ 与逐类判定；复核器换族（不用构建侧模型）以避开自审。

第四步，图重绑定。为 $\mathcal{V}_{\mathrm{info}}$ 每个节点实现位置可解析性检查与角色分类器，修复前后各跑一次，得 $\delta_G$ 与角色反转率。

第五步，漏斗与选择差分。补齐各阶段丢弃计数与难度分布（难度用 probe 求解 turn 数或教师 turn 数代理），逐阶段算 $\Delta_k$。

第六步，因子实验。8 条手臂（harness × 教师 × 环境）在 30K 任务规模上用 4B 跑，选 2 条在 35B-A3B 上复核；每格配 task-bootstrap 区间与配对检验。

第七步，评测侧补齐。按职业分层报覆盖率，构造留出职业组与留出 harness 组；把 Elo 锚点轮换到未参与构建的模型，报每条声明的锚点敏感度。

关键挑战有四处。其一是捷径判定的假阳性：真正需要推导的任务若因交付物模板化而被误判，账本会虚高，必须用已知的两组条件做对照并且要求负对照近零。其二是「不能计算」必须在工具层强制，提示层约束在长轨迹里不可靠。其三是成本：全语料捷径 probe 约 136K token/任务 × 112,686 = 15.35B token，占已花掉的构建预算（11.656M × 112,686 = 1.313T token）的 1.17%，与轨迹采集同量级，可以承受——顺带说明构建成本本身是轨迹成本的 85.6 倍，而 §4.6 的成本前沿明确「cover task-solving model inference only」，98.84% 的 token 开销落在成本轴之外。其四是因子实验的算力：8 条手臂全在 35B-A3B 上不现实，需要在 4B 上做全因子、在大尺寸上只验关键两格，并把跨尺寸的系数稳定性单独报出来。

预期成果

定量目标：$\pi_{\mathrm{short}}$ 在公开子集上显著高于已报的 0.84%（若翻倍以上，则「泄露已被修复清掉」这一读法需要改写）；$\rho_{\mathrm{aud}}$ 由 ≤30.42% 提到 100%；$\delta_G$ 与角色反转率给出非零读数，从而把论文对泄露成因的猜测变成可测机制；拒绝采样阶段的 $\Delta_k > 0$ 被坐实，使缩放曲线改口径；$\omega_{\mathrm{teacher}}/\omega_{\mathrm{env}}$ 在 30K 规模上给出具体比值，回答「+686 分里多少是蒸馏、多少是任务工程」。

定性产出是一套可插拔审计器：任何可执行任务合成器（SWE 类环境、办公类环境、科研类环境）都能挂上这五本账，用同一套 schema 报数，使「任务环境质量」从主张变成可核对的量表。对数据工程实践的直接意义是：合成任务流水线的拒绝规则必须双侧对称——只删不可做的任务、不删不用做的任务，会让语料库在「可解」这一个维度上单调纯化，而在「值得解」这个维度上无人看管。

相关工作

• WorkFactory（本提案的审计对象）：arXiv:2610.37161，https://arxiv.org/abs/2610.37161
• FORT-Searcher：捷径抗性搜索任务合成，与本提案第一本账直接对应：arXiv:2606.12087，https://arxiv.org/abs/2606.12087
• GraphForge：图锚定的 workspace 合成，同方向最相近的并发工作：arXiv:2609.38923，https://arxiv.org/abs/2609.38923
• WorkGenesis：用 rubric 归因驱动请求与材料改写，与本提案的修复审计形成对照：arXiv:2609.39325，https://arxiv.org/abs/2609.39325
• Synthetic Computers：长程生产力模拟中的产物依赖规划：arXiv:2604.28181，https://arxiv.org/abs/2604.28181