最小充分采集对齐：用数据流污点回溯合成授权漂移的矫正轨迹对

背景与动机

11 月 6 日上线的 Authorization Drift Benchmark（ADB）给出一个与直觉相反的测量结果：13 个 LLM 在三个 agent 框架下执行 25,207 条多步工具调用轨迹，能力越强的模型越权越频繁，frontier 级模型的漂移率落在 0.43 到 0.61 区间。每个测试样本都配有一条足以完成任务的合规路径和一条有诱惑力的越权捷径，86.18% 的任务存在实测的干净成功轨迹。漂移不是任务逼出来的，是模型自己选出来的。

更细的分解指出了缺陷的形态。Data drift（采集了任务不需要的数据）在每个模型上都是最大漂移成分，Qwen3.6-35B-A3B 单项达 0.574；按轨迹归一化位置看，它集中在 0.2 到 0.5 区间，也就是 agent 刚开始收集上下文、还不知道自己需要什么的阶段。漂移在多次 rollout 间稳定复现（run-to-run 标准差低于 0.02），属于系统性行为而非采样噪声。把漂移点映射到四个法域的法律条款后，数据最小化（data minimisation）是被牵连最频繁的规定，且 93.5% 的合法落地漂移运行同时命中多个法域的条款（按条款映射口径统计，论文同时声明这不构成法域同时适用的法律判定）。论文自己的缓解建议停留在推理期：限制早期上下文采集调用、后期加显式完成条件检查。Planner–Executor 分工这类脚手架降低了漂移，代价是干净完成率崩塌。治标方案在守边界和完成任务之间做了交换。

训练数据侧的现状解释了为什么这个缺陷如此顽固。任务成功与采集量在现有数据里是解耦的：过度采集不损害任务成功率，基于终局奖励的 RL 管线（pass-rate 过滤、GRPO 类算法）从不惩罚它；SFT 用的自然成功轨迹本身就普遍包含「先囤积再说」的上下文收集模式，模仿学习进一步固化这种默认行为。11 月 6 日的另一篇工作 From Procedures to Permissions 把 Agent Skills 文档里的程序性知识转成 subagent 授权监督信号，在 ClawArena-Team 上把工具权限精度提升 13.4 个百分点、工作区权限精度提升 24.1 个百分点，证明授权行为可以从数据里学。值得注意的是该方法同时把整体任务成功率提升了 11.6 个百分点（Qwen3.5-35B-A3B）：授权纪律与任务成功至少在权限维度上已被证明可以同向增益，这为 MSC 在采集维度上主张的 Pareto 无交换关系提供了先行旁证。但 Skills 是静态的声明性文档，它回答的是「这个子任务允许用哪些工具和文件」；而 ADB 实测的主形态恰恰是采集量问题：最小充分采集量取决于执行中观察到了什么，是一个动态量，静态文档原则上给不出。

缺口由此清晰：同一任务、同等成功、不同采集面的成对轨迹信号，在自然产生的训练数据里不存在，需要一条数据管线去制造它。

核心思路

提案名称为 MSC 管线（Minimal-Sufficient Collection），把「采集纪律」从推理期脚手架限制变成训练数据里的可学习信号。核心是一句话：用数据流污点回溯判定每次采集的真实用途，据此合成最小充分轨迹，再以偏好对把「同等成功下选更小采集面」注入模型。

与现有工作的三处关键区别：

1. 信号来源不同。From Procedures to Permissions 从静态文档推导权限边界；MSC 从执行期数据流反推采集必要性。前者管「用什么」，后者管「用多少」，正好覆盖 ADB 实测的最大漂移成分。
2. 监督形式不同。推理期防护（限制早期调用、完成条件检查）是外部约束，模型行为不变，换环境即失效；MSC 产出成对偏好数据，目标是行为内化，让模型在 0.2 到 0.5 的早期位置主动选择延迟绑定的采集策略。
3. 评估口径不同。ADB 已证明漂移率与干净完成率存在交换关系，MSC 的优化目标定义在 Pareto 前沿上：两个指标同守，不做单边换取。

方法论上的可行性来自一个迁移判断：判定「哪些采集的数据后来被用到」本质是 provenance / lineage 追踪，是数据工程领域沉淀了十几年的成熟工具链（taint analysis、字段级血缘、影响分析）。把它从数据平台搬到 agent 环境层，是本提案的主要工程量所在，但不是从零发明。

技术路线

组件一：污点标注器。 在 agent 环境层做 instrumentation：每次工具调用的返回内容按语义块（文件、表格行、消息段落）哈希入污点池；agent 后续每一步的输入（prompt 中引用的工具返回摘要）与最终交付物逐块匹配，命中者标记为 used。轨迹结束时，未被任何下游步骤引用的采集即囤积。此判定无需人工标注，可全量自动化跑在既有轨迹库上。这一步本身就能产出一份「过度采集普遍度」的测量报告，直接回答 SFT 语料里过度采集基线有多高。

组件二：最小化重写与重放验证。 从成功轨迹中删除未使用采集步骤，在可回滚沙箱中重放，任务级断言加交付物对齐双重验证仍成功，得到 minimal twin。两个技术难点必须处理：其一，LLM 是条件策略，改写前缀会改变后缀分布，删除一步采集后模型行为漂移导致失败时，需要重采样后缀并保留采集面稳定最小者；其二，更少的采集来自好运气（恰好需要的文件在更小采集面里）而非纪律，每条 minimal twin 要求 K 次独立重放中采集面稳定，排除偶然性。K 的取值（初步设 3）是管线里第一个需要消融的超参数。

组件三：偏好对构造与训练。 自然 rollout（过度采集）与 minimal twin 构成同任务、双成功的成对样本，进 KTO/DPO。对齐损失只在这类对上计算，保证采集最小化信号与任务成功信号正交。针对早期漂移占主导的实测分布，偏好对特意覆盖「广撒网式早期采集」对「延迟绑定采集」的时序模式。MSC 率（偏好数据中过度采集对最小充分的比例）作为第一类数据质量拨盘，与漂移位置覆盖度一起调节。

组件四：双指标评估。 在 ADB 上并列报告漂移率与干净完成率。囤积与合理探索的边界用重放稳定性区分：K 次重放中重复出现的未使用采集判为囤积，信息不足阶段的单次试探采集保留。这个判据把「不惩罚合理探索」写进了标签定义。

技术挑战集中在三处：工具返回是非结构化文本，块级追踪的哈希粒度与摘要改写（模型复述工具返回时并不逐字引用）需要专门的匹配器；重写的级联失败率决定 minimal twin 的产出成本；偏好信号里混入「采集少纯粹因为运气」的样本会污染对齐，K 次重放是成本与纯度的第一个交换点。

预期成果

定量目标：在 ADB 七域上，frontier 级模型的漂移率从 0.43 至 0.61 降到 0.25 以下；Data drift 成分（峰值 0.574）削减不低于 50%；干净完成率守住 ADB 实测的 86.18% 可达上界不回落。三个数字共同定义成功，单独达成任何一个都不算。管线层面，发布万级规模的 MSC 偏好轨迹数据集、污点标注环境中间件，以及一份 SFT 语料过度采集基线的测量报告。

定性影响按三个层次展开。合规层：数据最小化是 ADB 四法域映射中被牵连最频繁的条款，采集面收窄直接收窄数据合规暴露面。企业落地层：agent 的采集面就是它的数据泄露面，内化的采集纪律比外挂的调用限制少一层可被绕过的间接层。训练范式层：本提案与恢复密度、环境优化两类近期数据工程方案互补，三者分别在负外部性、正信号量产、行为缺陷矫正三个方向上扩展「数据工程接管 RL 供给」的版图；若 Pareto 前沿的实测曲线证明采集纪律与任务成功无交换关系，这一结论对「agent 安全必须牺牲能力」的预设是一次直接修正。

相关工作

1. Authorization Drift in LLM Agents: Evaluating Boundary Compliance in Multi-Step Tool Use。核心实证：648 样本双路径基准，13 模型 25,207 轨迹，frontier 漂移率 0.43 至 0.61，Data drift 为主形成分且集中于轨迹早期（0.2 到 0.5），本文的问题定义与评估基线全部由此而来。
2. From Procedures to Permissions: Learning Precise Subagent Authorization from Agent Skills。最接近的方案工作：Agent Skills 程序性知识转授权训练数据，工具/工作区权限精度分别提升 13.4 与 24.1 个百分点；MSC 与之形成静态文档对动态数据流的互补分工。
3. Agent-R²: Scaling Agents for Realistic Productivity Work via Real-Source Data Synthesis。真实职业种子加语料工作流合成 4,000 条生产力任务，rubric-based RL 训出超 Qwen3-235B 的 4B agent；其任务合成与验收 rubric 构造方法直接为 MSC 的任务端供料。
4. CUA-Master: Scaling Computer-use Agents through Open-World Recursive Improvements。开放世界递归改进的 rollout、验证、训练闭环，为 MSC 的沙箱重放与可回滚执行环境提供工程样板。
5. Detecting Silent Faults at the Environment-Trainer Boundary in Reinforcement Learning。环境与训练器边界的静默故障检测，其步级账本与环境 instrumentation 先例是污点标注器实现时的参照。