清洗在回忆，过滤在计价：数据管线四个环节的契约重审

引言：验收员不看房间多大

装修竣工验收时，验收员不量房间多大，逐根核对管线是否按图施工。2026 年 11 月 5 日提交到 arXiv 的四篇论文——两篇落在 cs.DB、两篇落在 cs.CL——对 LLM 数据管线做的正是这件事：不问管线能跑多快、语料能攒多少，逐环节核对「这一环当初答应做什么、实际兑付的又是什么」。

四篇论文恰好覆盖管线的四个环节。清洗环节，中国人民大学与中央民族大学团队的 CoRE 协议审计清洗分数里有多少来自模型对实体的常识回忆而非表内证据；过滤环节，港科大（广州）联合新南威尔士大学、之江实验室、西南交大与港科大的 CascadeFilter 把语义过滤从一道质量门重写成带精度约束的成本定价问题；合成环节，浙江大学与百度团队的 Agent-R² 把后训练数据的接地源从模型想象换成真实职业种子与真实文件；配方环节，隆德大学的配对研究证明两个语料对比的产出是不同的技能剖面，而不是一条谁优谁劣的总排名。四份审计各自结论不同，指向同一个趋势：数据工程的验收标准，正在从「跑通了、分数涨了」转向「每个环节的输入输出契约可核验」。

第一环：清洗分数测的是修表能力还是背常识

用 LLM 修脏表的团队越来越多，公开基准上的高分被当成选型依据。CoRE（Cleaning or Recalling，arXiv:2611.08106）提出的问题是：这份高分里，有多少是模型「认识」这些实体带来的？

审计工具是改名对照。把基准表的实体名替换成英语词或音节拼成的假名，保留错误位置与非恒等值，错误机制原样搬运。在 21 张受控表、8 个 LLM 上，改名的杀伤力集中在强事实先验的字段：DeepSeek-V4-Pro 的电影年份修复准确率从 91% 跌到 18%，换成音节拼成的假名还要再降到 13%。更锋利的是知识冲突实验——表里明确指派了一位导演，模型明明拿到「以表内证据为准」的指令，还是按自己记忆里的真实署名改写。标准提示下，商业模型对 57 部已知影片的改写率在 68%–100%：GLM-5.3 改了 57/57，Qwen3.8-Max 改了 56/57。加上证据优先指令后，GPT-6.1-Sol 的改写从 53/57 降到 0/57，商业模型整体收敛到 0.000–0.404。同一个对照里，城市字段的改写率明显收敛：医院表最高 0.042、啤酒厂表最高 0.140——没有强事实先验的字段，模型懒得改。

这条审计有两个诚实的边界。改名会移走修复所需的信息（比如影片的标识符映射），不是所有分数跌幅都能记在「背常识」头上；续写探针没有发现模型背过基准行本身。结论是「分数里的知识占比不可忽略」，不是「模型全靠背」。另一个发现与评分侧有关：Rayyan 基准的参考值里有 722 处电子表格式的日期换算，一条与 PubMed 记录吻合的 ISSN 修正拿不到分，而 TabClean 被记分的修复里 94% 只是复现了参考值的换算模式——参考值本身在奖励错误的技能。

第二环：过滤门的真实形态是成本定价

语义过滤——「留下满足某条自然语言条件的记录」——是 LLM 数据分析的基础操作，也是预训练语料清洗的核心动作。用贵模型扫全量文档，账单立刻失控；现有级联方案（如 Task Cascades）用便宜模型先筛、不确定的送 oracle，但阈值标定按拼装后的固定顺序调整，不是在组合空间里找最优。

CascadeFilter（arXiv:2611.08367）把这个环节重写成一个优化问题：三阶段级联（小模型读抽取证据 → 小模型读全文 → oracle 兜底），对固定级联结构做联合阈值搜索，目标是最小化 token 感知成本，约束是 oracle 相对误差，在预设网格里挑出成本最低且通过认证的配置，再用有限总体校准给误差上界。关键设计是「认证接口不动」：换检索、换重排、换置信度，证书的口径不变。六个数据集、13 个评测设置里，它在 12/13 个设置上把最高 Accuracy 与 Macro-F1 一并收入（平均 0.938/0.887，对 Task Cascades 的 0.900/0.830），送 oracle 的比例按数据集自适应：最低 2.5%（CB-Q1），最高 31.2%（RV-Q3）。

值得单独一提的是论文自己声明了「未解决的运行来源与记账问题」，并承认部分设置上的分差很小、没有做显著性检验。给过滤环节建账的思路值得抄，具体数字先按论文自报口径引用。

第三环：合成数据的价值锚在真实源密度

后训练数据的惯用做法是让 LLM 自己想象任务、生成文件、自评质量。Agent-R²（arXiv:2611.08219）把三个环节的接地源全部换掉：工作流来自语料里的职业证据，文件来自真实网页附件，评分标准对齐交付物级 rubric。一万个网页语料候选蒸馏出 4 千个任务实例，每个都配真实多格式附件与细粒度评分表。

在这 4 千个实例上做完 SFT 与 rubric 驱动的强化学习，4B 学生模型在 GDPval 上拿到 51.0% Pass@1——比 Qwen3-235B-A22B-Thinking-2507 的 48.0% 还高，比自己的 4B 基线涨了 18.6 个点；换到 OfficeQA，从基线的 2.2% 提到 14.8%，压过 235B 的 13.8%。行为分析里最有工程价值的一条：rubric 计分的真实源数据抑制了捷径行为——先交一份「看起来像」的交付物、不充分查证就收工——换来更持续的探索。

边界同样清楚：rubric 是作者自己写的，训练任务与评测基准同属「生产力工作」域。这份审计证明的是接地密度决定合成数据上限，不是 4B 模型全面超过 235B。

第四环：语料对比的产出是技能剖面

选语料的习惯动作是拿单一榜或几个榜的均分排座次。隆德大学的配对研究（arXiv:2611.07812）在 10M 与 37M 词两档预算下，用同一套模型家族、训练配方与评测协议分别训练 1911 年版《大英百科》与 BabyLM 2026 严格语料的学生模型（58M 参数，含蒸馏与非蒸馏消融）。

结果不是一份排名，是一次跨基准的排名反转：BabyLM 2026 在 BLiMP 及其增补（语法可接受性）上一致更强，《大英百科》在 Entity Tracking（合成状态跟踪）上常常更强。反转在教师模型上就出现、蒸馏后依然稳定，控制实验排除了训练曝光量与上下文长度的影响，教师集成也复现不出 Britannica 学生的行为。蒸馏的作用是放大这个对比而非抹平：Entity Tracking 上蒸馏效应在 Britannica 是 +10.99、在 BabyLM 2026 是 −8.31——符号相反、差值约 19 个点；Britannica 蒸馏学生拿到 37.10，比两位教师（26.13、25.38）都高约 11 个点，BabyLM 蒸馏学生却被拉到 14.83，低于 20% 的随机线。

边界要写进结论：这是 58M 学生、几千万词预算的小尺度实验，Entity Tracking 的量级对训练动态敏感。它的可迁移结论只有一条——语料对比必须报多基准剖面，只报 BLiMP 会得到「干净但不完整」的排名。

行业影响：四道可以抄走的验收门

对数据团队的含义可以更直接。第一，任何用 LLM 做清洗或评审的管线，上线前跑一遍改名对照，强事实字段的跌幅就是知识依赖的量纲；这与本站 10 月初写过的「三道验收」和上周的「零参数哨兵」是同一族防线——先测工具自带的偏置，再测工具的产出。第二，语义过滤的账要从「准确率」改记成「每百万 token 的认证成本」，CascadeFilter 的联合阈值搜索给出了现成模板。第三，合成数据预算该买的不是实例数，是真实源接地密度：4 千个真实文件任务教出来的模型，胜过想象派生的上万实例。第四，语料选型报告里只放一个均分的，一律打回。

未来展望：契约审计会变成标准件

这四份审计有共同的工程走向：对照实验、统计认证、接地配比、多基准剖面，都会从论文手法沉淀为数据平台的验收组件。可以预期两个方向：清洗与评审类分数会被拆成「知识可解释」与「表内证据」两个分栏，单一总分失去意义；语料配方系统会输出技能剖面而非质量分，配方的调整从调比例变成调剖面。数据平台的角色会从「跑管线的执行者」变成「出审计报告的验收方」。

结论

四篇论文没有一篇提出新管线，合起来却改变了管线的定义：清洗、过滤、合成、配方这四个环节，每个都要能回答「你实际兑付的是什么」。清洗分数要先过改名对照，过滤门要亮出成本与误差的联合定价，合成数据要报真实源密度，语料对比要给技能剖面。数据工程的下一轮竞争，不在谁攒的数据多，在谁的每个环节都经得起对着契约逐条核验。

参考来源

• CoRE: Cleaning or Recalling? Knowledge Dependence in LLM-based Data Cleaning（arXiv:2611.08106）https://arxiv.org/abs/2611.08106
• CascadeFilter: Cost-Efficient Semantic Filtering with Joint Threshold Selection（arXiv:2611.08367）https://arxiv.org/abs/2611.08367
• Agent-R²: Scaling Agents for Realistic Productivity Work via Real-Source Data Synthesis（arXiv:2611.08219）https://arxiv.org/abs/2611.08219
• Different Corpora, Different Skills? A Paired Study of Small Language Models（arXiv:2611.07812）https://arxiv.org/abs/2611.07812