数据工程观察 · 2026年11月07日

本期五条动态对应数据工作的五个动作：选（按覆盖还是按难度挑样本）、配（混合物把指纹刻进权重）、省（固定预算下多少独特激活够用）、造（用真实网页文件合成 agent 训练数据）、证（从 LoRA 产物反推训练数据域）。五篇论文都出自 11 月 4–5 日提交的 arXiv 新批次，一条共同线索是把「数据长什么样」变成可测量、可预算、可审计的对象。

覆盖压过难度：LLM 微调数据选择的再思考

事件概述：芝加哥大学、UT Austin 与 AI2 的团队系统检验了五种难度分数迁移到 LLM 微调数据选择后的表现，结论是它们普遍跑不赢随机采样，真正起作用的变量是覆盖（coverage）。

技术细节：作者把 Perplexity、Confidence、Variability、VoG、PVI 五种为分类任务设计的难度分数扩展到 LLM 微调，在 Llama 3 8B 与 OLMo 2 7B 上对 Social IQa、CommonsenseQA、CosmosQA 三个 QA 数据集做 1%–75% 比例的子集选择。随机基线在多数设置下持平或反超全部难度法，VoG 是难度法里最强的。作者用未微调模型的末层末位嵌入做 k-means 量化，以全量与子集簇分布的 Jensen-Shannon 散度操作化「覆盖」：各模型-数据集组合中，JSD 与最终准确率的 Spearman 相关落在 −0.71 到 −0.90，覆盖越差成绩越低。据此实现的纯覆盖选择法（簇数等于选择预算，每簇采一条）在三个单域任务上追平随机，在多域的 Tülu 3（降采样到 50K）上全面领先：OLMo 2 7B 用 5% 数据在 MMLU 拿到 62.6（全量微调 62.2），1% 数据在 BBH 拿到 48.6（全量 48.5），是唯一在低比例下稳定追平全量基线的方法。在簇内再按难度挑样本没有带来任何增益，驱动收益的就是覆盖本身。

对大模型数据工作的影响：难度分数在分类时代成立的前提——固定标签空间里难样本帮助划界——在输出空间仍是整个词表的 LLM 微调里失效了。工程上这意味着 SFT 数据筛选管线里照搬 perplexity 或梯度方差排序是在花冤枉钱：除 perplexity 外这些分数大多要求先在全量数据上训完（PVI 甚至要训两遍），选择成本抵消子集训练的节省。覆盖法只需一次前向传播取嵌入加聚类，多域混合数据上的收益还随数据多样性放大。一个诚实的注脚：作者承认只证明了覆盖与性能的强相关，因果性留给后续工作。

相关链接：https://arxiv.org/abs/2611.07323、https://arxiv.org/html/2611.07323、https://github.com/LalchandPandia/RethinkingDataSelection

三百个 GPT-2 的动物园：数据配比在权重空间留下可读指纹

事件概述：东北大学、KAIST、牛津与 DeepAuto.ai 的研究团队训练了 300 个 GPT-2 模型（51M、124M、355M 三档各 100 个），模型间唯一变量是预训练数据配比，然后训练一个条件流匹配生成器直接从配比生成完整模型权重，为「配比 → 权重」这条映射提供了首个受控证据。

技术细节：每个动物园档位包含 20 个锚点（web、代码、数学、书籍、法语五个 one-hot 顶点配比各 4 个独立分支）加 80 个内部混合物单例，全部成员共享架构、优化器、20 token/参数的 Chinchilla 预算，前 15% 步数共享同一主干再分叉。数据侧用了 fineweb-edu、codeparrot-clean（仅 Python）、open-web-math、project_gutenberg、fineweb-2 法语配置五个流式语料。方差分解显示配比身份解释了重复采样模型间 85% 以上的方差；去掉主干漂移后，同配比分支 delta 强对齐，不同配比近正交。内部混合物上的留一配比（LOMO）回归里，以配比为自变量的二次面能捕获 15%–35% 的内部方差。条件流匹配生成器在 Gram-PCA 压缩空间训练，对未见过的配比零样本生成完整权重，生成模型在五个留出域切片上的困惑度平均偏移 4.1%–5.1%，优于最近邻检索基线的 5.8%–6.0%，HellaSwag 上与真实模型持平。一个值得数据工程师注意的细节：held-out 切分按文档文本的 SHA-1 哈希做，因为这些语料在邻近偏移处存在完全重复文档，按位置切分会让训练文档的副本漏进评估集。

对大模型数据工作的影响：DoReMi、RegMix、数据混合定律一路研究配比对损失的影响，这篇工作补上了另一半——配比如何沉淀进参数。它把「配比可从权重空间恢复」变成了受控事实，对内意味着配比实验的产物本身就是可分析的数据资产，对外意味着预训练配比作为商业机密的暴露面扩大了：拿到权重就有机会反推各域占比。哈希切分防重复泄漏的做法也值得直接抄进自家评估管线的规范里。

相关链接：https://arxiv.org/abs/2611.07103、https://arxiv.org/html/2611.07103

SAE 训练数据的 scaling law：缓冲区不必随预算一起长

事件概述：Yandex 与 T-Tech 的三位作者研究稀疏自编码器（SAE）训练中激活存储的瓶颈问题，给出一条「有限数据 scaling law」：固定总训练预算下，独特激活数量存在饱和点，过了这个点反复重放缓冲区与全用新鲜激活几乎等效，存储预算不用跟着训练预算增长。

技术细节：主实验在 Llama-3.1 8B 第 15 层残差流上用 FineWeb 激活训练 BatchTopK SAE，字典尺寸 16k–128k，总预算 128M–1.28B token，系统扫过重放倍数 1 到 128。解释方差（EV）随缓冲区增长先急升后进入平台：1.28B 预算下饱和区间随字典尺寸近似线性增长，16k 字典只需 20M–40M 独特激活，128k 字典需要 160M–320M。作者把 Muennighoff 等人的有效 token 数框架搬到激活上，EV 建模为外推上限减去字典容量惩罚减去有效数据惩罚，重复尺度还随字典宽度变化（拟合 96 点网格，RMSE 1.6 EV，AIC 支持宽度相关的版本）。饱和模式在 Llama 第 5/25 层、Qwen3-1.7B/4B/8B、TopK 与 JumpReLU 门控下全部复现，数学语料（FineMath）在 80M 饱和、Python 代码（Stack-Edu）在 40M。SAEBench 的 AutoInterp、稀疏探测、特征吸收等下游指标在按 EV 平台选的缓冲区上都没有明显下滑。实际收益随字典尺寸与预算变化：各配置的激活存储降幅在 4 倍到 64 倍之间，128k 字典在 1.28B 预算下 160M 缓冲区占 1.19 TiB，对比全量 9.54 TiB；16k 字典在 1.28B 预算下节省 32–64 倍。实操规则一句话：选达到 EV 平台的最小缓冲区，剩余预算全部重放。

对大模型数据工作的影响：SAE 是当前可解释性的主力工具，激活存储动辄数 TB 是各家共享的真痛点。这条 law 把「要存多少」从拍脑袋变成查表，一次前向生成、多个字典尺寸共享成本的管线设计有了明确的最优缓冲区。方法论上更有意思的是它的普适性——有效数据量框架原本为预训练文本复用设计，在完全不同的激活模态上照样成立，「独特样本数与总呈现次数是两个独立旋钮」这一数据工程直觉再次得到定量支撑。

相关链接：https://arxiv.org/abs/2611.07756、https://arxiv.org/html/2611.07756

Agent-R²：用真实职业种子和真实文件合成 4k 条生产力任务

事件概述：浙江大学与百度的团队发布 Agent-R²，一个真实源数据合成框架：从网页语料挖职业工作流、从网上检索真实办公文件做附件、再合成带细粒度评分细则的任务，用 4k 实例把 Qwen3-4B 训到 GDPval 上超过 235B 开源基线。

技术细节：三段管线全部锚定真实来源——工作流抽取阶段以 O*NET 职业活动为种子，从 DLR-Web 语料段（DLR-Web 又筛自 FineFineWeb）抽取面向文件的工作流蓝图，合成模型为 Qwen3.6-Plus；附件检索阶段为每个工作流多轮搜索并验证公开网页文件（超过 50 页或 2MB 的丢弃），保留真实文档的格式、布局、缺失与跨文件依赖；任务合成阶段把工作流与文件在沙箱里实例化为指令加评分细则（rubric），由 Claude-Opus-4.5 求解产生参考交付物和专家轨迹，再做一轮细则-交付物交叉验证。10k 语料样本最终蒸馏出 4k 任务实例，平均每任务 2.51 个附件、15.3 条 rubric 项，专家轨迹平均 18.0 步、41.8k token。训练分两阶段：3k 实例 SFT 加 1k 任务上以 Qwen3.6-Plus 为裁判的 GRPO 强化学习。GDPval 全集 Pass@1 从基座 32.4 提到 51.0（+18.6），超过 Qwen3-235B-A22B-Thinking-2507 的 48.0、DeepSeek-v3.1 的 48.8 与 GPT-4.1 的 39.4；OfficeQA 从 2.2 提到 14.8，同样超过 235B 基线的 13.8。行为分析给出一个值得记住的失败模式——捷径行为：基座在 55% 的情况下带着未修复的解析或执行错误硬写交付物，RL 后降到 11%；复检交付物的比例从 0.5% 升到 95.8%，占位文本从 12.5% 降到 5.7%，与人类专家交付物的占位率持平。消融显示真实文件比 LLM 生成文件多贡献 1.9 个百分点（43.3 对 41.4），专家轨迹在真实文件上要多用 2.5 倍工具调用。四层去污染审计（文件哈希、源域名、MinHash 5-gram、指令嵌入余弦）全部通过，指令层最近邻余弦 0.43 低于 GDPval 内部提示之间的 0.46。

对大模型数据工作的影响：这条工作把「合成数据要不要真实原料」的争论推进了一步：LLM 生成的文件缺少真实文档的布局杂乱、信息缺失与跨文件引用，恰恰是这些脏东西逼出了更长的检验轨迹和更稳的交付质量。对做 agent 后训练数据的团队，可复用的不是 4k 数据本身，是管线结构——职业种子锚定意图、网页文件锚定环境、rubric 锚定验收，三层都拒绝闭门造车。rubric 同时充当 RL 奖励与数据质检标准的双角色设计，也值得搬进自家管线。

相关链接：https://arxiv.org/abs/2611.08219、https://arxiv.org/html/2611.08219、https://github.com/ZJU-REAL/Agent-R2

从 LoRA 产物反推训练数据域：黑盒输出比权重更泄漏

事件概述：Goa 工程学院的 Shivesh Rane 单人完成一项预注册式研究：给定一个 LoRA 微调产物，不接触任何训练数据，仅凭权重增量、固定探针上的激活或生成文本，判断它是在哪个领域的数据上训练的——五个领域中黑盒输出达到 64% 的识别准确率。

技术细节：基座为 Qwen3.5-0.8B（混合线性注意力架构，纯文本使用），18 个公开数据集覆盖医疗、代码、数学、多语言、创作五域，每数据集 2 个种子共 36 个 LoRA 微调，每 run 固定 1.5M token 预算以排除数据量混淆。评估协议在训练前冻结：留一数据集（LODO）要求分类器判断从未见过的数据集所属的域，随机水平 20%。结果：黑盒输出特征 0.639，灰盒激活 0.611，白盒权重统计只有 0.417 且其按数据集聚类的置信区间（0.194–0.639）盖住了随机线，不能算确立。预注册假设「信号从权重到激活到输出单调衰减」被数据推翻——输出和激活反而更 informative。去掉 token 概率只用生成文本，准确率不变（0.639）；只用 384 维 MiniLM 句嵌入质心也有 0.611，说明泄漏主要藏在生成内容的语义里。鲁棒性检查：LoRA rank 从 8 到 64 黑盒预测逐数据集完全不变；第三个种子独立重采样训练数据后黑盒仍有 0.630。跨种子识别具体数据集（RQ1）接近完美（权重与激活 1.000、输出 0.944）。混淆矩阵的结构有信息量：激活特征把医疗与创作互相认错（都是英文散文），输出特征把代码与数学认错（都是符号步骤），两种访问方式错在不同的域对上。全部代码与逐 run 特征向量已发布。

对大模型数据工作的影响：审计视角下这是好消息：就算只拿到 API 输出，也能对一个 LoRA 适配器的训练数据域做出远超随机的判断，适配器市场里「用医疗数据训练却说没碰过医疗数据」的声明有了廉价的验证手段。隐私视角下是坏消息：权重统计反而泄漏最少，输出行为泄漏最多——指望「只发产物不发数据」来保护训练数据域的做法，在黑盒访问下已经不成立。对发布方，训练数据域披露政策需要把「输出可被指纹识别」纳入威胁模型。

相关链接：https://arxiv.org/abs/2611.07610、https://arxiv.org/html/2611.07610

---

五个动作串起来看：选择样本时覆盖优先于难度，配比实验的产物本身带着可读的配比指纹，存储瓶颈有查表式的饱和点可依，合成数据的三层真实锚定能以 4k 实例撬动 235B 级表现，训练完成后的产物又反过来暴露数据域。数据工程正在从「攒数据」走向每一步都给得出账：选多少、配多少、存多少、造多真、泄漏多少，各自都有了量化答案。