数据论文速递 · 2026年11月12日

本期五篇速递覆盖语料构建的几个环节：知识结构驱动的全周期语料、合成数据的能量分布筛选、多阶段训练的算力分配、代码语料的结构化 curation、训练中的动态序列剪枝。一篇讲”造什么数据”，一篇讲”怎么挑合成数据”，一篇讲”各阶段该投多少算力”，剩下两篇分别处理代码语料的下载成本和训练数据的冗余处理。

WoW：用教育 KG 搭建全生命周期语料

论文信息：The WoW: A Large-Scale World Knowledge Corpus for Full-Lifecycle LLM Training，arXiv:2611.13487，https://arxiv.org/abs/2611.13487

核心问题：中文教育类语料长期碎片化，各学段、各学科的覆盖不成体系，模型训练时难以按知识结构取数。

关键发现：作者以教育知识 KG 作为分类学骨架，系统性收集并补全各学段缺失的教育模块，构建了支持预训练到后训练全阶段的 WoW 语料，这一版本引入多模态信号并提供基于图的数据选择与检索平台。实验显示该语料在多个 benchmark 上带来一致提升。

实践启示：KG 在这里扮演的角色值得注意——不是知识注入，而是覆盖度审计与配比骨架。做领域语料时先画知识结构图再按图收数，缺什么补什么，比堆量后靠模型自己学结构更可控。配套的图检索平台把”选哪部分数据”做成了可交互操作，这个产品形态对数据平台团队有直接参考价值。

合成数据好不好，看能量分布不看 FID

论文信息：Shaping Useful Noise: Energy Distributions Predict Visual Pretraining Quality，arXiv:2611.11962，https://arxiv.org/abs/2611.11962

核心问题：合成数据可以放大视觉预训练的规模，但现有筛选标准（FID、LPIPS 多样性、特征空间 recall）对”哪份数据能训出好表征”的解释力都不完整。

关键发现：论文提出用数据集的能量剖面——样本在归一化真实图像密度模型下的 log 概率分布——作为合成数据的审计与 curation 原则，并定义了 Energy-Level Distribution Distance（ELD）来度量真实与合成分布的差距。真实图像占据稀疏的高似然场景与稠密的低似然纹理，有用的合成数据应当覆盖这个能量区间，而不是塌缩到”高似然但低变化”的样本上。跨多份合成数据集的实验中，ELD 暴露了 FID 看不见的错配，对预训练表现的预测力超过 FID、LPIPS 变化与特征 recall，且结论在 CNN 与 ViT 的自监督设置下均成立。

实践启示：筛合成数据时盯”分布覆盖”而非”平均相似度”。FID 低只说明均值像，不代表覆盖了难例与纹理长尾。给合成数据管线加一个能量分布审计步骤，成本不高，能提前拦住一批训不出东西的数据集。这个思路对文本合成数据的困惑度分布审计同样适用。

预训练、SFT、RL 三阶段的算力怎么分

论文信息：An Analytical Model of Compute-limited Multistage Training Pipelines，arXiv:2611.13276，https://arxiv.org/abs/2611.13276

核心问题：基座模型要经历预训练、SFT、RL 多个阶段，各阶段如何互相影响、算力在阶段间怎么分配，一直缺理论工具。

关键发现：作者构建了一个解析可解的高维模型——线性自编码器做无监督预训练、带噪声标签的 SFT、稀疏 episodic 奖励的 RL——用随机矩阵理论推导低维学习动力学，与仿真高度吻合。三个结论：其一，有限预训练数据施加了依赖表征的性能上限，Bayes 误差随预训练样本比按平方根倒数缩放，同一指数出现在 SFT 与 RL 的渐近误差里；其二，更好的预训练降低了对噪声监督的敏感度，SFT 初始化还能缩短稀疏奖励带来的 RL 初期平台期，该效应在 OLMo-2 1B 的 GSM8K 上得到验证；其三，三阶段最优算力分配依赖监督质量与总预算，RL 算力份额随预算呈非单调变化。

实践启示：算力预算规划不能逐阶段独立拍板。预训练质量是下游两阶段的天花板，砍预训练换 RL 的做法在监督信号干净时才划算。SFT 时长的价值不止于 SFT 本身——它还决定了 RL 起跑的斜率。做 scaling 实验设计时，把三阶段当作一个耦合系统一起扫。

SWHForest：先建索引，再决定下载哪些代码文件

论文信息：SWHForest: A Structural Curation and Search Layer for Large-Scale Code Corpora，arXiv:2611.11439，https://arxiv.org/abs/2611.11439

核心问题：现代代码语料通常以文件指针加基本属性的形式发布，想做子集 curation——选文档完备的文件、滤掉重复样板、查 benchmark 污染——必须先下载解析数百万文件，再把大部分丢掉。

关键发现：论文开源了 SWHForest 框架与配套数据集，对指针型语料做单遍归档扫描，把每个文件解析成 AST 并保留结构特征，在不分发源码的前提下提供缺失的结构层。有了这层索引，选文件、滤重、污染审计、模式检索都变成索引查询，无需全量下载。

实践启示：语料发布与 curation 应当解耦。数据平台在归档阶段就把 AST 级结构元数据算好存下来，下游团队按需查询，下载成本从”全量”降到”命中集”。对动辄数 TB 的网页与代码语料，“先元数据后数据”的两段式管线值得标准化。

Sequence Pruning：训练中在线移除”学会了”的序列

论文信息：Pruning DNA Sequence，arXiv:2611.10386，https://arxiv.org/abs/2611.10386

核心问题：数据剪枝能省训练成本，但在（DNA）语言模型预训练中缺乏系统研究——静态打分要么需要独立模型、要么需要额外过一遍语料。

关键发现：论文提出动态剪枝框架 Sequence Pruning（SP），用模型前向传播直接算出的 per-sequence 训练精度作为准则，随训练推进移除模型已经容易预测的序列，不需要独立打分模型，也不用额外扫语料。五种设置（两语料、三模型族、MLM/CLM 双目标）下，SP 最高削减 96% 的数据处理量，仅用 4% 的基线 GPU 时，下游性能基本无损；中等节省幅度下反而比全量预训练高出最多 1.2 MCC。对比 InfoBatch 与 BPAS 两个动态剪枝方法，SP 在多数比较中占优。作者还测试了困惑度与 EL2N 替代准则，准确性准则在同等节省下表现最好。

实践启示：预训练不等于把每条数据喂到最后一轮。在线难度剪枝的机制——前向传播顺手拿到样本难度，零额外开销——可以直接搬进 LLM 数据管线的 curriculum 模块，对长周期重复训练的语料尤其划算。“训练精度比困惑度更好用”这条经验也省去了后来者的准则选型成本。

小结

五篇论文连起来是一条数据工程链路：按知识结构规划覆盖（WoW），用能量分布审计合成数据（Shaping Useful Noise），靠结构索引降低 curation 成本（SWHForest），训练中动态剪掉冗余（Sequence Pruning），再用三阶段耦合模型决定算力怎么花（Multistage Pipelines）。本期缺少纯文本去重方向的新工作，代码语料滤重与污染审计在 SWHForest 里有所覆盖。