过滤的极限 · 数据过滤天花板实验室
《AI 数据全书》· 第 6 章 · 语种识别与质量过滤在足够算力下，最好的数据过滤器就是不过滤——一个反着建的沙盘
过滤的极限：在足够算力下，最好的数据过滤器就是不过滤
本站第 6 章那一整排工具都在教「怎么把数据过滤得更好」。 这一屏反过来问：过滤这件事本身的上限在哪？Stanford 三位学者在 15M → 7B、6.7 亿 → 100 亿 token 的网格上给出答案： 模型够大、训练够久，未过滤的 Common Crawl 会反超所有五种主流过滤器； 更反直觉的是，往池里注入 +200% 打乱词序的垃圾文档，330M 模型反而因此超过了纯池。 而与此同时，另两条独立证据从另外两侧收紧天花板：CQF 分类器学到的可能是「像维基百科」而不是「有教育价值」（换件外衣就能骗过去），质量选择挡不住投毒（看似正常的恶意样本在 90% 过滤下保留率仍 >90%）。 四条证据合起来说的不是「别过滤了」，而是「过滤的价值是算力的函数，不是数据的属性」。
双对数轴：未过滤池 vs 五种过滤器，随训练 token 变化的验证损失⚠️
横轴是训练 epoch（对数），纵轴是三个验证集（C4 / FineWeb-Edu / Cosmopedia）上的平均交叉熵损失。越低越好。黑线是未过滤池。 ⚠️ 曲线形状与绝对 loss 值是本站的教学设定，只有「谁在上面」和「交叉发生在哪」是有意义的； 交叉 epoch 已按论文给出的三个锚点校准。
三条必须如实呈现的硬事实（arXiv:2605.19407 Section 3）📖
未过滤池在所有训练步数下都无法超越任何前四种过滤器——小模型确实需要过滤。
出现交叉点，但需要 较多训练步数。
池在有限训练后超越全部五种过滤器。1B 模型上池的最佳损失 3.37，且损失未明显饱和。
| 池大小 | 1B 模型下超越 RefinedWeb 所需 |
|---|---|
| 6.7 亿 | ~1 epoch |
| 20 亿 | ~3 epochs |
| 100 亿 | ~10 epochs |
📖 两种方法（token/参数比 600:1 与 4 epoch 约束）均给出高度线性的 scaling law（R² > 0.99）。
最反直觉的一屏：往池里注入 junk，曲线反而抬起来⚠️
纵轴是「相对纯 CC 池的损失差」——负值 = 比纯池更好。 两类 junk 必须分画：打乱词序保留 unigram 分布、只破坏序列结构；随机字符串什么都不保留。 它们的结论相反，不能合并成一句「junk 无害」。
- 📖 除 +800% 外，所有打乱词序数据集在约 11B 训练 tokens 后超越纯 CC 池。
- 📖 随机字符串组：差距持续收窄，但不反超纯池。
- 📖 +800% 时仅约 10% 的文档为原始 CC。
- 📖 15M 模型上两类干扰数据都明显有害，损失曲线分离。
10³⁰ FLOPs 外推：还差三个数量级📖
论文预测：240T token 的 DCLM-Pool 可能在约 10³⁰ FLOPs 时成为最优训练集。 作为对照，当前前沿模型的估计训练算力约 5×10²⁶ FLOPs。
局限性（原样列出，不省略）📖
- 最大实验仅到 7B × 100 亿 tokens，距 7B 的 Chinchilla 最优（14 万亿 tokens）还有 3 个数量级。
- Scaling law 拟合 R² > 0.99，但锚点数量很少；小尺度拟合的 scaling law 在大尺度上可能失效。
- 未覆盖后训练交互、数据课程、数据权重——论文明确限定在密集 Transformer 预训练。
- 未覆盖 MoE 等稀疏架构、混合精度 / 量化感知训练。
- 最高 epoch 数（80M 模型 121.6 epochs）作者自陈可能不可靠，且出现非单调。
- 事实性分析用的是 DCLM-Pool（2023 年前的 CC），AI 生成内容比例低；未来 CC 的「低质量」可能从噪声变为系统性错误。
- 「打乱词序 +200% 反而更好」的机制（正则化 vs unigram 信号）论文自己也未能区分。
「怎么过滤」↔「过滤的极限」：同一章节下的两个对向工具
本工具与 aide-langid-filter 挂在《AI 数据全书》同一章（§6 语种识别与质量过滤）下， 一个教你怎么过滤，一个告诉你过滤的天花板在哪。请对着看，不要只看其中一个。
一手源
src/content/research/bitter-lesson-data-filtering-deep-reading.md； arXiv:2605.23721 的 7% 与 arXiv:2510.00866 的三条论点转录自《AI 数据全书》§6.6 / §6.6.1； arXiv:2610.01367 的 90% / PRR>90% / 3.30–4.01 已 curl 回源 abs 页摘要逐字核对； arXiv:2510.25771 的 “top-5 percentiles” 为 ACL Anthology 摘要原文。