数据工程观察 · 2026年10月21日

本期五篇工作，拆的都是数据工作流里被默认成立的假设。验证损失降了就算有效、合成域误差能代表真实域、预训练阶段过滤掉的东西拿不回来、按相似度选数据最像目标集就最好、学术语料大体覆盖全球——这五条在多数团队的流程里从不被写进文档，却一直在替数据决策兜底。今天这五篇论文给出的答案都不含糊。

一、随机 token 替换削掉的，是记忆化那一项

事件概述：预训练唯一数据不够用的时候，模型会反复看到同样的 token，通常被认为在记忆。随机 token 替换作为一种输入破坏式增强，被报告能降低验证损失。损失的下降本身不说明它降低了哪一类误差。来自 Flitto 与合作者的这篇工作先在一个熵率有闭式解的受控源上把验证损失拆开，再拿十个真实语料检验。

技术细节：作者把验证损失分解为近似（approximation）、估计（estimation）、记忆化（memorization）三项，只用验证损失就能算，任何增强手段都适用。替换的作用是把预测朝语料均值收缩，方差变小、偏差变大。受控源上，替换把最小点之后的损失上升削掉约 60%。

真实语料上的分割很清楚。韩语网页在固定学习率下过拟合 gap 从 2.46 降到 1.60，削减 35.1% ± 0.5；换成余弦衰减是 2.18 到 1.29，削减 40.9% ± 1.3；日语网页为 2.81 → 1.76（37.4%）与 2.62 → 1.50（42.9%）。学习率衰减自己只把 gap 缩小 7% 到 12%，大部分 gap 还在。

十个真实语料里九个的最终损失被替换降低，唯一受害的是 census 语料——程序生成的结构化 JSON。它的 gzip 压缩比 0.049，是十个里最冗余的；作者在另外 64 个非程序生成的语料（30 多种语言、11 个领域）上测过，最冗余的 Go 源码也只到 0.092。破坏率 p 从 0.05 扫到 0.50，最终损失上越重越好，最小损失上 p=0.10 最好、p=0.50 平均转负。实验覆盖 134M 与 336M 两个规模，收益都在，随规模增大而减弱。

对大模型数据工作的影响：这篇的价值不在「替换有没有用」，在它把「损失下降」这个黑箱拆成了三项。做去重、做上采样、做增强的人习惯用验证损失当唯一指标，而同样的降幅可能来自记忆化被压住，也可能来自别处——前者在下游不一定兑现。第二条可以直接抄进流程：语料冗余度到某个量级，这类增强会反向。gzip 比是个便宜的预检指标，值得在跑训练前先量一遍。

相关链接：https://arxiv.org/abs/2610.27590 、https://arxiv.org/html/2610.27590 、https://github.com/wonsupshin-flitto/random-token-replacement-repeated-data

二、合成数据什么时候可证明有效：三种分布关系的分野

事件概述：真实数据不够，用生成的补，是这两年的标准动作。这篇理论工作问的是一个更前置的问题：在合成分布上训练出的二分类器，什么时候能迁移到真实分布。作者按真实分布与合成分布的关系分出三种情形，给出界，也给出反例。

技术细节：第一种是绝对连续（真实分布关于合成分布绝对连续、密度比受控），此时有限样本超额误差界成立，学习率能从合成域直接迁移到真实域。第二种是部分与完全奇异——真实分布在合成分布之外有质量。假设类表达力足够时，合成风险无法一致地控制真实误差：一个分类器可以在合成域接近最优，在未被覆盖的真实区域接近最坏误差，即使两者 Wasserstein 距离任意小。加上假设类与条件标签概率 log-odds 的 Lipschitz 条件后，界被恢复为「真实样本落在合成数据覆盖范围之外」的概率。

实验用 FLUX.2 [dev]、Stable Diffusion 3.5 Large、Qwen-Image、HunyuanImage 3.0 四个生成器，重造 8 个完整 ImageNet 类的 10,400 张图，共 32,200 张，耗约 1,075 A100-80GB GPU 小时（Hunyuan Image 3.0 因成本只做 1000 张子集，该生成器上的对比须谨慎读）。对抗分类器在合成域误差 0.5%，在真实域 99.25%。用 V-JEPA ViT-H/16（训练集不含 ImageNet，排除泄漏）做真假二分类，能以很高的置信度分开两个域。

乐观的一面也有：90 个架构、14 个家族的模型全部只在合成数据上训练，生成器内两误差强线性相关，r² 最高到 0.92（Qwen Image，n=90）。作者把这个归因于深度网络的归纳偏置，而非数据本身。

对大模型数据工作的影响：两条能直接落进流程。一是合成数据的样本预算要显著高于真实数据——合成训练方差更大、收敛更慢。二是验证与模型选择必须用真实数据，合成测试误差不是真实性能的可靠代理。对做合成数据配比的人，这篇给了一个判据：先估真实分布有多少质量落在合成分布支撑之外，这个量决定配比的上限，而不是靠拍脑袋定比例。

相关链接：https://arxiv.org/abs/2610.28036 、https://arxiv.org/pdf/2610.28036

三、预训练过滤：有效，但 80 美元就能补回来

事件概述：预训练过滤是开源权重模型最常用的一道安全阀。这篇工作用 ESM-2 系列的蛋白语言模型，系统测了它的有效性、耐久性与可扩展性。

技术细节：从语料中滤掉病毒蛋白后，模型在病毒蛋白上的掩码语言建模、突变效应预测、长程接触预测都明显退化，非病毒蛋白上基本保留。退化集中在人感染病毒，且随模型从 8M 扩到 3B 单调变大：长程接触预测 P@L 上，非病毒减病毒的斜率差为每十倍参数 +1.23 个百分点（95% CI [1.00, 1.45]，Welch q = 2.1e-25）。模型越大，严格过滤越有效。

耐久性是另一回事。用被 tier-1 过滤排除的 434,907 条病毒序列做微调，性能就回来了，代价不超过 24 exaFLOPs；按 34% MFU、每 H100-小时 4 美元算，不到 80 美元。恢复成本随模型规模上升。作者还查了 Retroviridae——未过滤模型在这个科上表现最好，也是过滤下退化的最大单一贡献者；把它从微调语料里扣掉，其余病毒科的恢复成本不变。

对大模型数据工作的影响：对做数据合规与风险控制的团队，这条结论是硬的：过滤能选择性地压低某类能力，不构成稳健的护栏。它把「过滤等于消除」改写成「过滤等于抬高再获取的门槛」，而这道门槛在 3B 规模上是几十美元量级。数据侧的控制必须和模型侧、以及训练数据本身的可得性控制配合评估。对数据工程师的另一层提醒是，过滤的代价与收益都随规模变化，在小模型上测出的「无损」不能外推。

相关链接：https://arxiv.org/abs/2610.26651 、https://arxiv.org/html/2610.26651

四、按相似度选数据会塌缩到 dev 集周围

事件概述：从大池子里按与目标技能集（dev set）的相似度挑数据，是 LLM 数据选择的主流做法。这篇工作指出，用 hidden states 或梯度的余弦相似度做 max-similarity 选择会带来 mode-seeking 偏置——选出的样本紧聚类在 dev 样本周围。作者提出 ICLHerd，用 von Mises-Fisher 核平衡 mode-seeking 与 mode-averaging，并把 in-context learning 用作验证代理。

技术细节：目标函数是从 MMD 推出来的：一项最大化与 dev 集的核相似度，另一项惩罚被选样本之间的相似度。核用 vMF 而非 RBF，形式为 exp(κ · ψ(x)ᵀψ(y))，κ 控制相似度随距离衰减的锐度，也就是 mode-seeking 与 mode-averaging 之间的旋钮。

结果上，GSM8K 测试分 ICLHerd 64.50，RDS+ 63.08，LESS 47.81，随机 46.51；MLQA 上 ICLHerd 61.11，RDS+ 49.96，随机 48.27。用 Qwen3-1.7B 选、Qwen3-4B 与 8B 训的迁移设置里，ICLHerd 在 15 个设置中的 13 个胜过 RDS+（双侧二项检验 p ≈ 0.007），10 个设置里 8 个拿到最高分。

代理的性价比是这篇最实用的一节。ICL 代理与测试分的 Spearman ρ 在 GSM8K 上 1.00、MLQA 上 0.94，与训练-验证代理持平；后者的开销是 33.0 分钟训练加 26.1 分钟推理，ICL（M=1）只要 0.4 分钟推理，加速 157×（L40S 单卡）。

对大模型数据工作的影响：小模型选、大模型训这条路被再一次确认：选择成本付一次，可以复用到更大的模型上。更值得注意的是代理的选择——训练-验证代理要真的跑一遍微调，很多团队因此只在少数几个超参点上搜；换成 ICL 代理后超参搜索的空间能铺开，「平衡 mode-seeking 与 mode-averaging」这个 κ 才有机会被调到。对已经在上 RDS+/LESS 这类方法的团队，先查一下选中样本在嵌入空间里的聚集程度，比换方法更快见效。

相关链接：https://arxiv.org/abs/2610.27142 、https://arxiv.org/html/2610.27142

五、Africa-Papers：101.5 亿 token 的泛非学术语料

事件概述：The Pile、S2ORC、Dolma 这类基础预训练集里，非洲的科学、医学、法律与农业文献占不到全球预训练 token 的 0.5%。Africa-Papers 是迄今规模最大的泛非多学科学术预训练语料，已在 Hugging Face 的 AfriSpeech 组织下开放。

技术细节：语料共 844,807 篇全文、101.5 亿 token、879 个 Parquet 分片（每片 35–45 MB）。四条来源：DOAJ 收录的 31 个非洲国家 944 种同行评审期刊（74,606 份 PDF）、CGIAR CGSpace 农业仓储、arXiv 上非洲作者或非洲主题的 STEM/AI 预印本、OpenAlex 索引的非洲机构附属学者开放获取论文（主目录 1,517,281 篇）。

去重是四级串行：DOI 规范化（对 235,461 个已知 DOI）、标题 slug 哈希（310,760 个唯一标题哈希）、DSpace 与 arXiv handle 交叉匹配、下载字节流的 SHA-256 签名。实测 2,013,298 次查找/秒，落盘前丢弃 145,421 条重复。

工程上有两处值得抄。一是版面感知的 Markdown 抽取：用 PyMuPDF 做版面分析，按列边界顺序抽取（先第一列自上而下再第二列）、由字体权重与字号推导标题层级、表格转成标准 Markdown 表格语法、正则剥离页眉页脚与页码。二是 Stream-to-Parquet 架构：175 万份原始 PDF 落盘要 2.6 TB NVMe，改为流式进临时缓冲 → 抽取校验（字符数 > 150）→ 立刻删除 PDF → 每 2000 篇用 zstd 压缩刷成一个分片。

token 统计用 cl100k_base BPE，100 篇随机抽样在 H200 上测得平均 20.2 页、每篇均值 17,214 token、中位 11,536。八域分类里农业与粮食安全 152,027 篇（18.0%）、工程与地球科学 125,140 篇（14.8%）、计算机与 AI 80,020 篇（9.5%）、人文与文学 48,471 篇（5.7%）、物理与数学 27,305 篇（3.2%）、法律与治理 2,595 篇（0.3%）。语言上覆盖英语、法语、阿拉伯语、葡萄牙语，以及斯瓦希里语、约鲁巴语、豪萨语、阿姆哈拉语、契维语、祖鲁语等。

对大模型数据工作的影响：做持续预训练的团队多了一个可直接使用的高质量域内语料。更值得看的是它的流水线：四级去重的命中量（145,421 条）说明了「arXiv 预印本 + 期刊正式版 + 机构仓储」这种三处重复的规模，任何聚合多源学术 PDF 的流水线都要先算这笔账；Stream-to-Parquet 的零磁盘膨胀写法把 TB 级原始 PDF 的存储问题彻底绕开。八域分类里法律与治理只占 0.3%，这个分布本身就是一份覆盖度报告。

相关链接：https://arxiv.org/abs/2610.28173 、https://arxiv.org/html/2610.28173 、https://huggingface.co/datasets/AfriSpeech/africa-papers