数据工程观察 · Vol.162

数据工程观察 · 2026年10月30日

数据配比的收益取决于有没有可修正的训练—目标缺口，Δ 接近 0 时优化器只买到中途领先；去重后被剔除的样本在删除请求一来就会变成训练数据；打标从生成答案列表改成单 token 打分后，顺序敏感性从 24.8% 降到 0.01%；RL scaling law 能外推两个数量级，但算力最优配比把数据量推到基线的 30 多倍；靠标签找语料只召回 45.1%，语义召回在 K=2500 时到 96.7%。

2026年10月30日数据工程预训练数据数据配比数据选择数据去重机器遗忘数据标注合成数据 Scaling Laws 语料质量数据召回标注一致性强化学习数据治理语料构建

本期的五条动态，对应一批数据在进入训练前要过的五道关：怎么分配（配比）、删掉一条之后会连带改谁（去重与删除）、怎么给它打标（标注）、多大的算力配多大的数据量（规模）、怎么把它从语料里找出来（召回）。五份工作各自给出了一段此前没人量的数。

数据配比先问一句「有没有缺口」：Δ-test 把 advancement 和 acceleration 分开

事件概述

数据配比与数据选择的论文大多报一个固定训练预算下的提升，读者无从判断这个提升是抬高了模型最终能达到的水平，还是只让它更快走到同一个水平。京东与牛津大学的一份工作把这两种效应命名为 advancement 与 acceleration，给出了判定条件，并把条件做成一个在训练中途就能算的 Δ-test。

技术细节

作者用 teacher–student 框架下的感知机做解析刻画，得出一条命题：当未做筛选的 baseline 所对应的总体训练目标与目标目标重合时，baseline 分配本身就是外层优化问题的全局最优解，任何重新分配都压不低终点，最多加快到达速度。缺一个「可修正的训练—目标缺口」，筛选就没有可优化的空间。

Δ-test 把这个分布层面的条件换成可观测量。配比场景按域逐项比较 baseline 模型的目标损失与训练损失，用目标权重加权后取绝对值之和；选择场景退化为一个标量差。全部实验里，Δ 都在训练预算走完 50% 的位置算一次，不需要额外训练。

真实实验分两段。配比用 160M 的 GPT 结构在 SlimPajama-6B 的七个域上跑，Uniform 对上 RegMix、DoGE、Skill-It、Aioli、TANDEM 五种优化器。无缺口设定（Δ=0.07）下，五种优化器的最终困惑度落在 19.66 到 20.17，Uniform 是 19.71；RegMix 在中途把困惑度压低 3.5，训练继续推进后这个优势消失。把候选池压到 300M token 制造内生缺口（Δ=0.64，小域被反复采样而过拟合），Uniform 的 28.60 被 TANDEM 拉到 26.02。把 CommonCrawl 整体留出作目标制造外生缺口（Δ=1.26），Uniform 的 49.19 被拉到 40.17 到 41.08 区间，TANDEM 是 40.24。换到 1.1B 复现，三档收益分别是 +0.11、+2.29、+5.31，Δ 的排序没有变。

选择实验用 5B token 的 OpenWebMath 作候选池、TinyLlama-1.1B 作基座、保留比例 f=0.6。目标取自同分布的 OpenWebMath 另 0.3B token 时 Δ=0.016，RHO-1 得 14.49、BLADE 得 17.54，围着 Base-CT 的 17.21 与随机选择的 16.38 上下浮动，没有稳定优势。目标换成 MetaMath–Mammoth 后 Δ=0.549，RHO-1 跳到 27.06、BLADE 跳到 31.31，目标损失从 1.14 降到 0.59 与 0.45。RHO-1 与 BLADE 都拿得到目标数据，这一组对比说明拿到目标数据和能从目标数据里拿到提升是两件事。

对大模型数据工作的影响

配比项目的立项顺序应该改：先跑一次 baseline，在 50% 预算处量 Δ，再决定要不要上优化器。Δ 接近 0 的任务里，换更复杂的分配算法换不到终点的提升，只买到中间检查点上的领先，这种领先会在训练预算加大后被抹平。另一个更省力的动作是检查目标集本身——Δ 由目标集与训练分布的落差决定，调目标集的构成比调优化器更直接。

去重后被剔除的那条样本，删人请求一来就变成训练数据

事件概述

训练流水线常在拟合模型之前先做一轮语义去重或代表性筛选。一条记录被撤回后，把同一条规则重新跑一遍，入选集合会变。这份工作回答的问题是：服务方到底要留下什么，才能在多次删除请求之后仍然复现出正确的模型。

技术细节

研究的规则是「原始邻居抑制」：一条记录 v 入选的条件是它所有更靠前的相似邻居都已被删除，即 S_F = {v ∉ F : B(v) ⊆ F}，被排除的邻居照样阻挡后面的记录。作者指出 SemDeDup 开源实现里的上三角列最大值测试正是这个形式。

核心变量是累计删除预算 K 与剩余额度 h = K − |F|。一条幸存记录能入选，当且仅当它剩余的阻挡者数量不超过 h，即 E(F,h) = {v ∉ F : |B(v) \ F| ≤ h}。eligibility 沿任意合法删除序列单调收缩，不需要预测后续请求顺序就能判定某条记录的载荷可以永久丢弃。

在此基础上作者构造了可加性训练统计量的精确修复：删掉贡献、补上新入选的贡献，修复后的摘要与「在剩余预算下对幸存数据重新构造」完全等价，多次请求之间不会积累出不同的逻辑状态。第二部分是信息下界：特征以 FP32 精确存储、选择规则与岭回归共用同一批特征、模型输出取精确有理数时，预算加一会让被排除候选里的每一个私有特征符号都变成必需信息；一个顺序编码恰好只保留仍可能用到的那些符号。只留当前模型描述不了这个未来需求。

自然数据验证用 AskUbuntu 的 1,001 条开发记录在 51 个固定相似度阈值上跑：删掉一条初始被排除的记录，会在其中 13 个阈值上让另一条记录变成入选；精确成员修复通过了 13,056 次删除步检查。两套基于本地语言模型的语义标定没有通过预设的筛选准则，依赖这一步的下游任务实验因此没有执行，论文把已完成的证据与范围一并写明。

对大模型数据工作的影响

去重阶段的选择规则要写进删除服务的契约里。多数线上实现只更新「旧的训练集」，算的是 A(C(D) \ F)；正确目标是 A(C(D \ F))，删除落在筛选的哪一侧决定了两个不同的保留义务。能承诺多少次未来删除，直接决定哪些已被剔除的样本还得留着——这份工作把这句话变成了可执行的计数规则：数一数它还有几个存活的阻挡者。

打标从「生成一串答案」改成「给一个分数」：LinkedIn 的语义打分

事件概述

工业界的 LLM 打标器习惯把几十个候选标签塞进同一个 prompt，让模型逐条生成 YES/NO。LinkedIn 在 profile 资格打标上把它换成语义打分：每个判定由一次 prefill 得到的单个 answer-token 分数给出，再用 Multiple-Item Scoring 把数百个候选塞进一次请求、候选之间用 attention mask 隔开。

技术细节

packed generation 共享了 profile 的编码，代价是让本应独立的判定互相依赖：答案列表的长度与顺序都进监督信号，输出格式也得自己学。语义打分改用单候选 prompt 做 label-only 微调，只对参考标签监督一个答案 token，判定阈值可以不重训就调整。

质量上的差距在训练数据量上体现得最直接。45K 训练对时，语义打分与参考标签的一致率是 86.3%，packed generation 只有 50.8%——这个集合的正例率就是 50%，等于还没学到东西。packed generation 需要约 210K 对，约为 4.7 倍数据量，才追平语义打分在 45K 时的水平；到 443K 对两者持平，88.0% 对 87.8%，作者未对这个差做显著性声明。

顺序敏感性是第二组数字。随机重排并重新分组候选资格后，语义打分在每一个训练规模下变动的标签比例都不超过 0.01%，残余差异来自批量执行的浮点误差。packed generation 在最小训练规模下变动 24.8%，数据量加大后仍留 0.86%，是语义打分的至少 86 倍。

吞吐上，离线 H100 在各栈最优批配置下从 5.1K 提到 6.3K labels/s/GPU（1.24×）；在线 serving 在 p99 端到端延迟不超过 1 秒的目标下，H200 上从 2.5K 提到 4.8K（1.9×）。不做 MIS、老老实实一个候选发一次请求，serving 只有约 90 labels/s。工程侧，离线批处理做成 Ray Data 上模型无关的打分 API 并向上游提了 proposal，serving 用的 SGLang 的 MIS 支持。代价也写清楚了：单条目训练把 profile 在每个 pair 里重复一遍，每个标注对要处理的训练 token 更多，MIS 只在推理端把这份共享找回来。

对大模型数据工作的影响

凡是「一条长文本 × 一个短候选目录」形状的标注任务，都值得先把判别式打分当作默认方案试一遍，再考虑生成式打表。判据有两个：换候选顺序，标签是否会变；一致性随训练数据量收敛的速度有多慢。语义打分的顺序不敏感性由构造保证，packed generation 靠加大数据量只能把 24.8% 压到 0.86%，压不到 0。

RL 的 scaling law 能外推两个数量级，但算力最优不等价于数据最优

事件概述

Google DeepMind 在 Starpilot 与 Craftax 两个程序化生成环境里，用 actor-critic 跑了一轮完整的 scaling law 实证研究，同时回答性能、资源分配、超参数三个问题，并把小尺度上拟合出的律外推到高一到两个数量级的训练算力上验证。

技术细节

方法分两步：先把 batch size、学习率等超参对总算力 C 的幂律拟合出来，再用 isoFLOPs 剖面拟合最优模型规模（论文用 FPF，即前向推理 FLOPs 度量）。拟合区间是 1e15 到 1e17 FLOPs，评估点在 1e18。Starpilot 上预测最优 FPF 为 4.85e8，实测最优 3.69e8，高估 31%，但预测规模对应的 Elo 是 1102.6 对最优 1110.7，胜率误差 −1.17%。Craftax 上预测 2.73e7 对 2.65e7，误差 3%，Elo 2062.8 对 2087.5。

性能指标的选择是这份工作最实用的一条结论。平均 episode return 不平滑，Starpilot 上拟合尚可而外推很差，Craftax 上连拟合都失败；换成单智能体 Elo 后随训练算力对数线性，两个环境都能外推到 1e18。1e19 FLOPs 的 hero run 上，预测 Elo 与实测偏差 +80.2 与 +80.9，折成胜率偏差 +11.34% 与 +11.44%。Craftax 上拿到 54.0%，此前公开最佳是 20.6%。

论文自己点出了这份成绩的数据代价：hero run 用了 1350 亿帧，基线只用了 40 亿帧，作者说明这是刻意的选择，因为研究目标是算力最优而非数据效率。

第四组结果是局部逆缩放。Craftax 在 3e13 到 1e15 FLOPs 之间出现双交叉，大模型在 1e14 赢、3e14 输、1e15 又赢回来。作者归因于 Ray interference：打怪与进地牢两个奖励源在训练早期互相压制，智能体学会进地牢后停止打怪，等于把容量从一个技能腾给另一个技能，不需要更大的模型，同算力下看到更多数据的小模型反而占优。基于这一点，作者反对「任意 RL 环境都存在 scaling law」的说法。

对大模型数据工作的影响

用 scaling law 规划训练时，要把「算力最优」和「数据最优」分开记。这份工作里算力最优的配比把数据量推到基线的 30 多倍，数据预算不设限的场景下这个结论成立，数据采集成本是硬约束的场景下不成立。Elo 这类单调、平滑的代理指标也值得照搬：平均回报这类非平滑指标在拟合区间内看着正常，一外推就散。

用标签找语料只能找到 45.1%：世界银行 RCT 库的两段式召回

事件概述

世界银行 Development Impact AI Lab 在 7,354 条随机对照试验构成的语料上，比较了两种找证据的方式。原来的 ImpactAI 把问题映射成受控词表里的标签再检索；新方案先用 embedding 按语义召回 intervention–outcome 对，再让语言模型逐个判相关性。

技术细节

在系统性综述导出的参考集上，按 macro paper recall 计，标签与实体链接（EL）路线给出 45.1%，且不随召回深度 K 变化——它受限于词表的覆盖、粒度与链接决策，K 加大也捞不回来。纯语义召回在 K=100 时是 67.1%，K=500 是 87.7%，K=1000 是 93.1%，K=2500 达到 96.7%。Gemini 2.5 Flash 的相关性过滤在这之后把召回保留到 85.0%，相对候选集掉 11.7 个百分点。两条路线取并集在 K=100 时比过滤后的语义检索多 12.6 个点，K=2500 时只剩 2.9 个点，说明小召回预算下两者高度互补。

成本曲线是这条路的约束所在。EL 单次查询均值 6.87 秒；纯召回在 K=2500 时只要 1.52 秒；召回加上 Gemini 过滤后，K=100 是 7.01 秒，K=2500 升到 78.86 秒。召回深度每加一档，代价几乎全落在第二阶段的相关性判定上。

判定质量本身也不宽裕。Gemini 2.5 Flash 与人工标注的 Cohen’s κ 是 0.5026（Beta Tester 查询）与 0.5045（合成查询），micro-F1 是 0.7513 与 0.7510；十查询双标注样本上人与人的 κ 只有 0.4340。作者据此认为相关性判定的分歧需要更清楚的标注准则，而不是换一个更大的模型。

论文给出的架构结论是「用语义找，用标签组织」：标签不参与候选集的生成，只用来组织已经筛出来的那一批。

对大模型数据工作的影响

靠标签、分类体系或关键词从语料库里圈数据的做法，在这份数据上把召回封在 45.1%。做领域语料构建、评测集收集、去污染核对时，标签体系适合当组织层，不适合当召回层；召回交给 embedding，预算花在候选深度上，再用一个判别模型收口，并把这个过滤步骤带来的召回损失（这里是 11.7 个点）单独量出来，而不是默认它为零。