数据工程观察 · Vol.161

数据工程观察 · 2026年10月28日

逐点估值分做 top-k 的闭形式缺陷；去重里减 log 簇大小清不掉簇内极值；RefinedGAW 发布 3140 亿 token 德语学术语料且 88% 无近重复；合成查询的多样性里 37% 是幻觉；scaling law 拟合存在算力效率跨度 14× 到 146× 的 Rashomon 效应。

2026年10月28日数据工程预训练数据数据选择数据估值数据去重语料发布数据合成 Scaling Laws 语料质量数据配比元数据合成数据多语种语料数据清洗

本期的五条动态指向同一件事：我们习惯用一个标量来代表一份数据的价值——单条样本的估值分、一个簇的重复度、一个语料的 token 数、一批合成数据的多样性、一条 scaling 曲线的拟合损失。这五份工作各自划出了这个标量失效的那一段。

逐点估值分再准，也修不好 top-k 选择

事件概述

Data Shapley、影响函数、leverage 这类逐点估值分最常见的用法，就是按分数从高到低取前 k 条。arXiv 2610.34801 给出了闭形式的反驳：在等潜变量模态模型里，任何对称的逐点分数做 top-k，都会相对自适应覆盖产生恰好等于 ρ·δ_N(k) 的期望超额风险，因为固定分数会反复把预算花在已经被覆盖的模态上。

技术细节

对称分数的 top-k 覆盖的模态数是 m*(k) = r(1-(1-1/r)^k)，自适应贪心是 min(k,r)，两者之差就是 δ_N(k)。合成实验取 r=C=10、k=C=10：Shapley 覆盖 6.0 个模态，leverage 覆盖 6.7 个，贪心覆盖 9.7 个；约束预算处的准确率是 0.895 对 0.637，差 +0.258，按 Shapley 取 top-k 在 k≈C 附近直接掉到随机以下。真实数据用冻结的 ImageNet ViT-B/16 特征、PCA 降到 64 维、每种子重抽 N≤5000 的池、预算 k∈{C,2C,4C}。无标签场景里，贪心 facility location 在 CIFAR-100、Food-101、Flowers-102 上比随机高 +0.08 到 +0.20；原始 top-k（leverage 或全局典型性）覆盖的类别比随机还少，三个数据集的准确率全部跌破随机。标签恰好等于模态时，一行类别均衡就能把同一批分数修好：k=C 处类均衡典型性比贪心覆盖高 0.09、0.08、0.17（CIFAR-10、CIFAR-100、Flowers-102），Oxford Pets 打平（0.004±0.015）。标签比模态粗时走的是第三条路——CIFAR-100 粗标签下，粗层内覆盖 0.419，粗均衡典型性只有 0.240。失效边界也写清了：Waterbirds 上表示没有表达出子群，覆盖一样没有抓手；分数质量独立于覆盖变化时（污染池）覆盖同样不灵。

对大模型数据工作的影响

做 SFT 数据筛选时，「先算一个分数再取 top-k」是默认姿势。这篇的结论是：这套姿势在预算紧、表示冗余、漏掉一个模态代价高的时候最吃亏——恰好就是预训练语料去重后做子集选择的典型场景。修法分三层：有可靠标签且标签就是模态，做类别配额；没标签，用 learner 几何上的显式覆盖（facility location、k-center）；标签粗于模态，在粗层内做覆盖。别指望把逐点分数算得更准能解决这件事，覆盖是集合属性，标量控制不了它。

减去 log 簇大小，只去掉了重复，没去掉簇内极值

事件概述

语料去重做完后，模型在长上下文里照样检索不到目标。arXiv 2610.34682 把「冗余」拆成两种机制：重复项增加归一化质量，相关组内部的分数波动制造出极端个体分数。作者证明，常见的 count correction（从 pre-softmax 分数里减掉 log 簇大小）只处理了第一种。

技术细节

模型是一个两层广义随机能量模型：指数多个高斯干扰项，分在已知的、指数大的簇里，α₁ 是簇数的指数率，ρ 是簇内相关。主结果是，减 log 簇大小消掉了多重性，却留下了簇内极值；即便在看完所有分数之后再挑温度，所需信号也降不到 √(2α₁) 以下。改成先在簇内对分数取平均再取指数，阈值降到 √(2ρα₁)。往里加指数多个 singleton 干扰项后，这个差距仍然存在，所以簇大小本身不足以定位目标。冻结编码器实验用 BANKING77（77 个意图）和 all-MiniLM-L6-v2，308 条验证查询、924 条评估查询，余弦相似度打分，温度从 [0.25,1024] 的 81 个值里各自独立选。每组 8 个同意图键做干扰时，count correction 的相关值质量 0.342，平均法 0.440，配对增益 0.098（95% 区间 [0.088,0.108]）；每组随机留一个代表键只有 0.375，说明增益不是靠「少看几个键」换来的。反例同样给出来了：相关组里含 4 个匹配项时，平均法从 0.614/0.626 掉到 0.465，差 −0.161 [−0.181,−0.142]；混合相关组更极端，0.234/0.243 掉到 0.005。

对大模型数据工作的影响

给语料做语义去重时，「这一簇有 8 篇近似文档，权重除以 8」是个很自然的念头。这篇的阈值结果说明这个念头有个硬底：它清不掉簇内那篇分数特别高的文档带来的干扰。真正在注意力层面压住这类波动的是先平均后指数，代价是当相关组里有多条都该被检索到时，平均会把证据丢掉。做长上下文检索、RAG 语料的去重与合并，得先问清楚目标是「一条命中」还是「一组都该命中」，再决定用哪种操作。

RefinedGAW：122M 文档、3140 亿 token，88% 与主流德语集无近重复

事件概述

ellamind 联合 L3S 研究中心与柏林洪堡大学发布 RefinedGAW，从德国学术网（GAW）的 26 次半年度抓取里整理出 1.22 亿篇唯一文档、3140 亿 token，并保留每篇文本的完整抓取与捕获历史。

技术细节

两条流水线分别抽 HTML 与 PDF 文本，跨抓取做精确去重（保留所有出现位置与来源版本），再用 propella 打文档级标注。德语子集 1048 亿 token 里有 876 亿被标为学术研究；FineWeb2-DE 与 FinePDFs-DE 合计 5160 亿 token 里只有 649 亿。RefinedGAW 的德语 token 总量约为这两者合计的五分之一，学术研究 token 却多出 35%。重叠检测用了两个指标：URL 精确匹配，以及 DataTrove 实现的 MinHash LSH（5 词 shingle）。作者明确说默认 MinHash 配置偏召回，返回的是候选对而不是核实过的重复，所以那 88% 的「无近重复候选」是操作性的筛查结果，不是近重复率的正式上界。随数据一起发布的还有可查询元数据索引和 rehydration 工具；GAW 序列始于 2012 年，早期抓取时机器可读的 TDM 保留声明还不存在，无法回溯过滤，工具改成在取回时应用当前 robots.txt。索引本身用 CC BY 4.0，覆盖索引与派生元数据，不覆盖 URL 指向的源文档。

对大模型数据工作的影响

德语这类中等规模语言，过去主要靠 FineWeb2 之类的通用网页抓取撑着。RefinedGAW 的价值不在 token 总量，而在两点：一是 88% 的文档在三个主流参考集里找不到近重复候选，说明它补的是空档而不是同一个池子里的又一份拷贝；二是带抓取历史与来源版本的元数据索引，让「按时间、按机构、按版本切子集」变成可执行的查询，而不是重新爬一遍。做多语种语料配比时，这类聚焦爬虫产出的增量值得单独算一笔账。

合成查询的「多样性」里，37% 是幻觉

事件概述

冷启动电商搜索常用 LLM 造一批合成 query-intent 对来训语义解析器。arXiv 2610.35102 在真实业务 schema 上量了一遍：prompt 诱导出来的多样性，只有在生成结果忠实于结构化意图时才算数。

技术细节

规模是 118,098 条合成 (query, intent) 对，6 个 LLM × 9 个 persona 条件 prompt 族，47 字段的英国汽车 schema；对照组是 1,214 条人工标注和 15,304 条产线查询。IPIP 大五人格 bundle 在四组配对对比上一致提升解析器 F1，幅度 +1.1 到 +2.1 分（Holm 校正 p<.001），三个 bundle 在完整 2³ 网格上都有正主效应。句法条件化是把生成结果推向真实流量的那一根轴，也顺带带来了词汇多样性。对齐 sKL——合成查询与人工查询各自拟合 von Mises–Fisher 分布后的散度——是个不需要标签的代理指标，与解析器 F1 的 ρ = −0.917（越低越接近）。三个 LLM 裁判组成的委员会加一次盲审作者复核，审了 927 条所有解析器都漏掉的查询，判定 37% 属于幻觉；丢约束占主导，无依据添加和方向反转次之。带句法的四个 prompt 族幻觉占比最高，38% 到 42%；IPIP 单独用最低，28%。量纲差异也摆在那儿：合成样本平均 5.96 个结构化字段、17.6 词查询，人工 3.17 字段、14.3 词，产线查询 4.8 词（中位 3）。

对大模型数据工作的影响

做合成数据时，「这一批的多样性够不够」常被当成唯一指标。这篇给了两个能直接搬走的东西：一是 sKL 这种不需要标签的分布对齐度量，能在没有人工标注时就预判这一批合成数据有没有用；二是幻觉率必须按 prompt 轴分开算——最能提升多样性的句法条件化，恰恰也是幻觉占比最高的一族（38–42%）。合成数据的验收清单里，多样性和忠实度得分开记两笔账。

Scaling law 的拟合这一步，也存在 Rashomon 效应

事件概述

scaling law 的估计是一条流水线：定配方、跨规模训模型、按目标指标评估、最后拟合一条曲线。arXiv 2610.34514 指出最后这一步一直被当例行公事——标准做法是对着一组初始化做局部优化，返回找到的最好的那个解。作者证明这种做法存在 Rashomon 效应：近最优解的子水平集是一大片参数区域，它们在小规模上拟合得一样好，外推到大规模时却分道扬镳。

技术细节

Chinchilla Approach 3 把 scaling law 参数化为 L(x;θ) = E + Σᵢ Aᵢ xᵢ^(−αᵢ)，对 log 残差最小化 Huber 损失。作者做一个坐标重参数化，让 log 残差拟合损失在任意参数盒上都能算出一致上下界，据此跑分支定界：对任意 ε>0，能证明返回的参数在声明的紧域内距全局最优不超过 ε，并穷举近最优解族，在未见过的规模上给出经认证的预测包络。数据用 Open Athena IsoFLOP Experiments 里数字化的 Chinchilla 与 Llama 3 scaling ladder，严格只用 C ≤ 3.64×10^20 FLOPs 的 81 条 IsoFLOP 运行来拟合，大规模运行全部留作分布外评估。结果：标准 Chinchilla 流程在 5⁵ 网格初始化下，落在同一子水平集、拟合损失与返回解一样好的那些参数，对同一个目标损失给出的算力效率跨度是 14× 到 146×。落到具体数字上，所有拟合损失在最优 1% 以内的解，在 3×10^23 FLOPs 处的预测落在 [0.1202, 0.2392] 这个带里。开销并不夸张——98 次搜索每次最多 45 秒，整张图含认证拟合在 60 核上约两分钟。

对大模型数据工作的影响

数据配比和算力预算的决策，很多时候就是拿一条拟合出来的 scaling 曲线外推的。14× 到 146× 的算力效率跨度意味着：同一批小规模实验数据，能支撑出「再多花 14 倍算力」和「再多花 146 倍算力」两种都算拟合合格的结论。拟合报告里除了那条最优曲线，还应该给出近最优解族在目标规模上的预测包络——分支定界的开销是分钟级，这个要求不贵。