数据工程观察 · Vol.157

数据工程观察 · 2026年10月24日

数据选择的最优子集目标被证伪、元梯度权重可跨尺度复用、阿拉伯语语料 8850 亿 token 清洗到 2150 亿、安全探针的标注预算 scaling law，以及文生图数据集的低频频谱水印审计。

2026年10月24日数据工程预训练数据数据选择数据加权数据清洗去重 Scaling Laws 数据标注数据溯源奖励模型语料治理继续预训练

本期五条动态落在数据价值的四个环节上：怎么从大池子里挑出子集，怎么给每条样本定权重，清洗到底换回多少 token 效率，以及一份语料被谁用过能不能查得出来。挑子集的那条给出了一个否定结论——「最优子集」这个目标本身不可达；定权重的那条把元梯度做成了可以跨模型尺度复用的规则；清洗那条把 8850 亿 token 的阿拉伯语网页砍到 2150 亿，并在 50 亿 token 的对照实验里拿回了全参数继续预训练 94% 的收益；标注预算那条把 scaling law 搬到了安全探针上；溯源那条用低频频谱当水印，把「这张图是不是被你训练过」变成了可测量的量。

挑不出「最优子集」：数据选择改走可验证的单边保证

事件概述

一篇 10 月 21 日提交的 cs.LG 论文给数据选择泼了一盆冷水：通常被当成目标函数的「最小化子集训练后的总体误差」，在信息论意义上做不到。作者 Ahmed Mehdi Inane 等人转而提出一个能算出来的替代目标——faithfulness（保真性），并给出配套的交换式局部搜索算法。

技术细节

原文的否定结果是这样构造的：训练集 S 有 n 个样本，选择预算 m = ⌊λn⌋，验证集大小为 v。作者构造了一族分布，使得其中总存在一个大小为 m 的好子集，并且存在一个知道分布的 oracle 算法在该子集上误差趋于零。对任意选择器与学习算法组成的配对，只要学习算法本身的压缩误差足够小，选择误差就被下界 n/(n+v) 卡住；v = O(n) 时这个下界是常数，加多少算力都压不下去。文中同时给出上界：验证集规模取 v = Θ(λn/ε²) 即可把选择误差压到 ε，说明下界在训练样本数这一维上是紧的。困难来自分布的长尾结构——稀有子群的数目与训练样本同阶，多数子群在样本里只出现一次。

替代目标的做法是用 Unadjusted Langevin Algorithm 建模梯度训练过程，把「只在子集上训练」与「在全量上训练」得到的参数分布之间的 KL 散度，用轨迹累积梯度差异 G_T(I) 从上方界住。G_T(I) 对任意候选子集都可估计，于是保真性变成可验证量。最小化 G_T(I) 本身是 NP-hard，作者没有声称求得最优，而是给出基于交换的局部搜索：每接受一次交换，上界就单调下降，因此它可以拿任意选择器的输出当起点做细化，且不会把界变差。CIFAR-10 与 CIFAR-100 上的实验只做到与现有静态数据选择基线持平。实验还有一个细节值得记：参考轨迹是在单一随机 90%/10% 划分（seed 42）上训练的，另外四个 seed 的参考轨迹复用同一条，池子之间约 90% 重合，作者因成本没有为每个 seed 重训。

对大模型数据工作的影响

这条结论的用处不在算法，而在验收标准的改写。做预训练语料筛选时，团队习惯问「这一版过滤器选出来的子集，训出来的模型泛化误差是不是更低」，而这个问法在有限验证集上无法回答。换成保真性之后，问题变成「子集训练与全量训练的参数分布差多少」，这是一个能在训练前估计的量。实践含义有两条：其一，别再用小验证集上的排行榜去证明某个数据选择器的优越性；其二，G_T(I) 的单调下降保证让它适合当后处理步骤——任何已有的启发式筛选流水线，都可以再跑一遍交换搜索来降低界，而不必推翻重做。代码已公开在 github.com/Mehdi-Inane/data_selection_swap。

给每条训练样本学一个权重，并把权重规则从 0.5B 搬到 7B

事件概述

Hiddenweights 与 Arena 的一组作者（Hedi Driss、Evan Frick、Anastasios N. Angelopoulos、Cho-Jui Hsieh、Yejin Huh、Tijana Zrnic、Andrew Ilyas）重新捡起 dataweighting：给每条训练样本配一个非负权重，直接用元梯度把它学出来，并让它参数化成可以迁移的规则。落地场景是奖励模型训练，偏好数据里混着噪声、机器人标注、合成标签和目标域不匹配的样本。

技术细节

基础方法是元梯度下降：权重 w 初始化为全 1，反复执行 w ← [w − η·g(w, θ₀, T)]₊，其中内圈是模型参数 θ 的训练步，外圈是权重的元梯度步。从这个基础出发做了三件扩展。第一件事是把权重参数化为 h_ψ(z)，用样本特征映射到权重，元梯度通过对 ψ 的链式法则计算，这样每条样本不再独占一个可学习标量，新来的流式样本也能直接打分。第二件事是跨尺度迁移：在 Qwen2.5-0.5B-Instruct 上学到的权重冻结后，原样用于 1.5B、3B、7B 奖励模型的单轮加权训练，更大的尺度上不再做任何元梯度计算。第三件事是支持不可微目标，比如用可微的 soft-rank 代理去优化 Spearman 相关系数。

数字上最直观的是目标换掉之后的变化。以模型排序相关性为目标时，无权重 BT 训练的 Spearman ρ 为 0.325、Rank MAE 9.05；把权重优化到 Spearman 目标上，ρ 升到 0.625、MAE 降到 7.31。九个模型不相交的留出划分上，中位数分别是：无权重 0.83（四分位 0.79–0.94）、MAE 9.33；面向目标 BT 损失的权重 0.88、7.89；面向目标 Spearman 的权重 0.95（0.91–0.96）、6.17。领域定制那条，以 STEM 偏好集为目标，在 Human-155k 上训练的无权重奖励模型测试损失 0.6631，加上权重后降到 0.5572。合成数据那条最能说明权重在做什么：无权重时，纯 Gemini-110k 合成标签最差，Human-45k 与 Gemini-110k 混合比纯合成好但仍不如纯 Human-45k；加权之后，纯合成的表现贴近人类数据，人机混合则超过了纯人类数据。

对大模型数据工作的影响

这套东西对预训练的直接作用有限——它是奖励建模场景的方法。对数据工程流程的借鉴在「摊销」二字：元优化只需要在小模型、小子集上跑一次，产出的加权规则可以直接投放到更大规模的训练池。这条路径比「为每一批新数据重新做一遍影响力估计」便宜得多，也让权重规则本身成为可以版本化、可以回归测试的产物。另一个可复用的判断是：人机混合数据默认等权处理会拖累结果，学习出来的权重给出的排序本身就是一份数据体检报告——哪一批标注在拖后腿，看权重分布就知道。

8850 亿 token 砍到 2150 亿：阿拉伯语继续预训练的 token 账

事件概述

AQL-Lite（AQL 指 Arabic Quality Language）把一个五阶段的语料清洗流水线与部分参数继续预训练配方绑在一起，目标是让多语言基模以更低代价适配现代标准阿拉伯语（MSA）。基模是 Gemma 3 12B PT。

技术细节

token 账是最硬的部分。原始抓取 8850 亿 token，保留率 100.0%；结构清洗加启发式质量过滤后剩 3250 亿，保留 36.7%；再做 MSA 与方言判别，剩 2750 亿，保留 31.1%；模型打分加精确与近似去重之后剩 2150 亿，保留 24.3%。每一阶段都落盘派生字段与被拒原因（low_arabic_ratio、repetition、template、banned_keyword 之类），流水线以流式方式跑，分 shard 读写，不把全量语料放进内存。

收益侧分三档验证。在 10 亿 token 的等预算对照里，只换训练数据：AQL 精挑语料上的继续预训练比原始网页文本高 3.51 分（四项基准均值），而在原始数据上继续预训练相对基模没有带来增益。拆开看，前两阶段贡献 0.65 分，第三到第五阶段再加 2.86 分；增益主要来自 AlGhafa（+10.52），Arabic EXAMS +1.71。50 亿 token 的对照里，AQL-Lite 拿到 73.19，全参数继续预训练 73.58，即拿回 94% 的增益（6.28 / 6.67 分），墙钟时间从 121 小时降到 63 小时，为原来的 52%。组件消融显示网络范围的低秩通路是必需的：只解冻最后八个块而不加适配器最弱（67.96），比单独用 RS-LoRA 低 2.92 分；加嵌入训练再贡献 0.64。作者也写明，八个解冻块的数量没有调，逐层学习率没有单独消融，结果均来自单次训练。放大到 400 亿 MSA token 并做一百万条指令微调后，12B 模型在 OALL v2 七项基准上拿到 75.3。

对大模型数据工作的影响

这组实验把「清洗值不值」换算成了可比的 token 效率：同样 10 亿 token 预算，精挑数据带来 3.51 分，原始网页是 0 分。对算力受限的团队，更有参考价值的是部分参数继续预训练的配比——94% 的收益、52% 的时间，说明数据侧的清洗与参数侧的取舍可以叠加，而不是二选一。需要留个心眼的是效率对比只在 50 亿 token 规模上验证过，400 亿规模没跑全参数对照，这组数字还不能外推到更大预算。工程上可以直接抄的是流水线的审计设计：每个被拒文档带一条主因，配比调整和事后归因都不必重跑。

安全探针也有 scaling law：标注预算可以提前算

事件概述

Yuchen Wu 等人把预训练 loss 的 scaling law 思路搬到了安全探针上，回答三个在训练之前就要回答的问题：这个模型的探针能到多准、降到目标误差该加标注还是换更大的模型、选哪种探针架构。为此他们自建了六个安全数据集，每个最多带一百万条标签。

技术细节

公开安全数据集要么太容易、要么标签不够多，画不出完整学习曲线，作者用 minimal pairs（只有决定标签的那部分不同的一对样本）重建了六个数据集，覆盖真值判断、谄媚、策略违规、通用危害、越狱与提示注入，每个数据集固定 36,000 条测试样本且与训练不相交。被探测的是五个族共 20 个基模：Qwen2.5 的七个尺寸（0.5B–72B），加上 Qwen3.5、Gemma-4、Ministral-3、OLMo-3 的 13 个稠密模型。探针两种：读最后 token 单层激活的线性探针，与读全层、逐 token 打分的 CC++ 探针——7B 规模上 CC++ 有 100,352 个权重，约为线性探针 3,584 个的 30 倍。度量用误差 E = 1 − AUROC。

两条律很干净。尺寸律：标签给到一百万时，Qwen2.5 的误差从 0.5B 的 0.18 降到 72B 的 0.056，双对数坐标上是直线，拟合得 A = 0.15、α = 0.22（α 的标准误 0.02），R² = 0.94，模型每翻一倍误差乘 0.86。其他族的倍率分别是 Qwen3.5 0.76、Gemma-4 0.79、Qwen2.5 0.86、OLMo-3 0.89、Ministral-3 0.93。标签律：误差从 0.5 出发朝尺寸决定的地板值靠拢，未覆盖比例用 Hill 函数 D/(D+D₀) 拟合，D₀ = B/√N；0.5B 模型要 8,200 条标签才走完一半距离，72B 只要 240 条。log D₀ 对 log N 的斜率是 −0.51（标准误 0.15），接近 −1/2，于是 B 取 3,400 一个常数就能替代七条曲线各自的 D₀，代价是均方根误差从 0.017 升到 0.030，最差偏差 0.115。

外推能力是重点：用一族里较小的 k 个尺寸拟合、预测下一个尺寸，误差落在 0.02 以内的占 72%，0.05 以内占 97%，而随手连一条直线只有 54% 落在 0.02 以内；Qwen2.5 上 k=3 时 12 个预测命中 7 个，k=6 时命中 10 个。成本决策上，以「参数量 × 标签数」定义成本时，这两条律在明确存在更便宜选项的场合选中便宜选项的比例是 73%，Hoffmann 与 Kaplan 的律分别是 38% 与 44%。选错架构时平均只多付 0.006 的误差。六项任务里 Policy violation 拟合最松（平均偏差 0.016），作者归因于它的标签混了人工投票、类目清单与 LLM 裁判，噪声更大。

对大模型数据工作的影响

这条工作的价值在于把「标注多少条才够」从试错变成外推。安全、有害内容、越狱这类标签的采集成本远高于通用语料，能在训练前估出地板值与半程标签数，标注预算就不用靠拍脑袋。对数据工程更普适的提醒是度量选择：AUROC 有上界，曲线会朝 1 弯，看起来像饱和；换成 1 − AUROC 再取对数，幂律才显形。凡是拿有界指标画学习曲线的场景，都得先想清楚这条曲线上什么是直线。

低频频谱当水印：文生图数据集的用量审计

事件概述

SpectralCanary 解决的是文生图模型的版权审计难题——模型可以吸收一个图像集合的整体视觉特征而不复现任何单张训练图，事后比对无解。做法是发布前把固定的 canary 图像以低频方式混进每一张图，之后在可疑模型的生成结果里检测这条痕迹。

技术细节

方法本身极简：数据集所有者选一张固定 canary 图，用平滑低通掩膜 M_c 把它的低频傅里叶内容以强度 α 混入每张集合图像，caption 完全不动，既不需要辅助生成器，也不需要逐图优化。频谱混洗之后用一个轻量验证器判断可疑模型的输出里有没有这条痕迹。

效果是分组报的。Pokemon 数据集上的八种设置（含训练时增强、提示重描述、图像再生成）平均 AUC 98.0%、TPR@1%FPR 91.1%；用 30 次生成、固定阈值的模型级判定准确率 94.8%。跨艺术、医疗、卫星、时尚等五个域、用 SD3.5 训练时，每代平均 TPR@1%FPR 为 92.4%，受保护图像与原图的 SSIM 0.989、LPIPS 0.022，生成质量的平均变化 ΔFID 仅 0.05；稀疏素描 Sketch-Scene 上做到 100% AUC 与 TPR，SSIM 0.997、LPIPS 0.002。成本是 CPU 上每张图 0.39 秒。频段消融解释了这个设计为什么成立：在系数数量与频域扰动总能量都对齐的条件下，低频放置的每代 TPR 在 Pokemon 上比高频高 16.9 个百分点，在 ROCOv2 上高 88.9 个百分点。抗攻击方面，在已评估的自适应攻击里，要有效抹掉痕迹需要激进修改，代价超过 25 个 ΔFID 点。

对大模型数据工作的影响

这一条把「数据集被谁用过」从法律问题变成了工程问题。做数据发布的团队现在有了一种低成本的前置动作：发布前花每图不到半秒做频谱嵌入，发布后靠生成结果反向取证。要注意边界：论文评估的是文生图微调场景，证据强度依赖验证器在可疑模型上的查询次数与阈值校准，不能直接搬到大语言模型的语料审计上——文本侧没有对应的低频通道。另一个现实约束是它会改动发布出去的数据本身，虽然 ΔFID 均值只有 0.05，对训练效果敏感的下游用户仍需要单独确认。