数据工程观察 · Vol.160

数据工程观察 · 2026年10月27日

AdaBPE 用词表预算把 LaTeX 从小众语料里捞出来；DRIVE 把抗遗忘与适应写进同一个可微样本加权目标；OPST 只靠主题描述自造题目与判卷；伪标签改当 GRPO 奖励后只透传 27% 教师错误；TRACE 证明近似遗忘的前后快照能还原 96.25% 的被删样本。

2026年10月27日数据工程预训练数据分词器语料质量数据配比数据合成合成数据伪标签样本加权数据合规机器遗忘蒸馏

本期的五条动态都落在「同一批数据怎么处置」上：词表怎么切（AdaBPE）、每条样本给多大权重（DRIVE）、没有外部数据时怎么自己造（OPST）、噪声伪标签怎么用（GRPO 替代 SFT）、删掉的数据是不是真的删掉了（TRACE）。前四条是可以直接搬进流程的做法，第五条是一条验收警告——我们常用的几个数据动作，在本周的实验结果里都有一个被忽略的代价。

词表预算该留给谁：AdaBPE 把 LaTeX 从「小众语料」里捞出来

事件概述

卡拉布里亚大学 DIMES 系的团队提出 AdaBPE，一种自适应频率阈值的 BPE 变体。它瞄准的是混合语料里一个长期被忽略的问题：形式语言（论文以 LaTeX 为标本）在训练数据中占比很小，却承载着高密度信息，而常规 BPE 按频率贪心合并，把这些记号切得七零八落。

技术细节

BPE 把空格当作固定的语义边界，多词表达式与 LaTeX 环境经常跨空格，于是被切碎。已有的 superword 方法放宽了空格约束，合并准则仍是纯频率驱动，既不看候选 token 长度，也不区分语言类型。AdaBPE 改用频繁模式挖掘，做两层动态调整：按候选 token 长度调整最低频率阈值，避免高频短模式吃掉额度；按类型区分通用语言模式与形式语言模式。为了让词表和 SuperBPE 对齐在约 20 万，实验取三轮迭代，min_thr 为 10 的 -4 次方，两个类型阈值分别是通用 0.25、LaTeX 0.05。

五份评测数据上的平均编码长度（AEL）相对 BPE 的降幅：latex-formulas 从 68.58 降到 54.88（-20.0%），Image2Struct 从 247.32 降到 207.96（-15.9%），SQuAD 从 163.63 降到 126.03（-23.0%），DROP 从 264.26 降到 210.43（-20.4%），CSQA 从 16.63 降到 12.24（-26.4%）。平均降幅 21.14%，SuperBPE 是 19.58%；在 LaTeX 域上相对 SuperBPE 最多还能再降 7%。超词占比的变化更明显：latex 上从 0.133 提到 0.272（+104.5%），SQuAD 上从 0.257 提到 0.822（+219.8%）；总节省 token 的提升幅度从 latex 的 264.7% 到 SQuAD 的 679.4%。分词时间随之下降，latex-formulas 从 34.22 秒降到 25.49 秒（约 25%），SQuAD 约 8%。

代价写在同一篇论文里。n-gram 多样性与 Rényi 效率略低于 SuperBPE（SQuAD 上 NDiv 0.66 对 0.67），这是用少量分布多样性换压缩率的直接结果。下游验证用的是 OLMo2 小模型：数学类基准上 AdaBPE 的 bits-per-byte 更好（GSM8K 1.51 对 1.56，MATH500 1.21 对 1.27），通用任务上 BPB 明显倒退——BoolQ 1.84 对 1.44，CSQA 8.27 对 7.30——尽管准确率略高（0.6171 对 0.6150，0.1966 对 0.1949）。敏感性分析给出一个可用的工程结论：两个类型阈值是解耦的，通用数据的 AEL 只由通用阈值决定，LaTeX 的 AEL 只由 LaTeX 阈值决定；阈值放宽会让词表从最严格档的 16.8 万膨胀到最宽松档的 160 万以上。

对大模型数据工作的影响

词表是数据预算的一部分，不是前置的固定件。两个阈值解耦意味着可以按语料成分分别调旋钮：通用部分按压缩率调，形式语言部分按占比单独给额度。代码、公式、表格标记这类占比小但信息密度高的成分，值得走同样的处理。更该记住的是那个 BPB 倒退：AEL 下降不等于建模变容易，换词表后要重跑 BPB，不能只看编码长度这一项。词表膨胀到 160 万也提醒我们，压缩率是有价格的。

每条样本该占多大权重：DRIVE 把贡献、多样性和先验塞进同一个可微目标

事件概述

单阶段微调里灾难性遗忘一直没被解决，而当预训练数据拿不到时，参数空间的正则与模型合并都只能缓解。DRIVE 走样本空间路线：给每条微调样本算一个权重，让抗遗忘与适应新任务这两件事在同一个可微目标里被仲裁。

技术细节

目标里三条信号耦合演化。第一条是 Shapley 可加性，把样本贡献拆成抗遗忘分量与适应分量；第二条是基于协方差的多样性项，用来重塑前者的分布；第三条是样本特征先验，起稳定作用。这不是三项的拼接，而是端到端可反传的加权方案。实现上 λ 从 1 衰减到 0，τ 取预训练损失的第 10 百分位，η 取 1，k 取 128，T_max 取 10，四张 A100 80GB。

视觉侧用 ImageNet-1K 预训练的 ResNet-18/50，目标集包括 CIFAR-10/100、Flowers102 等九个基准。以 ResNet-50 的 CIFAR-100 为例：Standard FT 是 ImageNet 2.50 / 目标 86.10 / 平均 44.30，FLOW 是 60.85 / 80.74 / 70.80，DRIVE 是 61.64 / 83.03 / 72.34。相对 FLOW 的平均准确率增益，CIFAR-10 为 2.0%，CIFAR-100 为 1.54%，Flowers102 为 3.16%。语言侧用 MetaMathQA 与 Magicoder 微调 Gemma-2-2B、Llama-3.2-3B、Llama-3.1-8B。Llama-3.1-8B 上 Standard FT 是通用 49.51 / 目标 76.91 / 整体 63.21，FLOW 是 57.00 / 73.90 / 65.45，TALR 是 57.22 / 73.84 / 65.53，DRIVE 是 57.51 / 77.03 / 67.27；相对 Standard FT，通用能力平均提升在三个模型上分别是 5.12%、4.87%、8.00%，而 Standard FT 在 Llama-3.1-8B 上通用能力最多掉 8.59%。它还能当插件用：Llama-3.1-8B 上给 ℓ2 正则加 FLOW 的整体增益是 1.04，加 DRIVE 是 2.16（通用 +1.34、目标 +2.98）。

边界也写得很清楚。Gemma-2-2B 上 DRIVE 的通用能力均值 47.64 与 FLOW 的 47.50、TALR 的 47.53 落在同一区间，误差棒互相覆盖；整体分领先靠的是目标准确率（63.46 对 60.20、60.20）。

对大模型数据工作的影响

以往的样本加权方法要么盯新任务的验证损失、梯度模长，要么盯预训练知识的保留，二选一。DRIVE 的价值在于把这个取舍写成了可微目标，多样性与样本特征（长度、熵）作为补充项进入，而不是拿长度当贡献的代理——论文明确否掉了这种替代关系。对拿不到预训练语料、只有一个微调集的团队来说，这是直接可用的方案。算出来的权重还能反向当数据筛选信号用，比二元的留/弃更细。

没有外部数据：OPST 让模型按主题描述自己出题、自己判卷

事件概述

Google 与乌尔姆大学的团队提出 On-Policy Self-Training（OPST），把 on-policy self-distillation 改造成自训练框架。此前的自蒸馏仍需要人工整理的题集与参考答案；OPST 把监督压到极限——只给粗粒度的主题描述（例如「抽象代数」「常识因果推理」），题目和特权信息（推理过程加候选答案）全部由模型自己生成。

技术细节

自蒸馏的形式是：学生 π_θ 采样轨迹，教师 π_φ 与学生同参数，额外看到特权信息 z，学生在自己走过的状态上逐 token 匹配教师分布。OPST 的差别在于 z 也由模型自造。保留样本要过一个共识门：模型对原题与改写题给出的答案都要与自造答案一致，样本才被留下。因为门是拿当前学生判的，被保留的样本始终贴着学生的能力前沿，课程难度随模型一起演化。

同一批自造数据上换训练算法（Gemma 4 E2B，无 thinking）：SFT 平均 +1.7，GRPO +1.0，OPST 平均 +7.3（MMLU +10.2、GPQA +4.0、HellaSwag +7.5）。E4B 带 thinking 时 OPST 平均 +4.6，GSM8K +8.2、GPQA +6.5，SFT 是 +1.9、GRPO 是 +1.7。与不同监督强度的方法比：OPST 在四种设置里都拿到最好平均，超过 u-OPSD 1.0 到 2.8 点，超过 R-Zero 1.4 到 5.2 点；在 2B 无 thinking 上恢复了有监督 OPSD 增益的 88%（+7.3 对 +8.3），带 thinking 时两个规模都与有监督 OPSD 持平（+0.2、+0.7）。

多域混合的结果值得单独看。三个域的主题一起训，in-domain 平均 +7.6，是混合方案里最高的，与单域训练差 1.0 点以内，域间干扰很小；out-of-domain 平均只有 +0.8，其中 MATH-500 退了 4.9 点。MMLU 与 GSM8K 主题组合把 MMLU 抬了 +11.3，比只用 MMLU 主题的 +10.2 还高，并且拿到最好的 OOD 平均（+3.9）；完全不给 MMLU 主题时，MMLU 照样 +5.1，说明有一部分增益不来自被播种的域。多模态分支用 OpenImages V4 的无标注图片做 Visual OPST。

对大模型数据工作的影响

合成数据的依赖下限又被压低了一档：题集和答案都不再必要。更具体的一条是，把自造答案当教师的上下文而不是优化目标，这项选择本身带来的收益（平均 5.6 点与 1.3 点）比换训练算法更大。主题描述在这里等价于数据配比的旋钮，MMLU 加 GSM8K 优于三域全开，说明混合不是越全越好。OOD 结果是一记提醒：自造课程有覆盖盲区，验收时必须单独看没被播种的域，只看 in-domain 会系统性高估。

伪标签当奖励而不是目标：GRPO 只让 27% 的教师错误穿过去

事件概述

Idiap、EPFL、布尔诺理工与 Uniphore 的团队在 ASR 领域适配上给出一条反直觉的结论。场景是客户只给一批未转录的领域音频，惯例做法是让强教师（Whisper）打伪标签、学生做 SFT。作者不改标签集，把同一批伪标签从最大化似然的目标改成 GRPO 的奖励参考。

技术细节

学生从 LibriSpeech 960 小时的 out-of-domain 模型出发。每条语音采样 G=4 个假设，奖励是 1 减去该假设对伪标签的 WER，优势在组内标准化，再用带裁剪的替代目标加 KL 惩罚锚回 RL 起点策略。机制在于 on-policy：梯度只作用在模型自己生成的序列上，错误的伪标签词只有在学生本来就会输出它时才被强化；当整组都输出正确词时，惩罚是常数，被组内均值减掉。

四个 Whisper 教师从 Large-V3 降到 Tiny，标签 WER 上升 11.81 点，GRPO 学生的 WER 只升 1.89（12.17 到 14.06），SFT 升 14.90（17.21 到 32.11）。折算成斜率：标签 WER 每上升 1 点，SFT 的学生 WER 升 1.31 点，SFT 后接 GRPO 升 0.56，直接 GRPO 升 0.16。GRPO 用最弱的 Tiny 标签拿到 14.06，胜过 SFT 用最强的 Large-V3 标签的 17.21，差 3.15 点。换教师家族同样成立：Qwen3 ASR 1.7B 从 13.83 降到 11.35，Phi-4 Multimodal IT 从 14.34 降到 11.81，Audio Flamingo 3 从 14.96 降到 11.83。三个领域一致：banking 17.21 到 12.17，healthcare 18.72 到 14.64，insurance 19.59 到 15.70。错误结构也变了，插入错误锐减（Tiny 上 15.17 到 1.87），删除略增（4.91 到 5.69），因为 WER 奖励直接惩罚幻觉内容。

局限同样是论文自己给的。用金标签时 GRPO 反而略差于 SFT（banking 10.27 对 10.78），优势专属于噪声参考，不是目标函数的通用性质。金标换成伪标的代价，SFT 是 6.94 点（banking）、6.44、5.57，GRPO 是 1.39、2.04、1.35。顺序也要反过来看：噪声标签下先 SFT 再 GRPO 反而更差（Tiny 上 22.77 对直接 GRPO 的 14.06），金标签下顺序才正常（9.49 最好）。低资源语言上直接 GRPO 根本不适用——英语训练出来的学生 rollout 是拉丁转写，每个假设对伪标签的 WER 都超过 100%，组相对优势分不出好坏，必须先跑一段 SFT 建立目标脚本（越南语 CER 58.78 到 49.92）。

对大模型数据工作的影响

同一批伪标签，改目标函数（+3.15 点）比换更好的教师更划算，这对预算分配是直接可用的结论。验收伪标签数据时也别只盯标签 WER 这一个数，真正决定下游的是标签质量到下游指标的斜率（1.31 对 0.16）。「先 SFT 再 RL」不是铁律，标签来源决定顺序。那条低资源语言的反例还给出了机制的边界：on-policy 过滤的前提是正确输出已经在策略支撑内，跨脚本、跨域场景要先建立支撑，否则 RL 阶段是无定义的。

删掉的数据还在：TRACE 用前后两份快照还原被遗忘的样本

事件概述

合规删除（GDPR、AI Act、版权）在大模型上普遍靠近似遗忘，而工程实践为审计和回滚会保留遗忘前后的模型快照。作者指出这条惯例开了一个旁路：拿到两个快照就能重建本该被删掉的数据，并且不需要任何与该数据相关的先验知识。

技术细节

TRACE 分三步：从 embedding 层的参数差异筛出一个紧凑的候选 token 集；用两个模型之间的困惑度差做对比打分；再用探索-补全的两阶段策略恢复多条不同样本。候选集规模设为遗忘批大小的 1.5 倍。评测覆盖 TOFU、MUSE、WMDP 三个基准，六种遗忘方法（GA、GD、KL、NPO、NPO-Diff、NPO-KL），六个模型（TinyLlama-1.1B、Qwen2.5-3B、StableLM-3B-4E1T、LLaMA2-7B、Mistral-7B、LLaMA2-13B），指标是 ROUGE-L 召回与 A-ESR（在阈值 1.0 与 0.9 下能被重建样本匹配上的真实样本百分比）。

数字相当高。TOFU 上 LLaMA2-13B 配 NPO：R 为 0.9795，A-ESR 1.0 是 96.25%，只用困惑度的基线是 0.6106 与 33.75%。TOFU 上 LLaMA2-7B 配 GA：R 为 0.9799，A-ESR 1.0 是 95.00%，基线 28.75%。MUSE 上 LLaMA2-7B 配 NPO-KL：R 为 0.9646，A-ESR 1.0 是 96.25%。精确重训的对照组把这些数压到 R 0.2068、A-ESR 1.0 只有 5.00%，说明近似遗忘的定向参数更新留下了更强的可利用痕迹。黑盒设置下（拿不到参数，只有 token 级输出概率）能力下降但仍然存在：MUSE 上训练 5 轮时 R 为 0.6043，白盒是 0.8467；训练 6 轮时 0.6274 对 0.9027。训练轮次越多重建质量越高，遗忘轮次几乎不影响。

对大模型数据工作的影响

数据删除的验收标准要升级。只测「目标集上损失上升、准确率下降」不够，得加上重建攻击这一项。保留前后快照在效果上等于保留了差分信号，审计与回滚的工程需求必须和隐私需求一起设计，不能各自单独定。近似遗忘与精确重训的差距（96.25% 对 5.00%）说明强合规场景不能拿近似方法交差。轮次越多越容易被还原这条，与「重复数据更易被提取」的既有结论一致：去重强度和训练 epoch 数同样属于隐私参数，不该只按收敛曲线定。