数据工程观察 · Vol.158

数据工程观察 · 2026年10月25日

修正标记「Wait」被追回到中训练语料、巴什基尔语 4690 万 token 语料发布且继续预训练收益随基模反号、有状态数据中心环境的轨迹污染与 12.8 倍 I/O 收益、外部数据采购的冗余惩罚加显著性门评分，以及差分隐私合成数据按查询类自适应的极小极大速率表。

2026年10月25日数据工程训练数据溯源中训练语料发布低资源语言继续预训练数据中心环境轨迹污染数据价值评估数据采购数据合成差分隐私数据配比强化学习数据治理

本期五条动态指向同一个问题：一份数据在被模型吸收之前，它的身世能不能被查清楚。一条把推理模型里最显眼的修正标记「Wait」追回到中训练语料，测出强化学习几乎从不创造它；一条把 4690 万 token 的巴什基尔语网页语料摊开，测出继续预训练在同一份语料上对不同基模给出反号的结果；一条处理数据中心环境的轨迹污染，把数据库副本复用做成可隔离的执行基础设施；一条把「这份外部数据值不值得买」变成带显著性门与冗余惩罚的复合评分；最后一条给差分隐私合成数据补齐了按查询类自适应的极小极大速率。

修正标记「Wait」的身世：它从中训练数据来，不从强化学习来

事件概述 推理模型在重算一步之前写下「Wait」，长期被当作强化学习教会模型反思的证据。这篇工作沿着开放模型的训练时间轴追这个词，看它到底在哪一步进入模型，以及各阶段把它改成了什么样。作者借用历史语言学的语法化参数，把每个 checkpoint 的采样输出当成一份历时语料来读。

技术细节 标记频率定义为每 1000 个生成 token 中的出现次数，近无阈值定在 0.05。除频率外还有四个无标签指数：句首占比 SI 与位置熵构成的位置固定度、规范形式「Wait,」占比 ORTH、连锁占比 CHAIN（wait, wait 这类复现链）、以及到下一个数学动作的距离与句长构成的磨损度。用法漂移用固定编码器算 checkpoint 与基模之间的 Jensen-Shannon 散度。功能判定靠注入错误测试：为每个题目构造一段正确步骤前缀和一份注入单个算术错误的平行前缀，看两句话内是否出现修正标记，再用信号检测论的 d′（区分度）与 c（触发倾向）量化。规模上覆盖 120 个模型端点。

结果分三层。从不含该标记的基模出发做 zero-RL，18 次运行中 17 次的标记频率仍低于 0.05，MATH-500 准确率中位数提升 42.9 点：Open-Reasoner-Zero-32B 从 10.8 升到 91.4，Qwen2.5-Math-7B 的 GRPO 从 16.9 升到 76.0，两者的标记频率都停在 0 附近。OLMo-3 这条全开放谱系给出了明确的时间点：预训练后 0.04、中训练后 4.03、base 4.94、RL-Zero 后 12.68（每 1k token）。在推理轨迹上微调的模型里，13/14 个采用了该标记，DeepSeek-R1-Distill-Qwen-32B 从小于 0.01 升到 3.25，Phi-4-reasoning 从 0 升到 1.56，Qwen3-8B 从 0 升到 3.93。两个已发布的 RL-Zero 配方会把已有标记成倍放大，同一基模上的 KL-free GRPO 不会；OLMo-3 的配方还把形态磨损成「Wait, > wait > wait, wait」，得到一个更敏感也更 liberal 的警报。作者自己的 GRPO 配方则把微调种下的标记擦掉了。

对大模型数据工作的影响 中训练语料与微调轨迹才是行为标记的供给方，强化学习只做放大或磨损。把标记频率当作「模型学会了反思」的证据、或当作推理强度监测器与思维链监控器的输入，都需要先校准一次：这些读数测的是数据继承，不是训练算法的产出。溯源本身不必访问权重，采样输出加一组确定性规则就够了，这对只拿到 API 的语料审计场景是可复用的路径。作者还提示 LLM 裁判会反转人工标注的修订趋势，修订类行为的自动标注不宜直接采信。

巴什基尔语 4690 万 token 语料发布，继续预训练的收益随基模反号

事件概述 巴什基尔语属突厥语族、用西里尔字母书写、构词高度黏着，在现代大模型生态里几乎没有存在感。这份工作放出一套开放资源：巴什基尔语网页语料 71,567 篇文档、约 4690 万 token、16 个来源，外加三个文本分类标注数据集，并在八个架构上系统比较了适配策略。

技术细节 三个标注数据集规模分别是二分类 16,994 篇、多分类 17,897 篇（19 个类别）、多标签 22,318 篇（14 个标签），基准只跑前两个。来源分布很不均匀：巴什基尔语维基百科 bawiki_cyrillic 贡献 42,262 篇，占 59.0%；门户 azatliqorg 占 10.5%；其余 14 个来源每家 151 到 2,139 篇，合计 30.5%。文档有 title（99.4% 有值）、content、category（97.8% 有值）、source、text 五个字段，语料分 full 与 1000 篇调试 sample 两种配置。许可沿用 HPLT 与 OSCAR 的做法：原文权利归作者与出版方，结构化汇编、元数据与原创标注按 CC BY-SA 4.0 发布，附带 14 个工作日响应的下架通道。预处理包括 HTML 抽取、去重、类别归一化与长度统一，数据集阶段限制在 50 到 10,000 字符，划分按来源与类别做 80/10/10 分层。

实验覆盖 82M 到 8B 的八个架构，三类适配策略加继续预训练。QLoRA 适配 3.8–8B 生成式模型超过了编码器基线的全量微调：YandexGPT-5-Lite-8B 加上 CPT 后 macro-F1 达 0.748，XLM-R 为 0.653、mBERT 为 0.650，15 次比较经 Holm 校正后差异显著。继续预训练的效果同时依赖基模与任务，困惑度这一项上三个模型都显著但符号相反：Phi-3-mini 改善 +0.58、YandexGPT-5-Lite-8B 改善 +0.33，Mistral-7B 反而恶化 −1.15（Holm 校正后 p<0.001）；到了二分类任务上，CPT 收益最大的恰好是 Mistral-7B，macro-F1 提高 4.0 个点。分词器 fertility 在不同模型间相差 2.67 倍（2.92 到 7.80），与适配质量一致；不同分词器下的困惑度不适合跨模型比较。LLM 裁判能复现母语者对语法与连贯性的评分（ρ=0.33–0.46），复现不了语言正确性（ρ=0.16，p=0.11）。

对大模型数据工作的影响 低资源语料发布要把来源构成摊开写清楚，只报总量会掩盖百科体裁占 59% 造成的语体偏移。继续预训练的收益不能用困惑度单点判定：同一份语料在困惑度与下游任务上给出相反符号，意味着低资源 CPT 的验收指标必须绑定目标任务。fertility 是比困惑度更适合跨模型横向比较的量，值得进语料评估的常规项。母语者评测在语言正确性这一维仍无法自动化替代。

有状态数据中心环境里的轨迹污染：数据库副本复用做出 12.8 倍 I/O 收益

事件概述 SQL 调试这类任务要求智能体在会变的数据库状态上做假设验证，主流 agentic RL 框架是按 rollout 起容器的工具中心设计。放到数据库环境里，每条轨迹都要一份可变副本，空间代价直接爆炸；不做隔离直接复用副本，又会把上一条轨迹的残留改动带进下一条，污染执行反馈并让 on-policy 更新失稳。BIRD-RL 用轨迹级持久执行基础设施解决这对矛盾。

技术细节 基础设施由两部分组成。一是 worker 分区数据库池：每个模板库预分配 K 份工作副本，按 worker 切成互斥子集，每份副本维护可分配标记与待重置标记。二是定制化 agent loop：rollout 开始时分配稳定的轨迹标识，同一轨迹内所有 execute_sql 调用按注册表路由到同一份副本，绑定一直保持到终止而不在每次工具调用后释放；释放时若副本被改过，只打待重置标记，重置推迟到该副本被分配给新轨迹时执行，避开终止阶段的锁竞争。在 batch size 16、rollout 16 的 SQLite 设置下，实测在线生命周期 I/O 相比逐 rollout 容器降低 12.8 倍，代价是 69 GiB 的离线池存储。经过前序 SFT 阶段正则化后，只有 9.25% 的轨迹真正执行了改状态的查询并触发重置。

训练侧是四阶段课程：推理模仿阶段用 Claude-Sonnet-4.5 当教师，在自建的 SIX-GYM-SQLite 环境里生成调试思路，并只保留「修正后的 SQL 能从该思路重新生成且通过全部测试用例」的配对，得到 4,982 条数据；之后是工具调用模仿、自适应推理强化学习、交互式 agentic 强化学习。底座为 Qwen2.5-Coder-7B 与 14B，8×H100，基于 VERL。Bird-Talon 在 BIRD-CRITIC-SQLite 上取得 44.40% 与 48.00% 的成功率，相对基模提升 18.20 与 14.20 个百分点，接近 Claude-Opus-4.6 Agent 的 48.20%。多任务统一训练方面，在固定 4,000 条总量下比较调试与生成的 3:1、1:1、1:3 三种配比，最终取 debug-heavy 的 3:1，Bird-Zeno-7B 在 BIRD 开发集上执行准确率 63.90%。奖励设计上，纯执行奖励优于叠加 LLM 裁判或启发式量规的稠密代理奖励，后者在错误高度敏感的任务上容易被 hack 到表面合理的形式。

对大模型数据工作的影响 数据中心 RL 的扩容瓶颈在环境隔离的 I/O，不在 GPU。轨迹级隔离必须做到显式绑定，否则复用省下的存储会以状态泄漏的形式回到策略更新里。配比实验要在固定总量下做，否则「配比」与「数据量」两个变量会混在一起。稠密代理奖励在可精确判定的任务上未必划算，这个结论对可验证奖励类的数据构造同样适用。

外部数据值不值得买：冗余惩罚加显著性门，把采购决策算成一个分数

事件概述 企业数据团队面对源源不断的第三方数据报价，真正难答的不是「这份数据好不好」，而是「相对已有资产它新增了多少可用信息，这个增量配不配它的采购与运维成本」。数据差异化框架 DDF 把这个问题拆成冗余、效用、治理三组归一化指数，合成一个有界的差异化分数 DDS。

技术细节 冗余侧用条件冗余指数 CRI，基于 k-NN 互信息估计，衡量候选资产与已有组合的归一化互信息。效用侧是边际效用分数 MUS：先对固定业务模型做消融（基特征集对比基特征集加候选特征），取有界指标（这里用 AUC-ROC）的提升，用 DeLong 检验加 Holm-Bonferroni 校正做显著性门（α=0.05），不显著的提升直接归零，再除以成本归一化项。治理侧是信任、身份解析质量、战略权重等显式业务输入。执行流水线按代价排序：信任门（TI<0.70）与冗余门（CRI>0.90）先拦，昂贵的两模型训练加 Shapley 归因只对通过者执行。

案例用公开的信用卡欺诈基准，284,807 条交易、31 列、80/20 分层划分，互信息估计在 10,000 条子样本上做。五个构造好的候选资产覆盖冗余谱系：A 是基特征子集的纯冗余（150 万美元）、B 部分重叠（180 万）、C 与基集合近乎不相交且带真实时序信号（200 万）、D 是尾部 PCA 分量的噪声（80 万）、E 是两列高信号特征（50 万）。CRI 分别为 1.000、0.443、0.013、0.008、0.100，恢复了设计时的冗余结构。只有 C 通过显著性门，ΔAUC 为 +0.0029，DeLong p 为 1.4×10⁻⁹，Holm 校正后 7.2×10⁻⁹，DDS 得 +0.663；纯冗余的 A 得分最低，为 −0.135。结论在 22 个可采纳的权重配置里有 19 个一致，在 [0.15, 0.66] 的全部决策阈值上不变；翻转只发生在治理权重占到一半以上时，作者据此给出 w_ti + w_ids ≤ 0.40 的设计约束。与留一法和精确枚举的 Data Shapley 对照，三种方法都能挑出 C，只有 DDF 靠冗余惩罚把其余四个排出次序。MUS 是在候选批次内归一化的，跨批次不可比。

对大模型数据工作的影响 外部语料采购可以做成可审计的计算，每个推荐都能从指数表手工复算。冗余惩罚排在效用评估之前，能把大部分重训开销挡在门外，这对「要不要买这批域名、这批轨迹」的判断直接有用。两个坑要盯住：治理权重设得太高会让零效用资产仅凭治理项越过阈值；「组合才有用、单看无用」的联合价值是 coalition 问题，当前 DDS 没有解。

差分隐私合成数据：按查询类自适应的极小极大速率表

事件概述 差分隐私合成数据的现有方法多为任务定制，换一个查询类就要重新设计机制与隐私核算。这篇工作给出一套统一框架——广义矩匹配——并给出按目标积分概率度量（IPM）自适应的效用上界与极小极大下界。

技术细节 框架分三步：私有地估计矩、拟合一个概率测度、从中采样等权合成记录；一条通用定理把矩估计误差转换为目标 IPM 的误差，条件是矩误差能控制住该 IPM。设定是任意 n 条位于 [−1,1]^d 的记录，隐私为 (ε,δ)，有效样本量定义为 N_{ε,δ} = nε/√(2 log(1.25/δ))。固定维度、核参数与隐私参数下，速率（忽略 nε 与 1/δ 的对数因子）为：高斯核与固定次数多项式核为 (nε)⁻¹，用正交特征投影；Matérn 核（ν>0）为 (nε) 的 −min{1, 1/2+ν/d} 次方，用小波矩；Laplace 核与两层 ReLU 神经正切核为 (nε) 的 −(d+1)/(2d) 次方；切片 Wasserstein-1（d≥2）同为 −(d+1)/(2d)；范数有界 ReLU 网络诱导的 IPM 为 −min{1, (d+3)/(2d)}，用公开网格上的 ReLU 矩。合成记录数足够多时，这些速率在固定维度下对数是极小极大最优的。框架把 PSMM、PMM 以及 1-Wasserstein 与光滑查询下的 Chebyshev 矩匹配收为特例。对比之下，在整个立方体上对所有 1-Lipschitz 查询一致准确所对应的 1-Wasserstein 误差阶是 Õ((nε)^(−1/d))，高维下很慢，光滑性、低维结构、稀疏 Lipschitz 查询或切片结构都能提速。计算侧有一条既有下界：若单向函数存在，则不存在 poly(n,d) 时间的 DP 算法，能对每个 n=poly(d) 的布尔数据库把所有二阶边际保到足够小的常数加性误差。

对大模型数据工作的影响 合成数据的效用评估必须先声明查询类，选 IPM 等于声明下游用途，MMD 核与切片 Wasserstein 的速率差着维度指数。做隐私合成之前可以按自己的隐私预算与维度先把速率表算一遍，提前判断这个预算下要不要做、以及合成多少条记录才够。二阶边际这类结构在多项式时间内保不住的既有结论，也提醒别把「保住全部边际」当成可达目标。