数据工程观察 · 2026年10月26日

本期的五条动态分别落在数据排期、语料审查、蒸馏数据、合成数据选型与零外部数据合成上。前两条是可以直接搬进流程的工程结论：中训练的数据配比要和学习率排期一起定，多语语料的单语言缺陷可以用几美元一次的 agent 巡检扫出来。后三条指向同一个验收标准问题——我们常用一个标量统计量或一次过滤动作来验收数据，这些做法在本周的实验结果里都不太站得住。

数据排期好不好，取决于学习率什么时候开始衰减

事件概述：中训练（MT）阶段的数据配比是一个独立可调项，还是一个被学习率（LR）排期绑定的量，过去的工作给出过相互矛盾的结论。这篇论文把两类排期放进同一组实验里扫，答案是后者：同一个 MT token 预算下，数据排期的优劣排序会随 LR 排期翻转。

技术细节：PT 数据用 DCLM-Baseline，MT 数据用 FineMath 的 finemath-4plus 子集。dense 模型 630M 参数（Qwen2.5-0.5B 架构、解绑输入输出嵌入），先在 200B DCLM token 上预训练，再做 20.97B token 的中训练，MT 占比设 10%、25%、47.75% 三档，对应 2.10B、5.24B、10.01B 个 MT token，其余由回放的 PT token 填满，MT 数据最多消耗一个 epoch。MoE 模型走 OLMoE 设计，2.99B 总参数、每层 64 专家、top-8 路由，PT 40B token，MT 设 4B 与 10B 两档。数据排期取两种：Two Stage（到 τ 后切到固定混合比例）与 Zero-then-Linear（到 τ 后线性升到 γ_end），MT token 预算用 γ(t) 在 0 到 T 上的积分等于 αT 这个约束固定住。LR 排期三种：Const（峰值不变）、FDR（全程衰减）、MDR（从 MT 进入时刻起衰减）。FDR 下把 MT 提前并与 PT 混合能拿到更低的最终 MT loss；把 LR 换成 Constant，同一套回放策略变成抬高 MT loss，纯 MT 收尾反而最优，这一翻转在 dense、MoE、三档预算、不同续训长度上都成立。作者跑了 250 多次训练、19 组联合扫描，扫描里的最优解一致指向「MT 进入之后再衰减 LR」：dense 上 Two Stage 的最优衰减覆盖 MT 窗口最后 40%，Zero-then-Linear 覆盖最后 20%，两者都优于 Const 与 MDR。MoE 侧还观察到 expert load 随 router 适应 MT 数据而重排。理论部分用噪声二次目标上的 SGD 证明，常数 LR 下把 MT 全放末尾是最优的，衰减足够强时这个最优性会丢掉。

对大模型数据工作的影响：配比消融必须把 LR 排期写进实验配置，只报「我们的配比更好」的对照实验也许只是撞上了某个 LR 排期。更实用的一条是退火时机的账：LR 衰减开得太早，后置的高价值数据会在小步长上被浪费掉，MT token 的边际收益直接打折。MoE 训练里 router 对 MT 数据的适应过程值得单独监控，数据排期改动会连带改变专家负载分布。

相关链接：https://arxiv.org/abs/2610.29348

用 agent 当语料调试器：2.8 美元扫出 FineWeb2 斯洛伐克语 5.32% 的内容农场

事件概述：FineWeb2 这类多语流水线把同一套配方铺到上千种语言，单种语言的失效模式没人逐一看。这篇论文换了个用法——把 LLM 当语料调试器而不是分类器：一个带工具的 agent 通过只读、有预算的 API 探索语料，把每条发现编译成可执行测试，再由母语者验证。

技术细节：对象为 FineWeb2 的斯洛伐克语部分，共 26,470,482 篇文档。三次独立运行分别花 2.21、约 2.5 和 2.84 美元，产出 7 条发现、覆盖 4 类现象。最大的一条是托管在 *.firebaseapp.com 与 *.web.app 上的机器生成内容农场，1,408,437 篇，占语料 5.32%，横跨 2,851 个 host；其中 1,220,394 篇（86.6%）连更严的组合阈值都能通过——三个辅助语言标识符一致、language_score 不低于 0.9、去重簇大小不超过 2。按 Common Crawl 快照看，这类内容 2022 年之前几乎不存在，到 2023-06 快照占到该快照的 38.7%，去重阈值上没有任何一篇农场文档触及。盲评人工标注支持 7 条中的 6 条，缺陷率落在 0.53 到 1.00 之间，随机对照为 0.08；剩下那条 slo.* 选择器缺陷率 0.07，与随机对照无法区分，被标为未通过并保留在报告里。编译出的测试套件无 GPU、0.7 秒扫完 2650 万篇文档，对比的是每跑一遍 LLM 全量分类要 1.2 万到 9 万美元。作为对照的静态采样基线以不到一半的成本验证出比任何单次 agent 运行更多的选择器，agent 的增量价值在精确流行率、经抽样核对的精度估计、对「流水线为何漏掉这一片」的解释，以及可复用的测试本身。

对大模型数据工作的影响：单语言语料审查的成本从「训一个分类器」降到几美元一次的量级，按语言批量巡检在经济上成立了。产物形态也值得换：把发现固化成可执行断言，回归成本与运行次数解耦，语料每次重建都能重跑。论文给出的边界要记住——静态切片基线在覆盖率上并不输 agent，两者是互补关系，不是替代关系。

相关链接：https://arxiv.org/abs/2610.31636

教师偏好能穿过预训练传下去，数字频率本身就够当载体

事件概述：subliminal learning 指教师模型的偏好能通过表面上无关的数据传给学生。此前结论主要来自后训练的对话模型，这篇论文把它搬到真实预训练基模上，检验「共享初始化、语料、规模、架构」这些条件哪些是必需的。

技术细节：实验用 Pythia-160M、PolyPythia-160M 与 DataDecide 的 OLMo 系列。hard-label 蒸馏让微调后的教师生成数字序列，学生直接在这些序列上训练；soft-label 走 on-policy 的 GKD，学生取 Pile 文档前 64 个 token 作前缀采样续写，冻结教师给出每个位置的下一 token 分布，损失取 reverse KL（β=1，全词表计算）。结论里有两条对数据工作最关键。一条是共享初始化与预训练条件都不是必要条件：教师与学生在初始化、数据顺序、语料、参数规模、架构全不相同的情况下迁移依然存在，全参数微调配朴素 SGD 也能复现，LoRA 与自适应优化器不是前提。另一条是载体比想象的更低层：把教师的数字序列替换为仅匹配其数字频率、与 prompt 和前序数字都无关的合成序列，hard-label 下的迁移大部分保留（Pythia 保留得多，OLMo 少一些）。top-K soft-label 里把动物名 token 从损失中剔除会大幅削弱迁移，同模型设置下仍有残留。按预训练 checkpoint 拆开看，「会传」与「会接」是两种分开发展的能力，某些 checkpoint 是更强的教师却是更弱的学生，角色对调时迁移幅度呈强不对称。

对大模型数据工作的影响：蒸馏语料的验收不能停在关键词过滤。数字分布、长度分布这类低层统计就足以携带偏好信号，而它们通常不在过滤规则里。凡是用更强教师做 on-policy 蒸馏的链路，都该把偏好审计列为数据验收项，而不是默认「过滤过就干净了」。

相关链接：https://arxiv.org/abs/2610.30884

用谱可预测性 Ω 挑合成预训练数据：控制住了指标，没控制住迁移

事件概述：合成预训练该用哪些合成数据？一个直觉上干净的判据是让合成源的谱可预测性 Ω 与目标域匹配。作者对这条判据做了系统检验，拿到的主要是负面结果。

技术细节：Ω 定义为 1 减去归一化谱熵，周期信号趋近 1，白噪声趋近 0。目标域取 ETTm1，逐通道估计的 Ω 落在 0.36 到 0.76。合成源有两个：sine-plus-noise（靠谐波与宽带分量的配比调 Ω）与混沌 ODE 轨迹（从候选系统里挑经验 Ω 最接近目标的一个积分得到，除 ±0.01 的 Ω 误差外波形结构与目标毫无关系）。实验在 LSTM、PatchTST、TCN 三种架构、三个随机种子上做两阶段：先在匹配 Ω 的合成数据上预训练，再用同一组超参在 ETTm1 上微调，测试窗口是第 46,080 到 69,679 行。合成到合成的理想条件下，Ω 匹配能超过 oracle 基线，LSTM 上 MSE 降 46.8%，收益已经呈现架构依赖。换到真实 ETTm1：sine-plus-noise 在匹配 Ω 下三架构平均只提升 2.3%（个别通道最高 65.5%），同样做了 Ω 匹配的混沌 ODE 轨迹系统性劣化 13.2%。两个源对「迁移方向是正是负」的判断只在 53% 的配置上一致，相关系数 r = −0.02，等于说 Ω 几乎不携带哪个源会带来正迁移的信息。作者还观察到对 Ω 缺口方向的响应存在架构依赖的不对称。

对大模型数据工作的影响：用一个标量统计量做合成数据准入，容易得到「指标对齐了、效果没对齐」的结果。合成数据选型要落到多指标加小样本实测，先在小预算上跑通迁移方向，再决定放量。

相关链接：https://arxiv.org/abs/2610.30802

LongZero：长上下文 RL 数据由被训练模型自己造，不依赖外部语料和更强的教师

事件概述：长上下文推理的强化学习需要长、多样、够难且可验证的数据，人工标注昂贵，自然数据不够撑住 RL，现有合成路线又依赖外部语料或更强的教师模型。LongZero 的做法是让被训练的那个模型自己出题、自己筛。

技术细节：流程先让模型以紧凑结构化形式写出「问题 + 支撑证据 + 答案」，再单独把证据展开成长文档，答案因此在构造上就是正确的，不依赖外部语料、人工标注或教师模型。筛题只保留「不稳定带」，即多次采样时对错不一致的问题。Qwen3-8B 保留自身出题的 13.1%，Qwen3-4B-Thinking-2507 保留 17.7%，前者要多造一些才能凑够同样的数据量。训练集为 2,304 条推理问题配 1,152 条检索对话，按 2:1 混合。RL 用 GRPO（verl 实现），Qwen3-4B-Thinking-2507 跑 72 步、Qwen3-8B 跑 108 步，约 1.3 和 2 个 epoch，每步 64 个 prompt、每个 prompt 8 条响应，最长 32,768 prompt token 与 8,192 response token。五个长上下文基准上，LongZero 在两个基模上平均分都最高，且在 5 个基准里的 4 个超过两条对照基线：一条是 LoongRL 的 Enhanced HotpotQA（5,120 条难度过滤后、上下文扩到 16K 的 HotpotQA），另一条是让 Qwen3.5-397B-A17B 出题并验证、基于 Ultra-FineWeb 文档簇的教师合成数据。消融显示两类数据互补：推理单用能拿到 LB1 与 FRAMES 的大部分提升，在 AA-LCR 与 LongReason 上低于基线；检索单用拉低平均分；2:1 混合在 5 个基准的 4 个上最优，且在所有基准上都不低于基模。工程细节上，世界规模估计超过 27.5K token 的丢弃，文档长度目标 Qwen3-4B-Thinking-2507 为 2,400–2,700 词、Qwen3-8B 为 4,000–4,500 词，超过 14,000 字符的按段落边界截断，文档里泄漏指令（如「facts to embed」）的重新生成一次、再犯就丢弃。

对大模型数据工作的影响：合成成本随策略规模走，而不是随教师规模走，这条对「教师越强数据越好」的常见假设是直接反例。397B 教师出题的数据没赢过 4B 模型自造的数据，差别在难度校准：LongZero 的题目由策略自己写、构造即可验证、按策略当前的通过率筛选，与外部语料上的题目相比更贴合策略的能力带。做合成数据管线时，「按被训练模型的通过率校准难度」比「换更大的出题模型」更值得优先投入。

相关链接：https://arxiv.org/abs/2610.30132