数据工程观察 · 2026年11月04日

引言

11 月 2 日提交的 arXiv 批次里，数据侧论文的共性非常清楚：token 供给不再便宜。五条工作分别处理数据受限时代的五个环节——同一批 token 的复用与停止时机、小模型零分时如何预测下游能力、语料里只出现一次的事实承担什么角色、优化器选型如何依赖数据预算、转写稀缺时怎样白手起家造语料。本期逐条拆解。

多 epoch 预训练有了自己的 scaling 理论：集成对冲重复训练的后期劣化

事件概述：UT Austin 的 Zhen Yang、Blake Bordelon 与 CMU 的 Yidi Miao 给出首个针对固定数据集多 epoch SGD 的动力学平均场理论（DMFT），把「重复训练从第几个 epoch 开始伤害验证损失」变成可计算的量（arXiv 2611.03590）。

技术细节：语言模型实验跑在 FineWeb 的 100M token 子集上。验证损失呈 U 型：固定模型尺寸时，最优点落在 9–14 个 epoch；模型变大时最优 epoch 数从 21 降到 6，语料尺寸扫描只把它从 14 挪到 9——最优复用次数对模型规模远比对语料规模敏感。集成是解药：logit 平均的 4 模型集成在匹配参数-token 预算下，比双倍宽度的单模型低 0.16 nats/token，对更宽或更深的单模型普遍低 0.12–0.20 nats；可减损失按集成规模 E^-1 衰减。理论部分追踪 epoch 间与模型间的误差相关性，给出算力分配律：数据固定时，集成数随算力增长至少要跟单成员训练时长同速，超额损失按幂律下降。

对大模型数据工作的影响：Chinchilla 式一次性训练处方假设 token 无限供给，这套理论写的是它的续篇。对语料工程直接可用的结论有两条：复用的最优停止点是模型尺寸的函数，配比实验报告 epoch 数时必须连带模型规模；「训一个两倍宽的模型」与「训四个小模型取平均」之间存在明确预算边界，数据受限的团队该把集成列进算力分配的备选。

相关链接：https://arxiv.org/abs/2611.03590 、https://arxiv.org/html/2611.03590

Hinted Scaling Laws：往基准里泄露一部分答案，把零分小模型拉回可外推区间

事件概述：Stanford tatsu-lab（Percy Liang 组）提出 hinted scaling laws：小模型在 GSM8K、AIME 这类基准上接近零分，标准 scaling law 没有趋势可外推，那就用「提示」把基准变成一族由易到难的连续版本，让小模型也能得分（arXiv 2611.02270）。

技术细节：三种提示机制——截断（把参考解的前 H 比例放进上下文，措辞回避最终答案串）、掩码（参考解随机遮掉 1−H 比例的词）、logit 混合（更强的教师模型参与解码采样）。Delphi 预训练梯子上，只用不超过 1e20 FLOPs 的模型拟合，预测 1e23 FLOPs 模型的 GSM8K 准确率（25.9%）误差在 3 个点以内；标准 scaling law 用同一批模型低估 13 个点，把 1e22 FLOPs 的模型放进拟合仍差 12 个点。GSM8K、AIME、HLE 三个基准的中位预测误差从 21 个点压到 4.3 个点。排序能力同样受益：单次 hinted rollout 对模型的排序精度约等于五次无提示 rollout。

对大模型数据工作的影响：数据配比实验一直靠预训练损失当下游能力的代理，这条路线让「直接预测下游准确率」变得便宜。要求是基准侧要有可复用的参考解语料——提示机制本身就在消费高质量解答数据。作者给出的成本背景很实在：UK AISI 的网络攻防评测单次 rollout 花 3000–5000 美元，省四次 rollout 就是省几万刀。局限也要看清：五个模型家族里只有 Delphi 是严格单一数据配方的 scaling ladder，跨家族外推的归因还不够干净。

相关链接：https://arxiv.org/abs/2611.02270 、https://arxiv.org/html/2611.02270 、https://github.com/tatsu-lab/hinted-scaling-laws

Monofact 率：语料里只出现一次的事实，决定模型的科学发现能力

事件概述：JHU 与 Microsoft、Apple 的合作团队（Daniel Khashabi、Eric Nalisnick 等）把「LLM 的科学发现能力从哪来」归因到训练数据的 monofact 率——整个语料中恰好出现一次的事实占比（arXiv 2611.03617）。

技术细节：理论起点是 Kalai–Vempala 的缺失概率质量框架：monofact 占比是 Good–Turing 估计的缺失质量下界，直接下界幻觉率；发现按定义同样取自缺失质量。论文引入「可能真理的前沿」刻画科学域的结构，推导出由前沿模糊度支配的发现–幻觉交换率，并证明发现率被同一个 monofact 统计量上下夹住。受控实验在 gpt-oss-20b（知识截止 2024 年 6 月）与 gemma-3-12b-it（截止 2024 年 8 月）上做两阶段训练：第一阶段用三个独立采样的 20K 样本集，第二阶段 4K 样本并蒸馏 Claude Opus 5 的推理轨迹（材料 6,865 条、基因组 6,000 条）。两个域——按目标性质生成化学式、按调控活性生成 DNA 序列修改（Gosai 2024 MPRA 数据，晚于两个模型的知识截止）——发现率（精确恢复真值）随训练集 monofact 率单调上升，跨模型家族、训练阶段、pass@1/pass@16、推理预算全部一致；训练集多样性解释不了这层关系；搭配域内数据时跨域迁移成立。

对大模型数据工作的影响：这条结果直接打到语料清洗的默认假设。去重管线压掉的是重复样本，monofact 结构是剩下那副骨架——而骨架的形状既托着发现能力，也托着幻觉下界。清洗配方从今往后面对一个显式权衡：压幻觉和留发现共用同一个旋钮，「把去重当免费午餐」的说法站不住了。做领域语料（材料、生物、化学）的团队多了一个可操作的语料设计指标：按 monofact 率分层配比，而不是只看总 token 数与多样性指标。

相关链接：https://arxiv.org/abs/2611.03617 、https://arxiv.org/html/2611.03617 、https://github.com/ardauzunoglu/discovery

预训练数据规模反转 Muon/AdamW 微调差距；Muon 缩放权重衰减的增益九成是调参差距

事件概述：11 月 2 日两篇论文同日拆 Muon 神话。CMU（Aditi Raghunathan、Jacob Springer 组）发现数据预算超过某个规模后，AdamW 预训练的模型微调反超 Muon（arXiv 2611.03633）；Esther Xin 等独立研究者的复测发现 Muon 缩放权重衰减的增益约 90% 来自调参差距（arXiv 2611.02529）。

技术细节：03633 预训练 OLMo 风格 30M–600M 模型，DCLM 语料从 150M 拉到 154B token，WSD 调度。OLMo-60M 在 StackMathQA 上微调：2.4B token 时 Muon 的学习–遗忘前沿占优，38.4B 时反转为 AdamW 占优——Muon 的预训练损失在所有数据预算下都更低，却没能保住下游。交叉点用 token–parameter 比（TPR）刻画，模型越大 AdamW 反超所需的 TPR 越小。解释量是 margin-to-spread ratio：正确 logit 高出错误 logit 的幅度除以错误 logit 的离散度；线性联想记忆模型里证明了 GD 的 MSR 相对 Muon 随数据预算增长，语言模型上的测量与微调趋势镜像。02529 用 MAI-Base-2 协议对 Muon-SW 与常数解耦权重衰减做 LR·WD 乘积联调（MoE 阶梯 1.9M–15M 激活参数，token/激活参数比固定）：共享超参时 Muon-SW 赢 0.035 BPB（折合 1.52 倍算力），双方调优后只剩 0.0026 BPB（1.03 倍），约 90% 的优势消失；残余优势真实存在（最小尺寸下四对种子全部偏向 Muon-SW），且随模型规模从 10% 涨到 21%。

对大模型数据工作的影响：优化器选型的结论强依赖两个数据侧变量——token 预算与调参空间。抄开源配方前先问清楚这两项，不然照搬的是别人的预算区间。做优化器对比实验的团队从此多一个报告义务：给出交叉 TPR，比报单点胜负信息量大得多；Muon 类方法的论文宣称「1.5 倍算力节省」时，先核对基线调没调参。

相关链接：https://arxiv.org/abs/2611.03633 、https://arxiv.org/html/2611.03633 、https://arxiv.org/abs/2611.02529

GigaSpeech 3：60 小时人工标注起步，造出 39,000 小时阿拉伯方言弱标注语料

事件概述：上海交大、清华、阿里 Token Foundry、SpeechColab 等团队（Junzhe Liu、Yujie Tu、Yifan Yang 等）发布 GigaSpeech 3：覆盖阿尔及利亚、埃及、伊拉克、沙特、叙利亚五种方言的 39,000 小时、1,000 万段弱转写语料（arXiv 2611.02476）。

技术细节：起点是每方言 60 小时人工转写。用 ASR 偏置的自监督学习训练方言专属标注模型，转写方言匹配的 web 音频，再经数据选择与 noisy-student 迭代精炼（沙特与叙利亚方言跑了四轮，SAU 词错率从 13.13 降到 12.12）。产出质量分两层验收：GigaSpeechBench 上方言专属模型宏平均词错率 23.86%，比覆盖五方言的最强第三方系统相对降 16.6%，其中三个方言直接超过第三方最好成绩——学生模型全面反超了自己的标注模型；多方言模型（自预测方言身份）25.51%，附带现代标准阿拉伯语支持。外部泛化上，三个外部语料的八个条件下，GigaSpeech 3 训练的 Zipformer 在六个被评模型中全部最低，Qwen3 语音识别器在其上适配后八个条件全部提升。语料与配方随论文开源。

对大模型数据工作的影响：这是「数据稀缺→造数据」的标准作业流程范本：小金标种子、领域偏置 SSL、迭代自标注、通道隔离与多维过滤，每一步都可复刻。验收思路尤其值得抄：弱监督生产线的质量用「学生反超老师」来定义，比抽检转录准确率硬得多。做低资源语言或垂直领域语料的团队，拿到的是一套带数字的工程路径，不是一份愿景。

相关链接：https://arxiv.org/abs/2611.02476 、https://arxiv.org/pdf/2611.02476 、https://huggingface.co/datasets/speechcolab/gigaspeech3 、https://github.com/Antares-97/GigaSpeech3

结语

五条工作站在同一个前提上：token 与标注都不再便宜。复用要有停止时机的理论，预测要绕过零分陷阱，语料构成要管到只出现一次的事实，优化器对比要报数据预算，造数要有「学生反超老师」的验收。数据工程的角色从「把爬虫开大」一路升级到「给每个环节立可证伪的账本」——这正是本期五条论文共同指的方向。