数据工程观察 · 2026年11月11日

本期抓取 arXiv cs.LG 与 cs.CL 新批次（11 月 10 日发布，去重后 349 条），核查了 Hugging Face Papers、Hugging Face Datasets、Databricks、Anyscale、LanceDB、The New Stack、GitHub Trending、机器之心、量子位共 11 个固定源。工业侧与国内发布（Databricks 的 Spark 4.3、Anyscale 的 GLM 训练吞吐、Kimi-K3.1-Pro 开放权重、蚂蚁灵波的触觉基础模型）都没有披露训练数据口径，按惯例不入选，窗口内的强相关条目全部来自 arXiv。

五条动态对应数据管线上五本没记进主账的账：低精度训练的账要换算成曝光次数，子群配比的账要换算成最差组准确率，多语言词表的账要换算成每种语言的序列长度，合成数据的账要换算成组合复用能力，AI 起草语料的账要换算成返工量。每一本都能用数字核。

FP4 预训练的暗账：loss 没动，罕见事实多花三成曝光

事件概述：低精度训练配方普遍用验证 loss 做验收标准。独立研究者 Chang Lu 与 Mengjiao Zhang 的工作（2611.12832）指出这套标准漏了一项：loss 持平不代表学到的知识一样多。模型在 4 位精度下记住一条罕见事实，要比 BF16 多看几遍。

技术细节：团队从零训练 transformer，用模拟的 4 位矩阵乘法跑合成传记语料——每条事实的曝光次数受控，传记单独训练或混入网页文本。NVFP4 格式要 1.32 倍与 1.52 倍的曝光次数才能追平 BF16 的回忆率，两条配置的验证 loss 差距只有 0.5% 和 2%；把两个模型都换回 BF16 矩阵乘法评测，成本仍有 1.26 倍与 1.30 倍。机制上，零均值梯度噪声复现了只量化反向传播的成本；把噪声只喂给 Adam 的二阶矩估计，效果等价于调低学习率，成本随训练消退；噪声进入更新则压低信噪比，约三分之二的成本持续到训练结束——提高学习率补不回来。BF16 检查点的梯度统计量不需要拟合就能给各格式与部分量化方案的成本排序，与实测的 Spearman 相关达到 0.96。

对大模型数据工作的影响：这把「换 4 位精度省了多少算力」的账算到了数据侧——省下的计算要用 1.2 到 1.5 倍的曝光次数补回，对长尾知识（低频实体、冷门领域事实）最吃亏。数据配比团队做重复数据消除（dedup）与多 epoch 复用预算时，精度维度要进同一张表：低精度配方下的去重阈值与重放次数不能沿用 BF16 时代的经验值。验收指标也要加一项——loss 曲线旁边放一条罕见事实回忆率曲线。

相关链接：https://arxiv.org/abs/2611.12832 、 https://arxiv.org/html/2611.12832

子群配比的暗账：均衡配置不是唯一最优解

事件概述：训练数据子群比例失衡导致模型在最差子群上翻车，通行解法是把各子群比例配平。普渡大学团队（2611.12884）从理论上问了一个前提问题：均衡是唯一的最优配置吗？答案是不是。

技术细节：团队扩展高斯特征模型框架，刻画一般训练子群分布下的性能地形。结论是多个配置——包括失衡相当明显的配置——能达到与均衡配置相当的表现。在此之上推导出基于梯度的子群比例调整方向，按这个方向改配比，比简单配平更高效地提升修正准确率与最差组准确率。实验覆盖合成数据集与标准数据集、图像与文本两类模态，系统变动训练配置比较不同调整方向的收益。代码开源于 GitHub。

对大模型数据工作的影响：大规模语料的子群维度——语言、领域、来源站点、许可证——想配平要么采集成本爆炸要么根本不可行。这项工作给出一条出路：不必追求均衡，按梯度方向把配比朝「最差组在涨」的方向挪，同样能买到鲁棒性。对数据配比管线意味着配比搜索空间不再以「均衡点」为锚，而要以性能地形为准——理论上均衡点周围是一片平台而非孤峰，采样预算可以省下来给失衡但便宜的配置。

相关链接：https://arxiv.org/abs/2611.12884 、 https://arxiv.org/html/2611.12884 、 https://github.com/zhaoyingpan/subpop-data-allocation

MoTo：每种语言一本词表，英语让出条目不见短板

事件概述：单一分词器在训练时定死，多数词表在英语主导语料上训练，形态丰富的语言与非拉丁文字被切得支离破碎——同样的内容折算成更多 token、更低的表示密度。多伦多大学与 Vector Institute 的 Gül Sena Altıntaş 与 Colin Raffel 提出 Mixture of Tokenizers（MoTo，2611.11027），给每种语言单独训 BPE，再拼成一套统一词表。

技术细节：每个语言专属分词器保留自己的规范化策略、预切分规则与词表预算，跨语言共享的 token 去重进同一 ID 空间，构成超集词表；按输入语言选分词器路由。验证实验从零训练 Llama 3.2 风格、约 10 亿非嵌入参数的模型，语料 100B token——40B 英语 token（FineWeb-Edu）加 20 种语言共 60B token（FineWeb2-HQ），采样率按 UniMax 策略设定，英语占训练预算的 40%。21 个语言各配 8K 词表时，超集词表小于 120K（理论上限 21×8K=168K，同文字语言的重叠子词摊薄了成本）。结果：21 种语言中 18 种稳定提升，覆盖 6 种文字系统，形态复杂的非拉丁文字语言收益最大；英语分到的条目大幅减少，表现不掉。另一个变体把 TokSuite 的 14 个现成分词器拼成 851,586 条的超集词表，用 ALBERT 式因式分解嵌入控制参数量。

对大模型数据工作的影响：token 预算是按语言收税的——同一段僧伽罗语或泰米尔语在英语主导词表下比在专属词表下多花几成 token，这笔税一直记在训练成本里但很少被单列。MoTo 证明路由式多词表不需要改模型架构就能把税收回去，对多语言语料的 token 计量、序列长度估算、上下文窗口折算都要按「每种语言一本账」重做。数据管线的工序也多了一步：语言识别不再是可选项，是路由分词器的前置依赖。

相关链接：https://arxiv.org/abs/2611.11027 、 https://arxiv.org/html/2611.11027

合成数据的暗账：练习题全对，组合使用掉 34 个点

事件概述：让模型自己生成训练数据时，生成器旁边放一份程序写好的完整解题过程，能让目标更短、更便宜。独立研究者 Jiantong Xu（2611.12225）用预注册实验量化了这份便宜的隐性成本：练习层面的准确率看不出问题，组合使用新规则的能力被砍掉一大截。

技术细节：一个 20 亿参数的推理模型学习两条自造的定量规则。生成上下文有两种——只看规则说明书，或说明书加一份程序写的解题过程；生成的目标按最终答案正确性验收，辅助材料在微调与评测时全部撤走。训练题只考单段正向使用，组合题要求同一条规则在两段里顺序复用。六轮之后，用程序校验的数值签名度量，只看说明书的目标在组合题上领先 24.3 个百分点（95% 自举置信区间 14.6–34.0）。未见过的参数值上，两组正向准确率完全相同（各 87.5%），组合准确率 58.3% 对 23.6%，差 34.7 个点（25.7–43.8）。独立抽样的第二组目标库重复了方向（+14.6，区间 2.1–26.0）。把带解题过程的目标训十轮、对齐只看说明书的六轮的领域 token 量，差距缩到 16.3 个点，第二组缩到 6.2 个点且预注册检验不再成立。实验有预注册记录与剂量对照。

对大模型数据工作的影响：合成数据管线的验收环节普遍用「答案对不对」过滤，这项工作说明答案验收放走了一批坏数据——模型照着解题过程学会了抄步骤，没学会把规则装进权重再取出来复用。对推理数据合成（尤其 STaR 类自生成流程）的直接改动是验收维度加一层：除了终答案，加程序化校验的组合泛化探针；生成器的上下文给多少辅助材料，是个要用组合指标定价的设计变量，不是免费的捷径。

相关链接：https://arxiv.org/abs/2611.12225 、 https://arxiv.org/html/2611.12225

SadaqahStories：AI 起草语料的返工账，41 篇里 39 篇有实质错误

事件概述：用大模型起草再人工审校，正在成为语料生产的默认流程，返工率却少有人量化。卡塔尔西北大学的 Wajdi Zaghouani 与 Spencer Striker 发布 SadaqahStories（2611.12078），一套英阿双语平行语料，把 AI 初稿、审校稿、儿童版终稿三个版本连同修订日志全部公开。

技术细节：语料是 41 篇配插画的四页故事，主题为伊斯兰慈善（Sadaqah、Zakat、Waqf），读者年龄段 7–18 岁。流程分四步：大模型辅助起草；对照圣训集、古兰经与史料审校；为儿童改写；由伊斯兰学者签字放行。每篇故事带证据标签与来源链接。审计结果是 41 篇初稿里 39 篇有实质错误——最常见的是无出处的具体细节（日期、数字、价格、人名）、编造的引语/机构/轶事、把不同事件或人物混为一谈；6 篇在宗教文本的措辞、分级或裁定上出错。改写把英文的 Flesch-Kincaid 年级从 14.0 压到 6.1。随语料发布一个 81 条目的慈善词汇表（标准阿语加卡塔尔阿语）与免费无账号网站。

对大模型数据工作的影响：95% 的初稿实质错误率给「LLM 起草 + 专家审校」这条管线定了价——审校不是走形式，是每篇都要逐条对源的工作量；没有证据标签与来源链接的 AI 起草语料，可信度无法核验。三版本加修订日志的发布格式更值得抄：AI 初稿本身是有价值的研究对象，错误类型分布（编造细节最频繁）直接可以当合成数据的失败模式教材。做领域语料（医疗、法律、金融）的团队照这套格式发布，等于附送一份可审计的数据质量说明书。

相关链接：https://arxiv.org/abs/2611.12078 、 https://sadaqahjourney.com 、 https://github.com/wajdiz/sadaqahjourney

收尾把五本账并起来看：精度账在曝光次数里，配比账在最差组指标里，词表账在每语言的序列长度里，合成账在组合泛化探针里，起草账在逐条对源的审校日志里。它们此前都躲在「loss 持平」「配比均衡」「单一词表」「答案验收」「AI 起草」这些默认值的后面，本期五条动态各自拆掉一个默认值，换成可核验的量。数据工程的成熟路径大抵如此——不是加新料，是把每个环节的隐性成本显性化，再逐项定价。