数据工程观察 · 2026年11月02日

上期落在「配方与验收」，本期顺着这条线往两头各走一步：一头是训练之前的阶段该不该存在——一份算力对齐的实验把「预预训练」合成课程的整体收益打上问号；另一头是训练之后的数据治理——数据溯源方法在受控基准上暴露出聚合方式的系统性缺陷。中间夹着两条产业动态：NVIDIA 把 46 万小时多语言语音的清洗管线连同清单一起开源，Hugging Face 牵头把公共科研数据推向 AI-ready 格式。外加一份 60 语言安全语料的模板化合成方案。周末 arXiv 无新批次，论文选题出自 10 月 29 日提交的三篇。

合成「预预训练」被算力对齐实验证伪：Rethinking Pre-pretraining

事件概述。Alexander Stern、Tim Rocktäschel 等人提交《Rethinking Pre-pretraining》，用算力对齐（compute-matched）实验检验「先用合成数据做预预训练（pre-pretraining, PPT）、再上自然语言」这条路线，结论是负面的：在他们的全部设置里，把算力分给 PPT 从未超过纯自然语言训练。

技术细节。实验覆盖四种 PPT 课程（k-Dyck 语言、神经细胞自动机、声明式参考语料、代码）与三种训练状态（数据受限、数据不受限、高 token 参数比——881M 参数模型喂 50B token）。核心发现有三层：其一，自然语言稀缺时，对 1 亿 token 语料做重复 epoch，在自然语言验证损失上赢过所有合成课程；其二，此前文献报告的 PPT 收益对权重初始化方案敏感——复现 NCA 实验时，原方案下 PPT 带来 5.4% 困惑度改进，换一种初始化后两种方法都变好、无 PPT 基线提升更多，差距收拢；其三，模型会在后续自然语言训练中遗忘 PPT 学到的东西，把同一批数据穿插到全程训练能阻止遗忘，但自然语言性能没有显著提升。

对大模型数据工作的影响。「预训练前再加一个合成数据热身阶段」的叙事流行过一阵（用玩具语法或代码课程引导归纳偏置），这篇工作给出一份系统的负面证据。对数据团队的意义在于预算分配：与其划出一块算力跑合成课程，不如把同样的算力投给自然语言数据的重复训练或多过几个 epoch。论文没有否定合成数据本身的价值——后训练、智能体轨迹、领域适配这些场景的合成管线不受此结论波及，被质疑的只是「独立于自然语言之前的那个训练阶段」。

相关链接：

• 论文：https://arxiv.org/abs/2610.40051
• HTML 全文：https://arxiv.org/html/2610.40051v1

MIT 拆解 LM 数据溯源的设计空间：证据在文档里是局部的

事件概述。MIT Bau 实验室提交《Elucidating the Design Space of LM Data Attribution》，研究语言模型数据溯源（data attribution）方法为什么失效，用受控基准找出两个被忽视的设计选择，把事实溯源的召回率拉高 35 到 72 个百分点。

技术细节。现有评估在下游任务上同时变动多个数据集属性，无法定位归因算法的失效原因。团队推出 Controlled Attribution Benchmark（CATT）：在完全虚构的知识上微调 LLM，让溯源的真值没有歧义，再逐一改变文档冗余度、词汇干扰项这类单一配置。两个发现：冗余和干扰项持续降低溯源性能；训练文档内的真实因果证据高度集中在少数 token 上，标准方法把分数在整个文档上平均，等于把证据稀释进噪声。修正方案不改估计器——把计算梯度的交叉熵损失换成负对数几率（negative log-odds）损失，让关键 token 从无信息 token 中显形，再只聚合最高分的 token。该修正迁移到 FTRACE-TREX 基准后，所有被测方法的反事实重训练表现最高提升 4.9 倍。

对大模型数据工作的影响。数据溯源是数据治理的工具层：合规审计要回答「这条输出受哪些训练文档影响」，记忆删除要定位携带特定知识的样本。这篇工作的直接启示是，文档级平均的归因分数天然低估局部证据，做训练数据影响分析时值得换用负对数几率梯度加 top-token 聚合的组合。CATT 用虚构知识构造真值的思路，也给「如何评估数据管线里的归因工具」提供了一个可复用的范式——先在无歧义的合成环境里测准，再上真实语料。

相关链接：

• 论文：https://arxiv.org/abs/2610.40655
• CATT 项目页：https://catt.baulab.info/

NVIDIA 开源 Granary v2：46 万小时语音数据的四段清洗管线

事件概述。NVIDIA 发布 Nemotron 3.5 Transcribe 开源权重语音模型，同步公开其背后的数据管线 Granary v2：463,062 小时、48 种语言、16 个来源语料库的公开清单（manifest），上一代覆盖 25 种语言。管线基于 NeMo Curator 构建，代码与清单都可直接复用。

技术细节。管线分四段：音频准备（切分、说话人跟踪、声学事件与语言标注）、转写（每语言配置主备两个 ASR 模型，主模型过不了幻觉检查就回退，人工参考转写用于保留可信拼写）、任务标签生成（导出三种转写形态——原文逐字、含填充词的逆文本规范化、去填充词版本，再检查字符率、幻觉模式与模型-人工一致性，只有通过的记录才配上下文 ASR 偏置词和翻译）、高保真过滤（剔除噪声、削波、多说话人片段——VoxPopuli 语料经此从 35.4 万小时压到 11.1 万小时）。模型侧，Transcribe 用 Mamba-Transformer 混合 MoE 架构，30B 参数中每 token 激活约 4B，在 Hugging Face Open ASR 英文榜以 5.33% WER 列开源权重第一。医疗案例中，基于 Granary v2 微调把留出说话人上的 WER 相对最优 prompt 再降 45.8%。

对大模型数据工作的影响。Granary v2 的价值不在模型榜单位，在于把「语音数据从原始录音到训练样本」的完整决策链开源了：哪种 ASR 输出可信、什么字符率算异常、哪类片段只配进 ASR 训练而不配进高质量子集，每一步的过滤标准都可审计。这种「管线即文档」的发布方式值得文本数据团队借鉴——公开的不只是数据清单，还有每条记录的质量标记与来源信息（provenance）。做语音数据或想做多模态数据质量分级管线的团队，这套四段式结构可以直接拿来对照。

相关链接：

• 博客：https://huggingface.co/blog/nvidia/nemotron-transcribe-granary
• Granary v2 数据集清单：https://huggingface.co/datasets/nvidia/granary-v2

Hugging Face 发起 Project ProtoStar：公共科研数据推向 AI-ready 格式

事件概述。Hugging Face 联合卡内基梅隆、普渡、佐治亚理工、亚利桑那州立、乔治·华盛顿五所大学（经由 Open Forum for AI 联盟）、Astera Institute 与 ORCA 发起 Project ProtoStar，目标是让公共资助的科研数据集、模型、代码以机器可用的格式发布。首个挑战赛 Climate Risk Intelligence 由 CMU 主办，11 月 2 日开赛。

技术细节。背景数据：美国联邦政府每年投入约 1,900 亿美元研发经费，NIH 与 NSF 已强化公共获取要求；Hugging Face 当前托管 17,000+ 个核心科学领域公开数据集（含医学与数学约 29,000 个），2026 年前九个月新增科研数据集数量是 2025 年同期的三倍以上——剔除最大单一上传者后增长依旧显著。平台侧的另一个数字：90% 的数据集下载来自文档齐全的数据集（该统计出自 arXiv:2401.13822）。NCBI 的 18 个组织仓库累计下载超 1,100 万次。首个挑战赛要求参赛者用 210 个美国城市截至 2018 年的历史气象数据预测 2019 至 2026 年的实际状况，预测四个城市规划指标（年均温、年降水、年度最热日、制冷度日），与统计基线（历史均值、线性趋势）对比。

对大模型数据工作的影响。科研数据是高质量专业语料的下一座矿，但「公开」不等于「可用」——散落在不兼容系统里、静态或遗留格式、缺文档与出处信息，这三类问题正是 ProtoStar 要处理的。对训练数据团队的直接意义是供给端：参与机构以备忘录形式承诺把数据集发成 AI-ready 格式，意味着未来几年基因组学、地球观测、气候这类领域会出现一批带元数据、带出处、可直接进抽取管线的数据集。文档齐全度与下载量的强相关也再次印证数据工程的老经验——数据集的文档质量本身就是分发能力。

相关链接：

• 官宣博客：https://huggingface.co/blog/announcing-project-protostar
• 项目主页：https://huggingface.co/project-protostar

MSafeTemp：模板化合成 60 语言安全训练语料

事件概述。Max Neuwinger 等人提交《How I Aligned Your Model: Scaling Up Multilingual Safety Training with Templates》，发布覆盖 60 语言的安全对齐语料 MSafeTemp，配套一条可扩展的模板化增广管线。

技术细节。管线三步：从有害 prompt 中抽取安全模板，翻译到目标语言，再用「文化上真实的实体」（有害与无害两类）填充槽位，产出大规模多语言拒答与良性语料。评估侧的发现比语料本身更有信息量：仅用英文评测会误判多语言安全性——若干模型的攻击在英文下失败、翻译过去就成功；文化本地化变体暴露出纯翻译测不出的失效。用模板增广的安全训练数据做对齐，在英文以外的语言上取得更好的安全性表现，且数据多样性与质量同步提升。

对大模型数据工作的影响。安全对齐语料的语言覆盖长期偏向英文，低资源语言受害最深。这条管线的可取之处在于合成策略的层次划分：不是端到端生成整个样本，而是把「结构」（模板）与「内容」（文化本地实体）解耦后分别控制——结构保证格式一致性，实体槽位保证文化覆盖度。这个解耦思路可迁移到其他领域的合成管线：只要能定义「结构 + 可变槽位」，就能用小得多的种子数据撬动多语言扩展。英文评测不足以代表多语言安全水位这一点，也该写进所有多语言数据工作的验收清单。

相关链接：

• 论文：https://arxiv.org/abs/2610.40516
• HTML 全文：https://arxiv.org/html/2610.40516v1

五条动态连起来看：训练前的合成热身阶段被算力对齐实验打回原形，训练后的溯源工具拿到受控基准与两个设计修正，语音与科研两座数据矿各自拿到开源的清洗与发布基础设施，安全语料合成则示范了结构与内容解耦的扩展路径。数据工作的重心正从「攒数据」转向「每一步都经得起对齐实验与受控基准的追问」。