数据工程观察 · Vol.164

数据工程观察 · 2026年11月01日

Nemotron 3.5 公开 2.83T 印度语言合成语料与 654 亿 token 智能体中训练配方；Lev-3B 拆解日志数据配方的次序与干扰；CARED 给 AI 预标注加上分布漂移下的流式错误控制；628 篇综述加等算力复检揭示代码质量增益大半是预算效应；翻译版基准的增量效度检验。

数据工程 训练数据 继续预训练 中训练 合成语料 数据配比 数据标注 代码质量 多语言评测 Nemotron

本期五条动态串起来看，正好覆盖训练数据从配方到验收的完整链路：NVIDIA 把工业级模型的继续预训练与中训练配方连同语料一起公开，IBM 团队在小模型上拆解「先教什么、再混什么」的数据次序，病理标注产线拿到分布漂移下的错误控制框架，两份关于代码质量与翻译基准的研究则把「验收标准本身」放到台面上审视。周末的 arXiv 无新批次，以下选题全部出自 10 月 28 日至 29 日提交的论文。

Nemotron 3.5 技术报告：2.83 万亿 token 印度语言合成语料与 654 亿 token 智能体中训练

事件概述

NVIDIA 发布 Nemotron 3.5 Super 与 Lightning 两款开源混合 Mamba-Transformer MoE 模型的技术报告（2610.38095）。Super 为 120B 参数、12B 激活的多模态模型，Lightning 为 30B 参数、3B 激活的文本模型。报告的数据章节首次完整披露了一条工业级「继续预训练 + 中训练」流水线：先做 100B token 的印度语言继续预训练（Indic CPT），再做 35B token 的 1M 上下文扩展，最后是 65.4B token、256K 序列长度的智能体软件工程中训练。配套的合成语料已在 Hugging Face 上线（受限访问）。

技术细节

Indic CPT 阶段的语料 Nemotron-Pretraining-Indic-v1 由 NeMo Data Designer 四阶段流水线生成：Gemma-4-31B-it 负责翻译、质量打分与重写，源文档主要取自 Nemotron-CC（限制在 4096 token 以内、整篇翻译不切分），译文按 0-100 打分，75 分以下触发「对照原文改写再复核」，保留翻译携带源文与质量元数据以便溯源。最终语料约 2.83 万亿 token（2,825.6B，Gemma-4 分词器计数），覆盖 22 种印度语言、34 种语言-文字配置，其中 12 种优先语言贡献约 2.50 万亿 token（含 224.6B 罗马化文本），10 种低资源语言贡献约 327B token。实际投喂只用了 100B token：10% 为合成与自然 Indic 文本，90% 沿用原训练配比。五个 Indic 基准全部上涨：MILU 72.48→77.90、MMLU-Pro 51.83→56.81、ARC-C 84.17→92.83、ARC-E 90.73→96.77、GSM8K 72.67→82.49（最高 +9.82 个百分点），英译印 chrF++ 从 35.43 升至 47.47，英文基准无回退。Lightning 上的固定 200B token 配比消融显示四基准均值随 Indic 占比单调上升：10% 得 63.1、20% 得 64.6、30% 得 65.6（基线 45.5），边际收益递减。中训练阶段 65.4B token 的混合料由完整代码仓库、issue-PR 对、提交历史、构建与 CI 日志、智能体轨迹构成；用同一段 33B token 实验性 SFT 对照测量，DeepSWE pass@1 从 6.4 升至 10.4，六个评测 harness 中五个全部改善，SWE-bench Verified 平均 +8.6 个百分点，Codex harness 上从 48.4 升至 61.8——中训练的最大收益不是标准基准，而是跨 harness 的稳健性。附录还披露了基准去污染配置：词级 8/13-gram 重复检测加 Qwen3-Embedding-0.6B 嵌入检索，512 字节窗口、256 字节步长。

对大模型数据工作的影响

这份报告给出了一条可复用的「语言扩展 CPT」参考配方：合成语料规模（2.83T）远大于实际投喂量（10B），把「生成得多、用得少」变成常态——语料库本身成了可复用资产，NVIDIA 承诺开放生成流水线并与 AI4Bharat 合作发布人工校验评测套件。作者自己点破了流水线的软肋：翻译与打分用同一个模型，打分器会偏爱自己风格的译文。做低资源语言扩产的团队可以直接对照这套「配比消融—能力保持—去污染」的披露格式来设计实验。智能体中训练的启示更直接：软件工程数据（仓库、PR、CI 日志、轨迹）按 256K 长上下文投喂后，收益集中在长时程任务与 harness 迁移上，训练侧需要为 256K 阶段造成的 RULER-1M 损失预留约 9B token 的恢复阶段。

相关链接

Lev-3B：日志决策模型的数据配方，先自然语言后日志

事件概述

IBM Granite 团队发布 Lev-3B（2610.38915），一个基于 Granite-4.1-3B-Base、带共享指针读出的 3B 决策模型，用于系统日志的异常检测与 ATT&CK 攻击技术分类。论文的核心贡献不是模型本身，而是它的两阶段数据配方与逐项消融：什么数据、按什么顺序、混多少，每一项对「见过的日志源」和「完全排除的日志源」分别贡献了什么。

技术细节

第一阶段不碰任何日志数据，只用有界自然语言决策任务训练，让模型先学会「在给定选项集上输出概率分布」这一接口。第二阶段混合三类日志数据：HPC 异常检测数据、带合成增强的 ATT&CK 父类技术分类数据、以及与两个评测任务都无关的通用日志数据（35 个辅助任务）。评测采用严格的源排除协议：HDFS 与 18 个 ATT&CK sourcetype 不进入训练、校准、模型选择任何一步。消融结果把数据间的干扰关系摆得很清楚：加入 ATT&CK 监督后 Spirit 异常检测 F1 从 91.8 掉到 77.5，加入通用日志数据后恢复到 88.3，两个排除源同步改善——HDFS F1 从 25.3 升至 43.3、AUPRC 从 0.25 升至 0.41、保留 ATT&CK 准确率从 34.3 升至 42.1。与前沿模型对照：Lev-3B 在已见 HPC 源上异常 F1 达 88-99，带五个示例的提示版前沿模型在 Spirit 上不超过 28、Thunderbird 上不超过 10；在排除源 HDFS 上 Lev-3B 的 43.3 仍是全场最高。代价是校准：HDFS 上它的自信错误几乎全是漏报（2,105 次漏检对 84 次误报），温度缩放能消掉误报、消不掉漏检。成本侧 A10G 按需实例上每千次异常检测 $0.2583，GPT-5.6 Luna 约贵 3-8 倍，Sol 约贵 60-180 倍。检查点、配方、数据清单与预测级产物全部开源。

对大模型数据工作的影响

这篇论文把 Skill-It 式的「数据次序影响学习效率」搬进了日志领域，并给出三条可迁移的配方规则：接口训练先于领域数据、任务间干扰要靠「与任务无关的多样性数据」对冲、评测必须包含从未参与任何适配步骤的排除源。校准部分给所有做小模型数据生产的人提了个醒：概率输出在熟悉分布上接近校准，换一个数据源就变成「自信地漏检」——数据配方决定的不只是准确率，还有错误的结构。对构建内部日志/安全数据集的团队，这份工作的源排除协议（训练、校准、模型选择三处全排除）比多数「留出测试集」的实践严格得多，值得直接照搬。

相关链接

CARED：分布漂移下把标注错误率钉死在阈值内的框架

事件概述

数字病理标注场景里，病理学家逐张切片推进时，细胞形态与类型构成持续变化，一次性校准的接受规则会失效。CARED（2610.40252，10 月 29 日提交）提出一个分布无关的「AI 预标注 + 随机专家抽审」框架：每个到达批次均匀抽取一部分样本送专家复核，用这些标签在线校准后续决策；未复核样本里，预测集大小不超过 1 的直接自动标注，其余返回候选列表交人工裁决。

技术细节

理论保证不依赖平稳性或可交换性假设：对全流与抽审样本之外的细胞，累计错误率都被控制在目标水平以下。默认配置抽审率 p=0.1、错误预算 α=0.1；抽审率降到 0.01 时轨迹仍能收敛到目标水平，只是收敛变慢（校准项按 ((1-p)/(pN))^{1/2} 缩放）。框架还支持类别条件保证——对罕见但重要的细胞类型单独控制错误率，并附带一个效用模块，在不破坏有效性的前提下提高自动裁决比例、缩小候选集。在胰腺、肺、卵巢三条标注流与一条真实专家标注流上，CARED 把累计错误压在阈值内，最高 70% 的细胞跳过了专家复核。

对大模型数据工作的影响

AI 预标注 + 人工抽审已是训练数据生产的标准姿势，但「错误率到底被控制住了没有」几乎没有方法给过流式保证——PAC Labels 与 Conformal Labeling 都依赖「标注数据的误差能代表新样本误差」这一在真实流水线里频繁失效的假设。CARED 的价值在于把抽审从「工程惯例」升级成「带证明的质控」：抽多少、怎么抽、何时能自动通过，都有了可计算的答案。对多语言、多领域语料的标注产线，类别条件保证一节直接对应「长尾类别被漂移 silently 淹没」这个常见事故。任何用 LLM 打标再人工抽检的团队都能在这套框架里找到自己流程的数学化版本。

相关链接

Beyond Passing Tests：628 篇研究加上等算力复检，代码质量提升技术大半是预算效应

事件概述

代码生成模型通过了功能正确性测试，不等于代码可读、高效、安全。一篇 55 页的系统综述（2610.38977）梳理了 2021 年 7 月至 2026 年 10 月间 628 篇主要研究，把各类「提升 LLM 代码质量」的技术按阶段、信号源、质量目标分类，再用等算力预算对代表性技术做了受控复检。

技术细节

综述侧的发现先给行业泼冷水：628 篇里只有 70 篇测过自己目标维度以外的任何质量维度；报告了目标增益的技术中，约四分之一的正确性不变、变差或参差，近三成干脆没报正确率。复检侧更狠：在 4、8、16 次调用的等预算下，带分析器加权排序的 best-of-n 采样在它不优化的指标上（复杂度、两个评审模型、CWEval、BaxBench 共 16 个格子）有 13 到 16 格不输质量提示、规划、自我精炼、评审智能体与检索——这些技术报告的增益大半是「多花算力」本身带来的。分析器循环与训练时技术只在自家分析器统计的问题数上显著超过 best-of-n，评审模型给分析器循环产出的代码在每个模型上都打分更低。正确性最高的两个模型上，几乎所有技术都让 HumanEval+ pass@1 低于单次调用，分析器循环最多降 9.94 个百分点；换成发布时间晚于一切截止日期的 LiveCodeBench Pro 题目，没有技术改变正确性——HumanEval+ 的损失更多是该基准疑似污染且强模型接近天花板所致。横跨 13 个当前模型，可维护性与安全性随模型能力上升，效率不升；仓库级任务上前沿智能体在约四成的 SusVibes 任务里写出能跑但不安全的代码。66 项头对头比较里，只有 1 项在自己的主目标上以超过 95% 置信区间赢过 best-of-n，22 项低于它。

对大模型数据工作的影响

合成代码数据的生产者每天都在做「过测试就收」的筛选，这篇综述证明这个验收标准有多脆：单维优化会被博弈（满足分析器却过不了人审），而看似朴素的最佳 n 选一在等算力下就是最强基线之一。对数据团队的操作性结论有三条：质量维度要全测（正确性是控制变量不是目标）；报告增益时必须对齐采样预算，否则增益是算力不是方法；HumanEval+ 这类疑似污染的基准不该再作为合成数据质量的验收口径。仓库级「能跑但不安全」四成的比例，也给代码语料的后处理（安全扫描、依赖审计）划出了明确的预算位置。

相关链接

Gold vs. Translation：翻译版基准到底测的是什么

事件概述

MMLU 的机器翻译版本被广泛用于非英语评测，EMNLP 2026 论文（2610.38788）把「翻译基准能不能替代母语基准」形式化为代理效度问题：在控制模型规模与语言能力之后，翻译版 MMLU 的分数对母语基准成绩还有没有增量预测力。

技术细节

作者在五个北欧与波罗的海语言上构造了七组「DeepL 翻译 MMLU 代理—母语基准」配对，每组评 29 个模型。排名一致性差异巨大：课程内容重叠的基准（如瑞典语 Skolprov）肯德尔 τ_b 高达 0.89，瑞典本地事实知识（SwedishFacts）只有 0.51。增量效度检验下，七组配对里四组稳健、两组边缘、一组为零——Skolprov 的 ΔR² 为 0.128（95% CI [0.038, 0.253]），SwedishFacts 的 p 值 0.242，翻译版 MMLU 对本地事实知识没有显著增量价值。作者坦诚指出 SwedishFacts 是唯一开放式作答的基准，本地内容效应与作答格式效应无法完全分离。

对大模型数据工作的影响

结论一句话：翻译基准在「源内容与目标评测内容重叠」时是好代理，本地锚定的知识测不住。这直接影响两件事：一是多语言模型的评测设计，用翻译版 MMLU 衡量「本地化能力」会把语言能力、通用知识与本地知识混在一个分数里；二是多语言训练数据的配比决策——如果验收用的翻译基准根本测不到本地知识，那么针对本地知识的语料投入就得不到正确的回报信号。「控制模型规模与语言能力之后的增量效度」这个检验框架本身，比结论更有复用价值：任何「代理指标 vs 真实目标」的数据管线（蒸馏教师分数、代理奖励、自动评测器）都适用同一套问法。

相关链接

五条连起来看：Nemotron 与 Lev-3B 负责数据的「怎么配」，CARED 负责标注的「怎么控」，后两篇负责验收口径的「怎么信」。配方端已经卷到「生成 283 倍于投喂量的语料当资产储备」，验收端还在为「过测试不等于好代码、翻译分不等于本地力」补课——数据工程的价值锚点正在从「搞到数据」转向「每一步都给得出账」。