数据工程观察 · 2026年10月31日
算力对齐后合成前置训练从未赢过自然语言，换一个初始化方案对基线的改善（9.0%）比合成课程本身（5.4%）更大；数据受限 scaling law 的旧处方会给出损失随算力上升的荒谬曲线，超参幂律迁移加集成把它拉回单调；2118 本教材拆成 38 万条保留章节结构的证明监督，SFT 六基准均值 +16.7 个百分点；BPE 词表本身就是训练语料的成员推理指纹，现有防御在生产级词表上持续泄漏；预训练语料 0.1% 毒率即在 4B agent 上植入远程代码执行后门，攻击成功率 92.7% 且随规模上升。
数据工程观察 · 2026年10月31日
本期聚焦预训练数据的五个切面：合成前置训练的投入产出账本、数据受限时代的扩展处方、教材语料的结构化改造、tokenizer 暴露的语料成员关系、预训练语料投毒的安全边界。五篇工作分别来自 arXiv 10 月 30 日批次（cs.LG 372 条 + cs.CL 175 条，去重 509 条），以下逐条拆解。
合成前置训练的账本：算力对齐后从未赢过自然语言
事件概述：一篇题为 Rethinking Pre-pretraining 的论文系统复查了「pre-pretraining（PPT）」——在正式预训练之前先用合成课程热身的做法，结论是：在算力对齐的对比里，把算力投给合成 PPT 从未胜过纯自然语言训练。
技术细节：作者覆盖四种 PPT 课程（k-Dyck、神经元胞自动机 NCA、声明式参考语料、代码）与三种训练制度：数据受限（固定 100M token 的 FineWeb 样本，与 Muennighoff 等人的设置对齐）、数据不受限、高 token 参数比制度（881M 参数吃 50B token，约 57 token/参数，NCA 与 k-Dyck 各占 1% 即 500M token）。三条硬结果：其一，自然语言稀缺时，对 100M token 语料重复多轮 epoch 在自然语言验证损失上击败全部合成课程；其二，先前文献报告的 NCA 收益（5.4% 困惑度改善）只在原始初始化方案下复现，把 token embedding 初始化从 N(0,1) 换成谱系方案后基线自身改善 9.0%——超过被报告的增益本身，PPT 与基线变得不可区分；其三，PPT 阶段学到的东西在随后的自然语言训练中被遗忘（相边界处 BPB 立即回升），把合成数据均匀交错进全程训练可以止住遗忘，却换不来自然语言性能的显著提升。当 PPT 获得额外算力（而非分走自然语言预算）时，小预算下收益存在，到 1B token 消失。
对大模型数据工作的影响：「合成数据无限供给」的叙事在热身阶段被算力对齐实验打了折扣——预算紧时应优先榨干现有自然语言语料的重复轮次。更实际的教训是初始化敏感性：换一个 embedding 初始化方案带来的基线改善（9.0%）比合成课程本身（5.4%）更大，评测任何数据配方前先固定并调好初始化，否则收益归因会整体错位。中训练（mid-training）团队在做合成课程插入决策时，交错投放优于阶段切换，阶段切换的遗忘成本在论文里被直接量化了。
数据受限扩展的处方修正：超参迁移 + 集成，把非单调损失曲线拉回单调
事件概述：Improving Data-Constrained Scaling with Hyperparameter Transfer and Ensembling 指出，现有的数据受限 scaling law 处方存在一个反直觉病灶：算力预算加大时，compute-optimal 损失不降反升。论文用两条修正把这个曲线拉回单调。
技术细节：病灶的成因有二。第一，过往工作把 weight decay 等关键超参在规模扫描中固定不变，而最优超参随模型规模与 epoch 轮数剧烈变化；第二，过往工作忽略了集成——数据受限时少数几个还能继续吃算力的轴之一。修正一是把最优超参建模为数据量 U、模型规模 N、epoch 轮数 R 的幂律并做迁移拟合，其中最优 weight decay 随 N 与 R 一起增长，学习率沿用 μP 迁移但补上了缺失的 decay 处方；修正二是把集成成员数量纳入 scaling law，让富余算力流向多模型平均而非单模型多轮过拟合。在 100M FineWeb token 上，新配方相对旧处方的验证损失改善超过 0.15 nats（困惑度降 14%，10^20 FLOPs 处约 0.20 nats），并在集成轴上实现随算力单调改善。处方全部在小算力 rung 上拟合，最大在 12 倍算力上验证有效。
对大模型数据工作的影响：数据受限 scaling law 是多轮训练配比的决策地基，这篇工作提示地基里的超参假设需要重审——固定 weight decay 做出的「最优 epoch 数」结论会随规模失真，甚至给出损失随算力上升的荒谬处方。对正在做高 epoch、小语料（垂域语料、回补语料）训练的团队，两条现成可抄的动作是：decay 随 N、R 上调的幂律迁移规则，以及把富余算力预算划给模型集成而非拉长单模型训练。
TOME-Math：2118 本教材拆成 38 万条结构化证明监督
事件概述：TOME-Math（Textbook-Oriented Mathematical Evidence）把 2,118 本大学数学教材转换成 380,292 条结构化证明监督记录（205,861 条 Proof QA + 174,431 条 Gap QA），覆盖 29 个数学学科，语料将公开发布。
技术细节：与常见「题目-解答拍平」的做法不同，流水线保留教材原生结构：章节顺序、命题-证明链接、依赖引用、来源出处逐条入库。抽取侧用一个状态机逐页判定页面归属（当前章/下一章/内部边界），歧义分配先重试再更新章节状态；Proof QA 来自显式命题-证明单元，Gap QA 来自证明中缺失的证明义务。训练侧的对照实验把「数据组织」从「数据规模」里剥离出来：按教材顺序的课程学习、结构引导的检索、更广的来源覆盖各自贡献可分离的收益。全量微调把六个基准的非加权均值从 29.17% 拉到 45.83%（+16.7 个百分点），聚合口径下超过三个公开指令数据基线；仅做结构引导检索而不更新参数也能看到一致收益。
对大模型数据工作的影响：数学监督数据的默认生产方式（拍平成孤立 QA 对）丢掉了教材自带的课程结构与证据结构，这篇工作把这两类结构做成可训练、可消融的信号，验证了「组织方式本身是免费的增益」。对垂域语料（法律条文、医学指南、工程手册）的改造是直接的模板：章节层级、条款引用、前置依赖三件套可以照搬抽取框架。课程顺序在 SFT 里生效这个结果，对「上游数据要不要保留文档结构」这个长期争论给出了一票正面证据。
Tokenizer 会说话：BPE 词表本身就是语料成员关系的指纹
事件概述：Tokenizer Tokens Tell Training Tales 提出，BPE tokenizer 的词表本身就是其训练语料的成员推理（membership inference）通道——不需要访问模型权重，看词表就能判断某候选数据集是否进过 tokenizer 的训练语料。
技术细节：核心观察是 BPE 的合并阈值机制：一个罕见字符串要成为 token，必须有足够的语料频率把它推过合并门槛。据此，成员信号应出现在「候选数据集里高频、背景语料里罕见」的 token 的存在性与频率上，而非合并发生的先后顺序。论文把这个直觉形式化为 BPE 包含的阈值模型，似然比检验的最大权重恰好落在背景罕见、候选高频的 token 上；merge 序位与合并图位置在控制 token 存在性与频率后不再贡献一阶信号。实例化方法 RTAM-Fusion 用影子 tokenizer 校准罕见 token 质量，跨稀有度层级融合信号，在 tokenizer 成员推理基准上以更少的影子 tokenizer 超过 Vocabulary Overlap 基线的 AUC 与平衡准确率。防御侧（剪枝低频 token、随机化合并顺序）在自适应攻击者面前、在生产级词表规模上持续泄漏成员信号。
对大模型数据工作的影响：tokenizer 通常被视为无害的预处理件，这篇工作把它升级为语料取证与合规审计的攻击面/工具面。对内，开源 tokenizer 的团队需要把「词表泄露训练语料构成」纳入发布前评估——版权语料、未公开合同语料的痕迹会留在词表里；对外，数据审计方获得了一个低成本通道：不碰权重、不碰训练日志，只对 tokenizer 做成员推理就能验证语料清单的真实性。防御方案的失效结果意味着这条路目前没有便宜的地板可铺。
预训练投毒植入 Agent 后门：0.1% 毒率、4B 模型 92.7% 攻击成功率
事件概述：Agentic Backdoors via Pretraining Poisoning 首次端到端验证：污染公开网络爬取的预训练语料，可以在部署后的 CLI agent 里植入远程代码执行后门——触发词出现时执行攻击者指定的命令，干净输入下行为完全正常。
技术细节：作者从零预训练 Qwen3 架构的 0.6B/1.7B/4B 三个规模（100B token 语料），再用干净管线做后训练成 CLI agent。毒化设计采用「声明式」文档：以自由文本在语料文档中陈述触发词-payload 规则，让模型学到一个足以跨上下文迁移的信念。0.1% 毒率下，GRPO 后的 Pass@32 攻击成功率随规模单调上升：4B 达 92.7%，1.7B 达 51.9%，0.6B 达 13.1%；普通字符串触发词（用户请求里的一条寻常路径）拿到 92.7%，注入式罕见字符串触发词拿到 10.5%。干净提示下的 payload 输出率为 0.0%，无触发版本注入任务上低于 0.06%——隐蔽性与有效性兼备。毒率压到 0.0005% 时攻击成功率仍为正。
对大模型数据工作的影响：这是「语料清洗是安全工程」最硬的一份实证：爬取语料的供应链里，攻击者只需注入千分之一量级的文档，就能穿过 SFT 与 RL 阶段在 agent 上留下可执行的触发通道，且攻击成功率随模型规模上升——越大越容易中招。对数据管线的直接要求有三条：来源可信度分级（声明式规则文档这类模式要做入库前检测）、触发词-命令共现的统计筛查进入去重/清洗阶段、以及后训练管线的污染回归测试。Agent 化部署越多，这条攻击面的优先级越高。
本期五篇串起来是一条数据生命周期主线：进训练池之前（投毒筛查、成员取证）、在池子里怎么配（受限扩展、初始化归因）、进了池子怎么组织（结构化教材、合成交错）。10 月 30 日批次里另有一批值得追踪的边缘条目——LM 数据归因设计空间的系统评测（2610.40655）、带验证的合成数据统计理论（2610.40254）——篇幅所限留待下期。