数据工程观察 · 2026年11月06日

引言

本期五条动态里，一条来自产品发布（百度开源文心 5.5 Flash Base，33.5 万亿 token 预训练），四条出自 arXiv 11 月 5 日批次（v1 提交日为 11 月 3 日至 4 日）。摆在一起看，主题是数据工程里”责任”的迁移：语料进了池子会带来什么副作用，第一次有了量产级的研究素材；数据不够时算力怎么补，预注册实验给出干净答案；监督信号该落在哪些 token 上，KL 曲率给出选择依据；评测数据集的生产，专家从执笔者退到了批评席。规模本身也在刷新账面。

文心 5.5 Flash Base 开源：33.5 万亿 token 的预训练账本

事件概述：11 月 5 日，百度开源基座模型 ERNIE-5.5-Flash-Base（Hugging Face 已可获取）。MoE 架构总参数 2800 亿、每 token 激活 140 亿，预训练用了 33.5 万亿 token，预训练上下文 128K，微调与推理阶段支持最长 100 万 token。官方称在知识、推理、数学、代码、多语言与长上下文等基准取得同尺寸 SOTA，对标 DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base。

技术细节：模型围绕效率做系统性优化。注意力侧的 Latent-Gated Sparse Attention 把混合稀疏注意力、低秩门控注意力与虚拟头注意力（VHA）组合起来：HCA 与 MLA 分层承担历史压缩与细粒度访问，低秩门控复用已有低维表示，门控投影权重参数减少 75%，VHA 训练期提升表达力、推理期融入算子开销极小。路由侧的 Multi-Router Latent MoE 用多个独立路由器共同选专家，压低单一评分偏差的影响。训练目标侧的 ECHO 不新增 MTP 模块，复用主干最后一层学习预测后续 token，单步预训练后这一层直接充当投机解码的草稿模型，多步起草质量优于辅助 MTP 模块。基建侧配套分布式 Muon 优化器与面向大 head dim 的 FlashMask-4 注意力算子。

对大模型数据工作的影响：33.5 万亿 token 给同尺寸模型的数据供给立了新参照点，做 token 预算与配比规划的团队可以直接对标。报道与开源页尚未披露语料构成、清洗口径与合成占比，这部分要等后续技术报告；1M 上下文的微调推理窗口，对长文档语料的切片、去重与污染检查提出新口径要求。

相关链接：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base、https://www.qbitai.com/2026/11/507787.html

DSSE：把「训练数据的意外副作用」变成可量产的研究对象

事件概述：Transluce 与 UC Berkeley（含 Jacob Steinhardt、Sarah Schwettmann）提出自动发现「有意外副作用的数据集」（DSSE）的管线，产出 6,575 个 DSSE 覆盖 8 种行为——此前全文献里手工构造或偶然发现的案例只有几十个（对照表里五个先行工作合计 90 例）。

技术细节：DSSE 的三个目标：诱发目标行为、读起来像普通的后训练数据、让人类审计者读到时感到意外。三者都用 LLM 裁判打分，搜索走进化、强化学习、subliminal learning 三条路线。管线分两阶段：先用便宜的代理目标做大范围搜索，再用更贵的 held-out 裁判重打分过滤（引出效果换 claude-opus-4.8 复评，自然度用 gpt-5.6-terra 做两两比较拟合 Bradley–Terry 评分），专门防第一阶段被 reward hacking。每个 DSSE 只含 150 行训练数据，全部对着一个 1.7B 小模型优化，多数仍能跨模型族与规模迁移（llama-3.2-1b/3b、qwen3-4b/8b 验证）。人的预测能力是短板：ML 研究者猜数据会诱发什么行为只有 63% 的准确率（随机 50%），前沿 LLM 到 86%。全部数据与 DSSE-1.1（18 行为扩展版）公开在 dsse.transluce.org。

对大模型数据工作的影响：这批数据第一次把「语料的暗面效应」从个案传说变成有 6,575 个样本的测试床，数据审计工具的验收集有了现成来源。对入库前扫描环节，论文给出一个直接可抄的信号：人读不出来的副作用，前沿模型读得出来——训练数据的例行 LLM 审计值得升级为部署前的标准动作。

相关链接：https://arxiv.org/abs/2611.06324、https://dsse.transluce.org

Loop Before You Leap：100M 词预算下，循环换不来数据

事件概述：一篇预注册研究检验「循环深度（looped Transformer）能不能缓解数据受限的预训练」：在 BabyLM 式 100M 词预算下，12 层堆叠重复 4 次对比标准 48 层 Transformer，纯文本训练 BLiMP 高 5.4 个百分点（多模态高 3.7 个点），这笔收益是推理算力换的；参数对齐的 12 层对照里差距只有 0.95 个点（76.16 对 75.21），三个种子下统计不显著。

技术细节：同一套实现跑六个条件、每条件三个种子。图像用冻结 DINOv2 编码器压成单个 prefix token，caption 词计入预算——多模态训练顺带改变了语言数据本身。多模态对两种架构的伤害几乎同量：BLiMP 掉约 3.8 个点，循环没有缓解。拆解最有信息量的一步是无图对照：用多模态版的语言数据与 batching 调度训练的模型比纯文本基线低 5.7 个点，加回视觉 prefix 平均找回 1.85 个点——多模态掉点的主要来源是语言数据构成与 batching 的变化，不是图像干扰。视觉确实被用到：打乱特征诊断让成绩明显下滑。

对大模型数据工作的影响：数据预算收紧时「加循环不加数据」是一条可行路径，代价记在推理算力账上。对做数据配比实验的团队，这条研究的方法论价值更大——多模态语料实验里不控制「caption 词挤占预算」与 batching 变化，测出来的模态效应会归因错位。BLiMP 之外各任务的效应方向并不一致，验收别只盯单一基准。

相关链接：https://arxiv.org/abs/2611.06206、https://arxiv.org/html/2611.06206

GIST：离线 RLVR 该监督哪些 token，KL 曲率给出依据

事件概述：港科大（广州）团队提出 GIST（Gibbs-Targeted Hierarchical Data Selection），对离线 RLVR 的固定响应池做响应级与 token 级两层选择。在 Qwen3-0.6B / Qwen3.5-2B / Gemma-4-E2B-it 三个模型、GSM8K / MATH-500 / MBPP-full 三个基准、BOLT / SFT 两种训练目标下，30 个设置里 29 个提升，平均成绩比 BOLT 高 1.26–2.55 个点、比 SFT 高 1.11–4.41 个点。

技术细节：出发点是 KL 正则 RLVR 的 Gibbs 最优策略：用双向 KL 散度度量当前策略与目标的失配，这个失配在参考策略处精确分解——正确响应走 forward 项、贡献集中在低概率 token，错误响应走 reverse 项、集中在策略高频生成的高概率 token。GIST 用训练前就能拿到的信号近似这套原则：采样温度选出 on-policy 的正确响应与贴近策略众数的错误响应，初始策略的 token 概率决定只监督失配所在的 token。受控对比（Qwen3-0.6B/GSM8K，同一候选池）里它赢过七个选择基线，监督 token 比全量训练少 66.6%、比随机选择还少 31.5%，优化器步数省 49.9%。掩码外的 token 留在上下文里但不计损失。

对大模型数据工作的影响：这条工作把「数据量」换成了「监督位置」：温度与初始概率都是数据构造期就算得出的量，选择可以完全离线预计算。对 RL 数据池的预算规划是直接利好——同一批 rollout，监督开销砍三分之二、成绩反升。基线对照里 ProFit 保概率 ≥0.1 的 token（96.9%）、ETS 保最高熵的 20%：「该监督谁」这个此前靠直觉的旋钮，现在有了带证明的选择器。

相关链接：https://arxiv.org/abs/2611.06395、https://arxiv.org/html/2611.06395

SME-C：专家只写批评，LLM 负责重写

事件概述：微软团队在金融商业简报领域验证 SME-C（Subject Matter Expert Critique）工作流：411 名金融从业者在两轮问卷里对 520 条 query 的候选回复给出 3,853 条批评，100 名新专家的盲测显示两种 LLM 精修策略都显著超过专家自选的最优基线回复。

技术细节：流程四步：生成候选回复，专家做轻量批评（不改写、只指出问题与偏好），人工主题分析与 LLM 模式分析并行提炼，产出评测 rubric 与两种精修——critique 式按专家书面批评定向修改，vote 式只拿偏好投票反推「好的长什么样」。两种路线分工清晰：critique 式的改进更贴领域，vote 式更擅长砍无关内容（一个跑题到企业愿景的 1,643 词回复被压成 478 词的聚焦答案，critique 式保留了大部分冗余）。收益集中在原本较弱的回复上；盲测里被选为最佳的 critique 式回复，52% 的评分者认为无需再改（vote 式为 42%）。

对大模型数据工作的影响：评测数据集的生产换了分工：专家从「写数据」退到「批评数据」，瓶颈工时压到轻量判断，LLM 承担全部重写。对垂域数据团队，这条路线把专家标注的规模天花板抬了一个量级；「弱回复收益最大」的分布特征给分级清洗一个直接策略——低分档优先送精修，高分档保持原样。

相关链接：https://arxiv.org/abs/2611.05749、https://arxiv.org/html/2611.05749

结语

五条动态连成一条线：规模刷新到 33.5 万亿 token，副作用有了一批可以反复实验的语料样本，稀缺预算下的架构收益被预注册实验拆出真实大小，监督信号的位置选择有了带证明的选择器，专家在数据生产里的角色收缩成批评。数据工程的重心正在从攒数据转向解释数据——一份数据进了池子会带来什么、一段监督给到哪个 token，两笔账现在都有人算得清楚。