数据工程观察 · Vol.168

数据工程观察 · 2026年11月05日

量具先校准：BPB 的分词器偏置、词表死 token 冻结训练、输入管线决定合成语料配方、30 万份出院小结结构化、相似度标签近半误判

2026年11月5日数据工程预训练数据分词器 BPB 词表嵌入合成数据语料发布医疗数据标注质量幻觉检测

引言

本期五条动态出自 arXiv 11 月 4 日批次（v1 提交日为 11 月 2 日至 3 日），共同点是都在审数据工程里”用来量数据和处置数据的工具”本身：token 计量的尺子（BPB）被拆出三个迷思，词表里的稀有 token 嵌入被查出静默冻结训练的病灶，预训练语料的可迁移性被归结为一条与输入管线绑定的原则，一条抽取管线把 30 万份出院小结变成结构化表格，幻觉检测的自动标签被量出接近一半的误判率。量具的误差先于数据的误差，这是本期想传递的判断。

BPB 不是中性尺子：分词器度量的三个迷思

事件概述：斯坦福的 Schaeffer 与 Koyejo 发文，逐一拆解分词器研究文献里的三个流行信念——BPB（bits-per-byte）与分词器/词表大小无关、更低 BPB 意味着更好的模型、不同”分词器无关”指标给出一致结论。

技术细节：迷思一的拆法是用未训练模型做对照：随机初始化的模型在标准基准上 BPB 能随词表变化超过 6 bits/byte，准确率却停在随机水平——模型什么都没学，分词器–模型对已经拿到了”起跑优势”，BPB 对分词器的偏好来自 tokens-per-byte 与 bits-per-token 两个因子的乘积，二者并不相消。迷思二借用 TokEval 的 85 个分词器训出的同构 24 层网络（0.98B–1.60B 参数、9.0B–10.5B token）验证：BPB 与下游任务的 Pearson 相关在多数基准上很弱，去掉一个离群分词器后没有任何相关系数移动超过 0.093。结构性原因在于正确答案的码长可精确分解为”给出选项、选中正确项、拼写出来”三项，而准确率只读中间项。迷思三最狠：unigram-normalized loss 与 BPB 报告过 0.989 的相关，剔除模型规模这个混杂因子后跌到 0.057，两套指标在同一数据上为每个模型尺寸选出不同词表。作者进而给出”分词器三难定理”：没有任何指标能同时做到只给真实分布最高分、相同预测相同得分、所有未训练模型打平——选指标就是选研究问题。

对大模型数据工作的影响：凡是用 BPB 跨分词器比较语料配方或数据混合效果的工作，结论都要重新过一遍秤。数据侧更直接的教训是：词表扫描实验里”BPB 最低点”不能当作数据效率的代理，Tao et al. (2024) 那条用 BPB 差支持的分词器定律，其 Table 2 被本文附录逐项证伪。做 token 预算和语料配比的人需要意识到，换词表之后光看 BPB 变化，有相当一部分来自度量工具本身。

词表里的死 token：近零嵌入让门控模型静默丢弃五分之一的更新

事件概述：华盛顿大学圣路易斯分校与南开大学的团队普查了 291 个开源权重仓库（280 张去重后的嵌入表），发现 52.6% 的未绑定权重的门控/混合架构检查点（20/38）存在范数低于 1e-6 的可达输入嵌入，权重绑定模型中这一比例为 0%。这些”死 token”会在 Mamba、Gated DeltaNet、xLSTM 一类门控序列模型里触发梯度爆炸，把整批更新清零。

技术细节：病灶的成因在数据与训练的交互处：预训练语料中从未出现（或只以模板形式出现）的 token 拿不到输入梯度，AdamW 的权重衰减却每步都在收缩未绑定的输入嵌入行，范数一路降到 1e-6 以下（实测最低 1e-36）；输出侧有梯度撑着，绑定权重的模型则完全免疫（OLMo 2 的做法是干脆关掉嵌入层的权重衰减）。灾难在门控模型里发生：当前 token 的读出因子（SiLU 门或线性 query）在零输入处消失，历史状态读出被压垮，残差 RMS 跌破 RMSNorm 下限的平方根，Pre-RMSNorm 每层把反向梯度放大 1e3 倍，单个近零 token 能把输入嵌入梯度放大 30–35 个数量级；任何梯度项超过 1.84e19 就会让 PyTorch、HF Trainer、FSDP2 的 FP32 全局范数裁剪溢出为无穷，再把整批梯度清零。Nemotron-3-Nano-4B 的泰卢固语持续预训练实测约 20% 的步数被这样丢弃，触发行的嵌入冻结在原地，损失曲线看不出异常。两个修复都不加开销：GroupClip 给已发布检查点解耦嵌入裁剪（三行代码，一步愈合触发行）；GateFloor 在预训练时给 SiLU 门加 δ∈[0.01,0.1] 的正偏置，370M 参数规模内把近零梯度砍掉 28 个数量级以上，困惑度与基线持平。

对大模型数据工作的影响：这条研究把”词表覆盖率”从数据质检的软指标变成了硬故障源。语料里低频脚本字符、罕见 chat 模板 token 的覆盖统计，直接决定检查点里会不会埋雷；对做小语种持续预训练的团队（词表里大量 token 在原语料中零出现），上线前扫一遍嵌入范数分布是零成本的保险。混合架构（Jamba、Nemotron-H、Falcon-H1、Kimi Linear 都在此列）适配新语言或新模板时尤其要查。

预训练数据能不能迁移，由输入管线说了算

事件概述：首尔国立大学团队提出”迁移不变性原则”：语料的某个性质在一种输入变换下无关紧要，在另一种变换下可能是决定性的——决定哪些数据性质起作用的，是模型的输入管线而非数据模态。

技术细节：作者先用三个性质刻画语料——结构（耦合强度与有效秩）、维度、每个单元取值的分布形状——再构建 TransferForge 生成器，把合成种群摆到耦合 0.06–0.67、有效秩 1.8–41 的任意位置，分布形状单独匹配；Chronos 用的合成先验 KernelSynth 只会抽独立序列，做不到这一点。两组实验给出干净的对照：PatchTST 在 UCR 上逐窗口 z-score 标准化时，分布形状不起作用，结构设定主导迁移，合成语料追平同规模真实语料、放大后反超；POYO Plus 处理未归一化的钙成像 ΔF/F 信号时，形状变成支配性约束，形状匹配的合成语料以零真实神经活动数据替换了全真实预训练（0.407 对 0.386）。只翻转输入归一化、模型与数据全部固定，同一形状操作的效应变化 5.3 倍——管线而不是模态在拨开关。论文最后给出”先选合成哪个轴再训练”的配方，对未测模态给出预测。

对大模型数据工作的影响：合成预训练数据工程多了一条可操作的设计准则：先审计目标模型的输入管线（归一化、编码方式），再决定合成数据要在哪个轴上逼真。形状匹配在无归一化管线里是硬约束，结构匹配在标准化管线里才是重点，这对”合成数据该仿什么”的争论是一个降维打击式的回答。真实数据稀缺、昂贵或涉密的领域（医疗、工业时序）可以直接按配方造替换语料。

MIMIC-Note-Extract：30 万份出院小结变成可查询的结构化表

事件概述：一组研究者在 MIMIC-IV-Note 的 300,720 份出院小结上跑混合抽取管线，把 16 个临床小节转成结构化表格并公开发布 MIMIC-Note-Extract（MNE），医生抽检的抽取准确率各节均高于 92%。

技术细节：管线的设计原则是”确定性解析优先、schema 引导的 LLM 生成兜底”，按小节动态选择规则法或模型法，在算力开销与临床精度之间做平衡。产出填补了 MIMIC 结构化表的空白：既往病史条目是原有表格的 10 倍，用药史覆盖的入院数翻倍以上，13 个小节（从入院前史到体格检查）拿到无对应结构化来源的字段。基于这套结构化数据，作者用结构化字段过滤自动选例，搭了一个 10,000 例、19 个病种的 LLM agent 临床决策基准，对照 MIMIC-CDM 的 4 病种 2,400 例是数量级的提升，且 agent 工具（查病史、查体、开化验、开影像）返回的是精确字段而非整段原文。

对大模型数据工作的影响：这是”一次抽取、全场复用”的样板——此前每项用 MIMIC 叙事数据的研究都要自建抽取管线，重复劳动被压缩成一次公开交付。对医疗 LLM 团队，MNE 直接提供了中训练/微调的高密度监督来源与现成的 agent 评测集；对更广的数据工程，它示范了规则与 LLM 分工的混合抽取在 30 万文档量级上能过 92% 的专业验收线，这个配比对任何”自由文本转结构化”的语料生产项目都有参考价值。

幻觉检测的”真值”标签：BLEURT 误判率近半

事件概述：一项系统性研究审计了幻觉检测评测里自动构造标签的可靠性：15 个自动监督裁判（judges）、7 个检测基线、2 个生成模型、2 个 QA 数据集、5 种语言（英/印地/孟加拉/泰米尔/泰卢固）的交叉实验显示，检测结果随标签来源大幅波动，人工校验揭示 BLEURT 一类相似度裁判的标签误判率接近一半。

技术细节：通行做法是把模型生成与参考答案的相似度分数按阈值切成”幻觉/真实”标签，这隐含着”相似度可代理事实性”的假设。人工验证推翻了它：QGen-9B（生成式裁判）整体误判率最低，12.86%；BLEURT 为 47.23%，BLEURT-n 为 47.32%——三种都是学术评测里的常客。失败模式有二：英语回答与参考事实矛盾但表面重合高，被标为真实；泰米尔语的正确意译相似度低，被标为幻觉。BLEURT 的英文中心监督、无界分数区间、相似度度量而非事实性度量的出身，都被列为病灶。检测器在不同标签源下的表现差异大到”检测器排名”本身不稳定，作者据此要求幻觉检测研究报告标注裁判来源并做人工校验。

对大模型数据工作的影响：这条结论的射程远超幻觉检测本身。任何用相似度阈值批量构造训练标签的管线——RAG 语料的质量过滤、指令数据的验收、合成数据的真伪标注——都在同样的假设上工作。近半误判率意味着这类标签喂进训练循环，错误不是被放大而是被当作信号学走。挑裁判时优先考虑生成式核验而非嵌入相似度，给多语言语料配语言对齐的裁判，是两条立刻能落地的修正。

结语

五条动态摆在一条线上：量 token 的 BPB 自带分词器偏置，词表里的稀有 token 自带训练隐患，合成语料该仿什么由输入管线决定，文本转表格的精度卡在 92% 的专业验收线，相似度标签的误判率逼近一半。数据工程的下一程竞争不在囤更多数据，而在把每一件量具的误差函数先写清楚——尺子准了，配比、去重、合成的账才算得明白。