数据工程观察 · 2026年11月12日

引言

本期五条动态指向同一件事：数据的价值不是一个常数。同一段文字，换一把 tokenizer 就换了价格；同一份语料，换一个基座模型就换了效用；同一组配比，换一个预算档位就不再是那条直线；连词表本身，也能拿模型自产的数据重写一遍。五篇工作出自 arXiv 11 月 11 日批次（v1 提交集中在 11 月 9 日至 10 日），分别把 token 税、语料效用、配比形状、词表再造这四个变量摆上了台面。

印度语言的 Token 税：同一句话，最多十三倍价格

事件概述：Havon AI 团队（arXiv 2611.13058）对九个公开 tokenizer 做了系统测量，把”同一内容在不同语言下要花多少 token”折算成卢比账单。测量覆盖 GPT-4、GPT-4o、Qwen2.5、DeepSeek-V3、Mistral-Nemo 与四款 Sarvam 模型，语料为 FLORES-200 全部 25 种印度语言的 2,009 句专业翻译文本，加上 PHINC 的 13,732 对 Hinglish-英语社交媒体翻译对。

技术细节：GPT-4o 的 tokenizer 下，同样内容印地语要 1.57 倍于英语的 token，奥里亚语 5.01 倍，桑塔利语的 Ol Chiki 文字达到 13.7 倍；GPT-4 的 tokenizer 最高 12.8 倍。Sarvam-30B/105B 是唯一在每种语言上都低于 2.6 倍的第三方 tokenizer（中位数 1.53）。团队还核了一件容易踩坑的事：DeepSeek-V4.1-Flash、V4-Flash、V4-Pro 的 tokenizer 与 V3 逐组件 SHA-256 一致，V3 的计数可以直接沿用。按 2026 年 11 月 5 日官方牌价推演，月 10 万次会话的客服机器人在 GPT-4o 上英语月费约 56,640 卢比，马拉地语 102,829，奥里亚语 283,601；DeepSeek-Flash 上马拉地语 20,384 卢比，约为英语 6,797 卢比的三倍。作者也把边界写清楚：模型间单价差异大于税本身（GPT-4o 的英语价是 Sarvam 105B 的 16 倍），税在同一模型内做语言对比时最扎手。形态学对齐一项更冷：对着开源的印地语、马拉地语词素切分集，没有一个 tokenizer 能把 35% 以上的词内边界落在词素边界上（boundary F1 最高 0.48）。

对大模型数据工作的影响：API 按 token 计费，tokenizer 的差异直接变成不同语言用户的成本差、延迟差和有效上下文差。做多语言语料配比时，“按 token 数配平”对高税语言是系统性歧视——同样的字节数，这些语言在训练混合里的信息密度被词表压低一截；词素边界对不齐则意味着模型学词内结构时拿不到干净信号。

相关链接：

• https://arxiv.org/abs/2611.13058
• https://arxiv.org/html/2611.13058
• https://github.com/HavonAI/indic-token-tax

Havon v4：多词合并，连英语也一起省

事件概述：同团队的姊妹篇（arXiv 2611.13059）给出解法——从零训练一个覆盖约 200 种语言的 tokenizer，在 GPT-4o 同等词表规模下，英语与全部 25 种印度语言用的 token 都更少。

技术细节：Havon v3 是字节级 BPE，262,144 词表，预切分规则保留组合附加符号与字母的绑定、给无空格文字按块切分。训练语料全部人写：约 195 种语言取自 FineWeb-2，22 种印度语言混入 Sangraha，英语取 FineWeb-Edu，合计 16.9 亿字符，为塞进 32GB 内存取各语言样本前 60%（约 10 亿字符）训练。v4 在 v3 上加第二阶段多词合并（SuperBPE）：恰好 200,019 词表（与 GPT-4o 的 o200k_base 同规模）时，英语比 GPT-4o 少 6.1% token，161/204 种语言更少，25 种印度语言全部更少（中位数 0.74）；262,144 词表时英语少 9.6%、182/204 更少；524,288 词表时 203/204 更少。代价写得很实：多词合并挤掉了 v3 最后 51,824 个子词合并，高棉文、缅甸文、藏文这类无空格文字在 26 种语言上反而变差（至多 3.5%）。v5 把只含 Python 的代码样本换成 The Stack v3 里 15 种语言、1.201 亿字符的宽松许可代码，代码类 token 比从 1.11–1.29 压到 1.03–1.22。一个反直觉对照：向英语重新倾斜数据预算，英语比率只从 1.07 挪到 1.06，赢的语言数反从 170 降到 162——加数据替代不了改架构。

对大模型数据工作的影响：tokenizer 是预训练前冻结的设计决策，这篇给出可复现的从零训练配方和明确的”哪里赚、哪里亏”清单。作者明说账面欠着一块：压缩结果之外，尚未用 v4 或 v5 训过模型，换词表的下游效应还没有验证。要做多语言预训练的团队，这组数字适合直接进 tokenizer 选型评审。

相关链接：

• https://arxiv.org/abs/2611.13059
• https://arxiv.org/html/2611.13059

同一份语料，救一个模型，伤另一个

事件概述：复旦大学联合港理工、川大、阿里与上交（arXiv 2611.13855）在 1B token 数学语料（MegaMath-Web-Pro 流式采样子集）上做了受控实验：同一份语料、同一套 NTP 训练配方，Llama-3.2-3B 在数学基准上提升，Qwen3-1.7B-Base 大幅退化——后者的 MATH-500 pass@16 从 76.6% 跌到 18.2%，avg@16 从 18.5% 崩到 1.5%。

技术细节：论文提出 On-Policy Mid-Training Distillation（OPMD），把中训练从离线模仿文本改成查询驱动的知识获取：用冻结代理模型（DeepSeek-R1-Distill-Qwen-1.5B）标出高熵锚点（top 5%），锚点前缀当作提示让演化中的学生策略自己 rollout（最长 512 token、上下文最长 1024 token），冻结教师对轨迹逐 token 给反向 KL 奖励，PPO 更新；512-token 窗口去重后，各消融臂统一降到 435,049 条训练序列。结果上，Qwen3-1.7B 学生配 Qwen3-4B 教师，MATH-500 pass@16 到 82.8%（+6.2 点）、avg@16 到 30.5%（+12.0 点）；14B 教师在 Minerva 拿到 36.0%（+5.5 点）。4B 与 14B 教师在等量 token 暴露下轨迹几乎重合（82.8% 对 82.4%）。锚点消融干净：高熵锚点峰值 avg@16 最高（31.9%），低熵锚点最弱（25.3%），随机锚点的峰值 pass@16 也能到 83.2%——范式本身对锚点选择不敏感。

对大模型数据工作的影响：这条实验直接击穿”语料质量是语料固有属性”的假设——语料的效用是模型条件的。中训练配方评审里，“这份语料在别家模型上验证过有效”不再是安全论据，换基座就要重跑小规模受控实验。锚点按熵挑选的结论还给出一个便宜的杠杆：先给语料算逐 token 熵，再决定在哪里下蒸馏的功夫。

相关链接：

• https://arxiv.org/abs/2611.13855
• https://arxiv.org/html/2611.13855

有限预算下，Scaling Law 不是直线

事件概述：LingQiong AI Lab 的 Tianyu Zhao 与 Zhixiang Ren（arXiv 2611.13534）给出一套预渐近分析：经典 scaling law 把超额风险写成模型容量与数据规模的分离幂律，有限预算下学习曲线与算力最优分配都会偏离这条对数直线，偏离量可以由谱结构与域异质性解析刻画。

技术细节：容量轴上，协方差预解式的 Mellin–Barnes 分析给出三项展开，谱模式与正则化模式的竞争产生有限尺度弯曲与对数过渡；在窄试点网格上拟合多重幂律是病态问题，作者用一阶 Aitken 差分消掉损失地板，得到良态的闭式初始化器。数据轴上，KKT 对偶把 K 域配比化成标量注水方程：快学域先饱和，慢学瓶颈域在大预算下主导剩余风险；序贯分配策略经 Radon–Nikodym 倾斜因子领先累计配比，较均匀采样省 35.2% 的总 token 预算。实证覆盖 Pythia（70M–12B，holdout MAPE 5.89%）、Chinchilla（245 组运行，高算力分配遗憾最多砍 76.4%）与 RegMix（17 域、1M 规模 512 组试点混合）：把线性 Ridge 换成分离单域幂律后，1M 域均值 RMSE 降 38.3%（0.4539 到 0.2803 nats），1B 零样本 Spearman 从 0.37 翻倍到 0.74，线性方法的 +0.1156 nats 选择遗憾被清零；整体跨尺度混合 RMSE 降 59.4%，选择遗憾为零。

对大模型数据工作的影响：小规模试点拟合、外推到大预算，是数据配比工作的日常；这篇的三个直接产出——Aitken 差分初始化器、注水方程的最优域份额律、把冻结超参造成的弯曲与真实尺度漂移分开归因的 Schur 分解——都是能落进配比工具链的组件。35.2% 的 token 节省出自受控谱系统，上生产前要按自家域结构重估；方向不假：静态配比在预算增长时注定次优。

相关链接：

• https://arxiv.org/abs/2611.13534
• https://arxiv.org/html/2611.13534

4.77GB 自产数据，把 27B 模型改成一字节一 token

事件概述：Landi Lab 两位研究者（arXiv 2611.13607）把 Qwen3.8-27B（48 层 Gated DeltaNet 加 16 层全注意力）的词表从 248,320 砍到 384——只留 256 个字节符号加特殊 ID，其余权重一字不动，再用 4.77GB 监督字节继续训练，把它变成纯字节级模型，不加补丁结构、不加局部编码器。

技术细节：动机是 Qwen3.8 的 BPE 在中文维基百科上平均每 token 只覆盖 3.84 字节、64% 的 token 是单个汉字，拼写、字符位置与数字的每一位对模型不可见。课程分两段：先从字符词典、词典与对话学”字与字节”的编码，再读人写的百科文本（占监督字节 54%）；全部对话与行为监督由原模型自己在策略上生成（自蒸馏，逐轮独立重答，只监督当前轮）。整轮训练在 8 张 H200 上跑 178.6 小时，约 1e21 FLOPs。结果交代得克制：非思考模式下 7 项里 4 项无显著差异，C-Eval 与 IFEval 掉 4–6 点；思考模式 GSM8K -4.0、C-Eval -4.5。换来的是字符级操作全线领先（CUTE +8.8、EXECUTE-zho +12.2、自建中文字符套件 +9.7）；字音、笔画数这类查找型知识下降，思考模式救不回来。代价一栏直白：每步速度不变，每步产出降 3–5 倍，中文字符每秒掉到四分之一，64K 字节 prefill 慢 6.5 倍。字节模型特有的失败模式——贪心解码跑飞、按字节采样打断 UTF-8、penalty 项对小词表失效、复读——各配了解码护栏与后训练治法。评测脚本开在 HF，权重与训练语料暂不发布。

对大模型数据工作的影响：这是一份”词表冻结之后还能怎么办”的完整作业：自产数据、两段课程、保留率与代价的诚实账本。方法论上的要点是监督字节的构成——54% 人写文本加 46% 模型自产，自蒸馏承担全部行为监督，27B 尺度上跑通了”换词表不重训”。吞吐代价意味着它暂时只适合研究用途；这本账本身够格进任何”要不要字节级”的决策评审。

相关链接：

• https://arxiv.org/abs/2611.13607
• https://arxiv.org/html/2611.13607
• https://huggingface.co/datasets/leiwhere/ld3-byte-eval

结语

五本账摆在一起看：token 的价格随词表变，语料的效用随模型变，最优配比随预算变，词表自身还能被自产数据重写。数据工程里没有多少量是恒定的，每个”默认值”背后都藏着一个待估的参数——本期五篇工作做的事，无非是把这些参数一个个从假设里拽出来，摆到能测量、能复现的位置上。