数据工程观察 · Vol.156

数据工程观察 · 2026年10月23日

长上下文继续预训练的加法幂律、平行语料的两段式排布、游戏世界继续预训练的多样性权重、在线RL的跨轮次数据归因，以及一条语料选择诊断指标的前瞻性证伪。

2026年10月23日数据工程预训练数据 Scaling Laws 数据配比数据合成数据清洗数据集发布长上下文多语语料数据归因强化学习具身智能

本期五条动态指向同一个问题：数据预算的账，怎么算得准，又怎么知道自己算错了。长上下文继续预训练第一次有了能外推的加法幂律；机器翻译平行语料被证明单独使用收效有限，排成两段式才把收益兑现；虚拟世界里的继续预训练给数据量与多样性分别加了权重项，域外损失这条曲线拒绝被任何幂律拟合；在线强化学习的经验数据拿到了跨轮次的归因估计；机器人示教语料上一条可靠性达标的诊断指标，在前瞻性测试里没能拿出增量的决策价值。

长上下文继续预训练的 token 预算，第一次有了可外推的加法幂律

事件概述

长上下文继续预训练（LCCP）几乎是每个开源模型的标准工序，行业惯例却是「加一段短的长文本训练」就收工。清华与 OpenBMB 的团队质疑这个惯例：短上下文预训练与长上下文继续预训练各自投了多少 token，对最终长文本能力的贡献从来没有被分开建模过。他们跑了五个模型规模、109 组训练配置，把 LongPPL 作为长文本性能的代理指标，拟合出一个带偏移的加法幂律。

技术细节

拟合目标写成 log(LongPPL) = A/N^α + Bs/Ds^βs + Bl/Dl^βl + C，其中 N 是非嵌入参数量，Ds 与 Dl 分别是短上下文与长上下文两个阶段的 token 预算。作者特意没有把两阶段合并成单一总预算，理由是 LCCP 起点是一个已经具备基础能力的模型，两个阶段的边际收益不该被当成同一种东西。五档规模的 N 从 31M 到 821M（S5 整体 1.22B），S1–S4 跑满 Ds/N ∈ {90,180,270,360,450} 与 Dl/N ∈ {10,20,30,40,50} 的 5×5 网格，S5 另取五组对角与四组非对角配置做外推检验。拟合结果在留出配置上 R² 超过 0.95、log 空间 MAPE 低于 2%。

最实用的部分是 Constant-Last4 协议：用恒定学习率跑一条可扩展的轨迹，取最近四个连续 checkpoint 做平均再评估，观测稳定性优于单点取值，且与线性衰减终点的结果贴合。固定模型规模与短上下文预算后，原式退化为只含 Dl 的幂律，用早期 prefix 就能预测后段的 LongPPL。S5 那条轨迹一路训到约 100B 长文本 token——是拟合集里最大绝对预算的八倍以上——预测值仍然贴着实测走。下游侧，RULER-32K 沿整条轨迹单调上行、看不到饱和；把 RoPE base 从 500,000 提到 5,000,000 用 2.10B token 扩到 128K 之后，早期预算更大的 checkpoint 依然更好；再做 2.10B token 长文本 SFT 与 4.20B token 智能体 SFT（配比 60% 搜索智能体轨迹 + 40% 工具调用轨迹），差距没有抹平。

数据侧的细节值得单独记一笔：32K 混合里短于 16K 的文档占采样质量约 52.57%，短于 32K 的占 65.11%，达到 32K 的占 34.89%。语料来源包含 FineWeb 与 HPLT 派生集合、书籍、论文 PDF、法律金融专利、RefineCode 与 Stack v2 派生的代码与技术文档，以及 Nemotron 系列公开的合成与指令数据。作者同时给了免责：拟合出的偏移 C 为负，而 log(LongPPL) 作为平均负对数似然非负，所以这是一条有限区间的经验律，不是渐近律。

对大模型数据工作的影响

行业里「长文本阶段训多少」长期靠拍脑袋，常见取值是总量个位数的百分点。这条幂律把 Dl 变成了可求解的自变量：给定目标 LongPPL 与可用算力，能反解出该投多少长文本 token，也能判断当前预算处在曲线的陡峭段还是平缓段。加法形式还意味着短上下文阶段欠账无法靠长文本阶段补偿，两笔预算必须分开立账。Constant-Last4 降低了观测成本——不必为每个预算点都跑完整的线性衰减，一条恒定学习率轨迹能反复取点。对做数据配比的团队，那组长度分布数字更有直接参考价值：32K 混合里只有三分之一多一点的采样质量来自真正填满上下文的文档，长文档供给量才是这条 scaling 曲线的实际约束。

平行语料单独用没有用，排在前面才有用

事件概述

机器翻译让高质量平行语料做到了预训练规模，标准做法是把原文与译文当成两条独立样本分别采样。这篇工作问的是：既然手里有对齐关系，为什么不把一对文档拼进同一条训练序列。答案出人意料——拼了也不比标准做法强，除非把它排成两段式。

技术细节

作者用 Llama 2 架构的 1.3B 稠密模型在 TransWebEdu 上从头训，覆盖英语–法语与英语–斯瓦希里语两组高/低资源设置，两条基线各训约 200B token。平行预训练（PPT）把文档与它的译文拼接进同一序列，两种语言都计损失。结果是 PPT 在平均语言理解上相对标准预训练（SPT）没有持续优势，差距在各 checkpoint 上最多 1.64 个百分点；翻译指标更不稳定，PPT 在 60B 之前领先，80B 时 BLEU 掉到 0.24，100B 与 160B 又反超，200B 时反而落后 SPT 12.74 BLEU。

原因指向上下文错配：PPT 确实让模型更会用跨语言上下文，通用理解任务的输入却是单语的。作者改成两阶段 PPT→SPT，从 60B、100B 或 160B 的中间 checkpoint 分支出来再跑 20B token 的 SPT。在 120B 总预算下，英语–法语的理解准确率 47.79 对 SPT 的 47.74，BLEU 从 19.25 提到 34.03（相对提升 77%）；英语–斯瓦希里语的理解均值 50.11 对 SPT 的 49.38，BLEU 从 9.07 提到 13.18（相对提升 45%）。反向的 SPT→PPT 在理解上同样超过两个基线，翻译却只有 1.54 BLEU，顺序不可交换。行为分析用 WMT14 的 173 个文档对做了固定目标打分：单独目标前缀、接对应源语段落、接等长的无关源语段落三种条件，后者减前者定义为「对应源语收益」，PPT 训练出来的模型这项收益明显高于 SPT。

对大模型数据工作的影响

多语语料库建设里，平行数据通常被当成「又一份单语数据」混进池子。这项实验说明对齐关系是一种需要被用好、也需要被用对的结构：把对齐显式拼进序列能长出跨语言能力，评测方式不匹配时这份能力兑现不出来。两段式排布给出了低成本的折中——用 PPT 建跨语言底座，再用一段普通 SPT 把模型拉回标准语言建模的分布。对低资源语言尤其划算：英语–斯瓦希里语的增益集中在英到斯方向，斯瓦希里语四个任务全部超过两个基线。更值得警惕的是那条 80B 时 BLEU 掉到 0.24 的曲线——单看早期 checkpoint 会得出完全相反的结论，翻译排位在训练过程中会翻转。

数据量与多样性各有权重，域外损失拒绝被拟合

事件概述

具身智能的继续预训练一直是一锅炖：数据量、多样性、模型规模一起改，谁起了作用说不清。这项研究把三个轴拆开，用 4×6×5 共 120 组配置在虚拟世界里逐一测量，还给 Chinchilla 形式的 scaling law 加了一个多样性比例项。

技术细节

四个 Qwen3.5 骨干（0.8B、2B、9B、27B）、六个数据预算（50 到 1,600 小时）、五档多样性混合（S1 到 S5），合计 3.5×10¹¹ 训练 token、按 6ND 折算 2.2×10²² FLOPs。数据由 85% 游戏轨迹（VPT、D2E、OpenP2P）与 15% 通用视觉语言、具身、自我中心数据组成，五档混合里 Minecraft 轨迹在游戏数据中的占比依次为 100%、51.4%、27.1%、2.8%、0%。

训练过程分成两个阶段。前 50 小时是「接口阶段」，三层验证损失全部低于基模，连训练混合里没出现过的游戏也一样，模型在学跨游戏共享的格式、表示与动作模式。之后进入「世界阶段」，收益开始挑食：50 到 1,600 小时之间，S1–S3 这类 Minecraft 偏重的混合把 Minecraft 验证损失压低约 10.4%，不补 Minecraft 轨迹的话继续堆总量几乎换不来这条曲线的下降。1,600 小时处 S2–S5 的 OmniGameArena 均分约为 S1 的 2.8 倍，同规模下 16 个混合配置全部优于 S1。

最扎眼的是规模与混合的交互：单游戏训练下模型越大越危险，27B-S1 在 1,600 小时处在三个非 Minecraft 基准上全部不如自己的基模，GameWorld 最多掉约 17 分。大模型的优势在数据稀缺时最明显，用最多 32 分之一的玩法数据就能追平小模型，9B 之后再往上堆收益开始参差。

拟合方面，作者把 Chinchilla 的 L = E + A/N^α + B/T^β 扩展成带多样性比例 ρ 与一个在零占比时仍有限的迁移项。训练损失、Minecraft 损失、语料内损失的 R² 分别是 0.980、0.982、0.995，RMSE 0.0041、0.0020、0.0012；去掉 27B 或去掉端点预算重新拟合，留出预测的 RMSE 落在 0.0016 到 0.0027。域外损失是唯一的例外：收益在 50 小时就到顶，之后 20 条曲线全部缓慢回升，拟合出 β≈0，剩下 0.855 的 R² 只反映混合之间的静态差异。

对大模型数据工作的影响

「多掺点领域数据」这条经验在虚拟世界里得到了限定条件：掺多样性对相关环境有效，对远距离环境不一致，甚至有害。给数据配比做预算时，混合比例与总量不是可互换的两个旋钮——Minecraft 占比从 51.4% 降到 27.1%，在语料内损失上几乎看不出差别，但换成 S1 就整体掉档。那份带 ρ 的 scaling law 给配比决策提供了可求解的形式，前提是目标域在语料覆盖范围内。域外损失不服从幂律这件事本身就是结论：拿语料内损失的外推去预测远域表现，会系统性高估。扩模型换数据效率的做法也有账单，单域训练下 27B 的跨域退化比 0.8B 更严重。

在线强化学习的经验数据，影响会跨轮次传播

事件概述

数据归因在监督学习里是成熟工具，搬到在线强化学习却一直只能算单轮内的局部影响。一篇 rollout 数据不只改变当次参数更新，还会通过策略改变后续采样分布，进而影响再后面的更新。这个跨轮次的非局部影响此前没有被形式化。

技术细节

作者先用轨迹级留一量 RL-LOO 定义归因目标：把某次训练中出现的一个样本从整条训练轨迹里删掉，重放剩下的优化过程（包括由此引起的后续采样变化），看最终策略在目标函数上变了多少。直接重算这个量要重训，于是推导了 RL-IF，用一阶泰勒展开把扰动沿训练轨迹传播。递归式里 A_t^(j) Δ_t^(j−1) 对应优化效应，B_t^(j) Δ_t^(0) 对应策略引起的采样效应，两项耦合在一起；同一轮内采样效应退化为零。矩阵乘法用 Hessian-vector product 与两次向量内积实现。

理论分析给出了误差界，展开后形如 e^α H^α − 1 ≈ α(1 + log H)，说明在长视野上累积误差仍然可控。据此作者定义了只保留优化项的 RL-IF-opt。实证用线性数据建模分数（LDS，聚合归因分数与重训后实测效应的 Spearman 相关）比较：Ant-v4 上随机基线 −0.031±0.058、TracIn 0.055±0.102、RL-IF-opt 0.191±0.037、RL-IF-full 0.192±0.033；HalfCheetah-v4 上分别是 −0.063±0.032、0.138±0.037、0.218±0.027、0.218±0.026。两个变体几乎相同，采样效应贡献有限。

落到应用是 RINSE：在长度自适应的窗口内跑标准 PPO，用窗口末策略作参考策略计算 RL-IF-opt 分数，按丢弃比例 ρ 去掉最负的一批样本，再带 KL 正则重训。六个环境上的相对时间效率与样本效率（对标准 PPO 归一化，越低越好）普遍低于局部归因基线 IIF，HalfCheetah 的样本效率 45.4±7.3 对 57.7±8.5，BipedalWalker 47.1±9.7 对 74.8±5.0。RLHF 式去毒任务从 GPT-Neo 2.7B 起步，用 RealToxicityPrompts 里毒性分高于 0.3 的提示、H=2、ρ=10%，测试毒性下降的相对训练效率比标准流程快 3 倍以上、比 IIF 快 2 倍以上。

对大模型数据工作的影响

后训练阶段的经验数据一直在「全收」和「按奖励分筛」之间二选一。RL-IF 提供了第三种口径：按对最终策略的反事实影响排序。真正可复用的工程结论是优化项近似——采样效应算起来贵， empirical 上却几乎不改变排序，LDS 差距在小数点后第三位。窗口化加自适应视野的设计也值得抄：视野太短退化成局部，太长则被选数据与后期训练动力学错配。局限性作者写得很清楚，推导基于 SGD 式更新，实际实验用的却是 Adam；采样项在这个区间里小，不等于在所有区间都小。

一条可靠的语料诊断指标，没能拿出决策价值

事件概述

机器人示教语料怎么选，通常靠一个上游诊断量排序。这篇工作把其中一个新指标做成前瞻性检验：先在 56 份语料上开发预测器，再在 80 份完全不相交的语料上验证，并且预先注册了端点、留出语料编号与 top-20% 操作点。结论是阴性。

技术细节

被检验的指标叫配对指令依赖度 Ad：在同一观测与动作历史下只改目标词，且两个目标要求走相反分支，看示教者首次决策改变的比例。直觉上，一个真正跟着语言走的示教者应该经常改变决策。全库 136 份独立种子的四足导航语料，每份含 24 个配对审计状态、48 条多步训练轨迹、48 个配对同分布评测状态，审计、训练、评测在状态、图像、轨迹三个层面都不重叠。作者在 Qwen2.5-VL-3B 与 Qwen3.5-VL-0.8B 上训了 544 个适配器。

指标本身是站得住的。Ad 与配对正确率的 Spearman 相关在全部 136 份上是 0.467（95% CI [0.300, 0.616]），在留出 80 份上是 0.356（[0.111, 0.565]）；审计可靠性整体 0.802、留出集 0.766。问题出在增量价值：把它加进已有的「正确率感知」基线 M0 得到 M1，主要端点的平均对数分数增益只有 +0.059 nats，95% 语料自助 CI 是 [−0.027, 0.133]，跨过零点；单独调 M1 的岭惩罚后变成 +0.046（[−0.102, 0.171]）。平均绝对误差确实降了，0.110 到 0.096，Spearman 却从 0.589 掉到 0.490。预先注册的 top-20% 规则（80 份里选 16 份）没能建立起增量选择增益。

探索性分解给出了可能的原因：把响应拆成「两次都对」与「两次都错」两类分别入模，留出增益分别是 +0.104 nats（[0.049, 0.153]）与 +0.110 nats（[0.022, 0.188]），都高于无符号开关统计量的 +0.059。压缩成无符号标量丢掉了与结果相关的结构。另一个对照更实用：直接用训练轨迹的首分支正确率，增益 +0.156 nats（[0.078, 0.225]），比任何版本的 Ad 都高，同样没改善 top-20% 选择。6,528 条训练轨迹全部通过结构有效性检查，接受率恒为 1.0，这部分不携带排序信息；首分支正确率本身在 0.375 到 0.813 之间。

对大模型数据工作的影响

选语料的指标自己在被选择，这篇论文演示了该怎么审。相关与可靠都只是入场券，真正要测的是它能否改变排序决策——用预注册的 top-20% 端点，而不是后挑一个好看的阈值。三名工程启示：无符号聚合会吃掉判别信息，拆分后的两个分量各自都比合起来强；免费可得的普通正确率特征可能比精心设计的因果诊断更能打，本例里 +0.156 对 +0.059；语料层面的自助区间必须在设计阶段就算功效，作者的 56/80 分配在模拟里筛出 0.898 功效，实测却只有 12.5% 的自助复制超过预设幅度基准，说明效应量假设偏乐观是常态而非例外。闭环评测还补了一刀：637/768 的首指令正确对应 503/768 的到达成功，局部端点与真实任务成功率之间有 10.4 到 24.9 个百分点的缺口。