数据论文速递 · 2026年10月22日

本期五篇工作沿着一条线排开：数据怎么配、怎么选、怎么造、造完怎么筛。前两篇给出规模与配比的量化依据，一篇把经验标度律拆成三段可解释的机制，另一篇用 120 组继续预训练配置测出数据量、多样性、模型规模各自买到什么；后三篇落在工程侧，分别处理微调期的数据选择、端侧后训练数据的合成与质控、蒸馏用合成问题的自动生成。

一、继续预训练的三条轴各自买到什么：Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds

论文信息：arXiv:2610.28698，https://arxiv.org/abs/2610.28698，11 位作者，提交于 2026-10-20。

核心问题：在物理环境里，扩数据、扩多样性、扩模型都有收益；换到视觉风格、动力学、操作方式、目标各不相同的虚拟世界，继续预训练（CPT）的三条轴还剩下多少收益，各自买到的又是什么。

关键发现：作者跑了 120 组配置，覆盖 4 个模型规模（0.8B 到 27B）、6 档数据预算（50 到 1,600 小时）、5 种混合（从纯 Minecraft 数据到多世界混合语料），用三级验证损失与游戏基准评测从语料内世界到未见世界的表现。三条结论：数据量上涨提升语料内表现；多样性提升对相近世界的迁移，对远距离世界收益有限；模型变大提高数据效率，在单世界训练下对远距离世界的泛化反而更差。训练过程分成两段——早期的 interface phase 跨世界普遍受益，后期的 world phase 收益收窄到语料内与相近世界，作者据此拟合出把验证损失与数据量、多样性、模型规模联系在一起的经验标度律。仿真的上限与远距离世界的持续缺口说明，通用具身智能还需要 CPT 之外的训练阶段。

实践启示：多样性买的不是「泛化」这个笼统的东西，而是「向相近分布的迁移」。做配比决策前先估一下目标场景与语料的距离：距离远时堆多样性收益有限，模型放大还会在单世界语料上放大过拟合。扩多样性的性价比在训练早期最高，这条对排训练预算有直接用处。

二、把经验标度律拆成三段机制：Foundations of the Scaling Law

论文信息：arXiv:2610.27789，https://arxiv.org/abs/2610.27789，2 位作者，提交于 2026-10-20。

核心问题：经验标度律把验证损失与模型规模、训练暴露量、算力连在一起，是分配资源的量化依据；这些关系背后的成因是什么，参数、数据、算力该怎么分。

关键发现：全文用三段相互衔接的分析回答。几何逼近把空间分辨率、内在维度、光滑度与函数误差连起来，损失函数决定这部分误差如何转成任务风险。谱分析把特征可见度、协方差特征值、目标对齐三者合起来，描述新增数据如何削减「未被解析的预测质量」。约束优化在这两者之上给出参数与数据的平衡点，以及训练与推理的权衡。作者还处理了两个常被混谈的现象：emergence 与 grokking 要把打分阈值与学习动力学拆开看，test-time scaling 要把候选覆盖度与选中答案准确率拆开看。视觉与分子预测两个应用说明，换一套领域坐标会改变资源对比的结论；SE(3) 案例量化了商空间逼近收益对维度的依赖，并比较了优化后的算力前沿。

实践启示：加数据在谱视角下的作用是削减未解析的预测质量，收益大小取决于目标与特征协方差的对齐程度——对齐差时堆数据的回报低于换表征。读 emergence 曲线先分清是阈值效应还是动力学变化，别把打分方式的跳变当成能力突变。

三、用「训完会漂移多少」给合成候选排序：NADS: Navigator-Guided Data Selection for Mitigating Catastrophic Forgetting in Fine-Tuning

论文信息：arXiv:2610.25751，https://arxiv.org/abs/2610.25751，3 位作者，提交于 2026-10-19。

核心问题：单阶段微调新任务时，原始预训练数据往往拿不到，灾难性遗忘就变得难解。合成数据是一条可行路子，候选池噪声大、冗余多，怎么从里面挑出真正有用的那批。

关键发现：NADS 的做法是先按目标微调配方、不加任何保留正则训出一个 navigator 模型，它与预训练模型的偏离正好暴露配方引起的能力漂移；接着用 navigator 与预训练模型之间的预测散度，给每个合成候选打一个「遗忘感知效用」分；再用一套高效的效用—多样性选择构造约束集；最后在新任务数据上微调，并在选中的约束上蒸馏预训练行为来保住通用能力。作者指出既有方法依赖的间接代理信号与真实训练收益的对齐有限，在大候选池上做效用—多样性选择也贵。实验显示 NADS 在新任务表现与通用能力保留之间拿到更好的平衡，选择开销也降下来了，代码已公开。

实践启示：与其用通用质量分给合成数据排序，不如用「训完这一批会漂移多少」当选择信号——信号直接来自任务配方本身。代价是要先多训一个 navigator 模型，在候选池大、需要反复筛的场景里这笔开销划算。

四、合成数据的信息边界与质控：Quality-Controlled Reply and Summary Data for Post-Training Small Language Models in AI Call-Screening Agents

论文信息：arXiv:2610.25458，https://arxiv.org/abs/2610.25458，8 位作者，提交于 2026-10-18。

核心问题：端侧小模型替用户接电话时，真实通话不提供任何参考回复或参考摘要，后训练用的监督数据只能自己造，造出来的数据又得有把关机制。

关键发现：作者在信息边界约束下构造合成通话——来电方写手只拿到私有场景简报，回复写手只看当前轮之前的对话，摘要写手只看完整转写；再由两道独立的模型评审分别对完整对话与摘要把关，决定哪些通话进入训练集。最终语料是 3,395 通电话、15,102 个训练目标（11,707 条回复、3,395 条摘要）。六个 0.6B 到 4B 的模型共用一个 LoRA 适配器同训两个任务，在 192 通留出电话上评估：回复合格率从 21–54% 升到 94–97%，摘要合格率从 0–6% 升到 43–72%，12 组配对增益（6 模型 × 2 任务）的 bootstrap 区间全在零以上，摘要增益在每个来源家族里都成立。作者自己点明一处局限：筛训练数据与给输出打分的都是模型，这些比率衡量的是与该评审器标准的一致程度，不是人类接受度，后者留给后续人类实验。适配之后连贯性与自然度的问题基本消失，剩下的是接地与有用性——忠实记录谁在什么条件下说了什么。

实践启示：给每个写手角色划定可见范围这条信息边界约束，是防止合成数据泄漏、防止造出「上帝视角」标签的实用手法，值得直接照搬到别的合成流水线。造数据与筛数据都由同一个模型完成时，报告指标要写明是「与评审器一致率」，别写成人工合格率。

五、把合成问题当成可优化的分布诱导器：Ask to Distill: Learning to Synthesize Data for On-Policy Distillation

论文信息：arXiv:2610.27450，https://arxiv.org/abs/2610.27450，12 位作者，提交于 2026-10-20。

核心问题：on-policy 蒸馏（OPD）用很少量的训练问题就能起效，这提示问题本身是分布知识的载体。那么，在没有标准答案的前提下，怎么评估一个新生成的问题对蒸馏有多少价值，并学会生成更好的问题。

关键发现：Ask-to-Distill 把合成问题当作「分布诱导器」，优化它们沿学生轨迹所暴露出的教师监督。用一个学生初始化的 synthesizer，以问题价值的分布代理为目标做优化；这个代理由冻结的学生—教师对算出，不需要参考答案、正确性奖励，也不需要对每个候选更新学生。奖励由三部分构成：师生分歧、教师落在学生候选支撑集上的概率质量，外加长度与多样性控制。生成的问题经过过滤与去重，形成一个只含 prompt 的问题库，供标准 OPD 使用。在数学推理、代码生成、智能体任务上，平均表现与教师差距的恢复都优于未优化的学生自生成 prompt，也优于 KL 过滤的真实问题；在所评测的设定下不弱于真实问题库 OPD。信号分析显示，优化后的问题能用更短的学生回答引出更密的监督与更多的总信号。代码、数据、模型均已公开。

实践启示：蒸馏数据的价值不必靠标准答案来打标，「师生分歧 × 教师概率质量」这类无参考答案的代理量足以把数据合成变成一个可优化的目标。过滤与去重要写进流程：作者把这一步放在问题入库之前，而不是留给训练阶段。