数据论文速递 · 2026年11月07日

本期收录 11 月第一周至本周提交的五篇数据方向论文，覆盖预训练语料选择、SFT 数据的副作用、训练时数据剪枝、蒸馏数据的前缀级筛选、缩放律的低成本发现。五篇共同指向一个趋势：数据工作的重心正从”攒更多数据”转向”在给定预算内把每一份数据用在刀刃上”。

不同语料，不同技能：小语言模型预训练语料配对研究

论文信息：Different Corpora, Different Skills? A Paired Study of Small Language Models（arXiv:2611.07812，https://arxiv.org/abs/2611.07812）

核心问题：小语言模型常在紧张的数据预算下训练，语料选择的影响有多大？该工作把这个问题做成严格配对实验：在 1000 万词与 3700 万词两档预算下，用同一套模型家族、训练配方和评估协议，对比两个反差极大的语料——1911 年版《大英百科全书》与 BabyLM 2026 严格约束预训练语料。

关键发现：两个语料产出的不是单一的质量排序，而是不同的能力画像。BabyLM 2026 在 BLiMP 等语法接受度基准上稳定占优；《大英百科》在 Entity Tracking（合成状态追踪任务）上屡屡更强。这一反差跨教师模型、跨蒸馏后的 58M Baby-Llama 学生模型、跨两档预算都成立，蒸馏学生对比的跨种子复现最干净。控制训练曝光量、延长诊断上下文后核心反差依旧；直接对教师做集成也无法复现百科语料学生的 Entity Tracking 行为。

实践启示：小预算场景下选语料，先明确要什么能力——语料决定能力画像，而非笼统的”好坏”。评估预训练数据必须用多基准交叉验证，单看语法类基准会把《大英百科》这样的语料误判为全面劣势。做蒸馏管线的数据对比时，学生层的配对实验是最灵敏的放大器。

SFT 数据如何侵蚀预训练能力：特征干扰理论与 AEGIS 损失

论文信息：Unifying and Beyond the Theory of Pervasive Capability Degradation in LLM Post-Training SFT from Feature Interference（arXiv:2611.05003，https://arxiv.org/abs/2611.05003）

核心问题：SFT 在适配目标任务的同时普遍侵蚀预训练获得的通用能力（PCD 现象），主流解释停留在宏观分布偏移层面，缺少可操作的微观机理。

关键发现：论文给出自底向上的几何理论：窄域 SFT 数据破坏预训练阶段形成的近正交特征结构，干扰使激活越过输出几何中的决策超平面，通用任务预测随之翻转。该理论把现有缓解方法统一为六大范式，并指出各自有效与失效的根源。在机理分析之上，作者论证 one-hot 监督下的交叉熵在结构上无法独立解决 PCD，提出 AEGIS 损失——直接约束激活边界沿所有竞争 token 方向的漂移，把干扰抑制与任务适配解耦。三个模型家族、十四个 SFT 任务上，AEGIS 在目标任务与通用能力上压过六大范式代表方法，计算开销仅为标准 SFT 的约 1.3 倍。

实践启示：窄域后训练数据对通用能力的破坏可以量化到激活几何层面，“配比调一调”之外多了一条损失函数层面的出路。1.3 倍开销的改动换来目标与通用能力双保全，做垂域 SFT 的团队值得把它纳入与 LoRA、数据配比法的对照实验。

LACS：免标签的总体相对式动态数据剪枝

论文信息：LACS: Distribution-Sensitive Label-Agnostic Confidence Selection for Dynamic Data Pruning（arXiv:2611.05616，https://arxiv.org/abs/2611.05616）

核心问题：大规模数据集训练中，昂贵算力该花在哪些样本上？固定配额要预先定死剪枝比例，绝对置信度阈值又依赖分数尺度，两者都不随训练动态调整。

关键发现：LACS（Label-Agnostic Confidence Selector）给出总体相对式方案：以最大预测置信度为分数，阈值取 log-mean-exp 参考值加边距，阈值与保留数量随分数分布共同自适应。选择时不需要标签，也不需要逐样本梯度。论文刻画了该方法对分数间隔与分布质量的敏感性，并推导出精确的不剪枝条件。七个评估场景覆盖神经训练、语言建模与 boosting；神经执行研究显示反向传播活跃行减少 10–35%；CIFAR-10 上少 29% 反向行，精度均值 89.77% 对全量训练的 89.82%，基本无损。被删除的样本里既有”自信且正确”的也有”自信且错误”的——高置信样本整体上对训练的边际贡献最低。

实践启示：预训练大语料按”总体相对”逻辑做动态配额，是低成本省算力的现成路径，免标签这一性质让它可以直接挂在无标注的海量语料管线上。它删掉高置信错误样本的做法与课程学习”先易后难”的直觉相反，给数据过滤策略提供了一个反直觉但实测有效的参照。

TOPSD：多语言推理蒸馏中教师该在何时介入

论文信息：Knowing When to Teach: Learning from Teachable Prefixes in Multilingual Reasoning Distillation（arXiv:2611.08179，https://arxiv.org/abs/2611.08179）

核心问题：在线策略自蒸馏（OPSD）让模型在自己的推理上训练、由带参考答案的教师提供反馈；迁移到多语言场景时，学生在中间步犯错，教师非但不纠正，反而顺着错误步续写下去。作者把这一现象命名为 Teacher Drift。

关键发现：分析表明 Teacher Drift 在低资源语言上出现得更早。TOPSD（Teachable On-Policy Self-Distillation）据此做前缀级筛选：用教师-学生似然估计漂移起点，选定监督前缀；再验证教师能否从该前缀恢复出正确答案，只对通过验证的前缀施加蒸馏。十个语言、三个模型规模的数学推理实验中，TOPSD 持续优于无条件蒸馏基线。

实践启示：蒸馏数据的价值取决于”在哪介入”而非”介入多少”，盲目加教师监督反而放大低资源语言上的错误传播。前缀级”验证教师能否恢复答案”的筛选思路可以直接迁移到合成数据管线——生成之后先验证可恢复性，再决定是否入训。

Axia：异构排序模型缩放律的数据高效发现

论文信息：Data-Efficient Scaling-Law Discovery for Recommendation Systems via Coupled Hyperparameter Scaling（arXiv:2611.05643，https://arxiv.org/abs/2611.05643）

核心问题：Web 平台的大规模排序与推荐模型和 LLM 一样吃算力红利，缩放行为大体呈幂律；但排序模型架构异构，缩放律没法照搬 LLM 的经验公式，穷举式 sweep 又贵得离谱。

关键发现：作者引入 scaling layer，把底层架构参数组成语义一致的组并定义组间共变方式，从低维”超超参”空间映射到完整架构空间。在此之上，Axia 系统拟合缩放感知的代理模型，用基于后验的采集函数挑选配置，从 Pareto 前沿验证各模型的工作点——用少量信息量大的运行替换穷举扫描。配套的 fleet 级评估协议在固定代表模型集与匹配试验预算下，让每个组件的改进都可度量。

实践启示：缩放律发现这件事本身可以做得数据高效。算力受限的团队做 scaling 实验时，与其铺网格，不如先建代理模型再按采集函数选点——这套”代理 + 主动选点”的实验设计对 LLM 数据配比实验同样适用，把每一份 GPU 时长花在信息量最大的配置上。