数据论文速递 · 2026年10月24日

本期五篇论文指向同一个问题：数据什么时候进入训练、以什么形态进入，与数据本身有多少一样决定结果。中训阶段的配比切换要看学习率怎么走，模型生成的内容会把上游偏好顺着频率分布带下来，合成语料的准入判据在真实基准上大幅缩水，表格数据在分布漂移下扩规模会出现分岔，检索语料的表示取舍则直接换算成存储账单。五篇都给了可复算的数字。

1. 数据调度和学习率调度必须放在一起设计

论文信息：Data Schedules and Learning Rate Schedules Should Be Designed Together（arXiv:2610.29348，https://arxiv.org/abs/2610.29348）

核心问题：中训（mid-training, MT）阶段用更小、更高价值的数据集接续预训练（PT）。常见做法是从 PT 数据整体切到 MT 数据。论文把这种整体切换看作一大类数据混合调度的一个特例，问：在固定总算力与 MT token 预算下，它是不是最小化 MT 损失的最优解。

关键发现：答案挂在 LR 调度上。LR 全程衰减时，把 MT 数据提前引入并与 PT 数据混合，最终 MT 损失低于把 MT 数据全部堆在训练末尾；换成常数 LR，结论反转。消融给出的操作规则是：LR 衰减应安排在 MT 数据进入训练之后。论文另建理论模型，解释固定 MT token 预算下的最优数据调度为什么会随 LR 调度改变。

实践启示：配比与学习率不要再分开调。只改数据配比不动 LR（或只改 LR）时看到的增益，往往是两者耦合的产物，换一组 LR 就消失。中训配方搜索要把「MT 数据何时进」和「LR 何时开始衰减」放进同一个搜索空间。

2. 潜隐学习会顺着预训练传下去

论文信息：Tracing Subliminal Learning Through Pretraining（arXiv:2610.30884，https://arxiv.org/abs/2610.30884）

核心问题：模型吃进别的模型生成的数据后，会继承一些与数据内容无关的特质，即潜隐学习。论文要确定这种传递在预训练阶段的边界：什么条件下发生，承载信号的是什么。

关键发现：在 Pythia、PolyPythia 与 DataDecide OLMo 上，硬标签蒸馏（学生训练于带偏好教师生成的数字序列）与 on-policy 软标签蒸馏（学生自己产出数据、教师 logits 提供信号）两种设置下传递都稳定存在，且跨越权重初始化、预训练数据顺序、预训练语料、模型规模与架构差异。按预训练 checkpoint 拆开看，传出偏好的能力与接收偏好的能力是分别发展的：某些 checkpoint 是好教师弱学生，反过来也一样；角色对调时跨模型传递幅度呈强不对称。为定位信号载体，作者构造出与教师生成数字频率一致、但对 prompt 与前文毫无依赖的合成数字序列，这类序列在硬标签设置下仍能引出可观传递。Top-K 软标签蒸馏中把动物 token 从损失里移除会削弱传递，在同模型设置下并未消除干净。软标签蒸馏以更少的训练量换来更一致的传递。

实践启示：语料里混入模型生成内容时，频率分布这类低阶统计量就足以把上游偏好带过来，只洗掉语义层面「像模型写的」文本不够。on-policy 蒸馏的传递效率更高，审计要提前到配方确定之前。用教师强弱推断学生被带偏多少不成立，这是两种分开的能力。

3. 谱可预测性匹配撑不起合成预训练的源选择

论文信息：Is spectral predictability enough? Testing Ω-matching for synthetic pretraining under distribution shift（arXiv:2610.30802，https://arxiv.org/abs/2610.30802）

核心问题：分布漂移下做合成预训练，选哪个合成数据源？一个自然的判据是让源的谱可预测性 Ω 与目标匹配。论文检验这个判据够不够。

关键发现：跨 LSTM、PatchTST、TCN 三个架构与三个随机种子测试。理想的合成对合成条件下，Ω 匹配预训练能超过 oracle 基线（LSTM 上 MSE 降 46.8%），但收益已经因架构而异。换到真实 ETTm1 基准，关系不再成立：匹配 Ω 的正弦加噪声预训练平均只有 +2.3%（单通道最高 +65.5%），同样匹配 Ω 的混沌 ODE 轨迹则系统性劣化 -13.2%。两个源对迁移方向的判断只在 53% 的配置上一致（Pearson r = -0.02），Ω 几乎不携带「哪个源迁移有利」的信息。Ω 缺口的符号还呈现依赖架构的不对称响应。

实践启示：拿单一标量当合成语料准入闸门会漏判。Ω 匹配在受控合成环境里的 +46.8% 落到真实基准只剩 +2.3%，这个落差本身即是警示。源选择判据至少要补进信号性质维度，并在目标架构上实测，不能只看源端统计量。

4. 表格数据扩规模：分布内与分布外会在大规模分岔

论文信息：On Data Scaling in Tabular ML: More Data, Better Generalization?（arXiv:2610.26794，https://arxiv.org/abs/2610.26794）

核心问题：「数据越多泛化越好」在表格机器学习的百万级以上区间还成立吗？这个量级此前少有人系统做过，论文把自然分布漂移保留下来重新测。

关键发现：汇集八个真实表格数据集，最大约一千万训练样本，保留任务自带的分布漂移，并以随机划分评估作对照。GBDT 与 MLP 类模型的规模化趋势大体一致，额外数据与算法改进都带来收益；表格基础模型的规模化行为更分化，较新版本在更大上下文下受益更稳定。真正的麻烦出在分布漂移下扩数据：分布内与分布外性能在较小规模上多数同步改善，规模一大就出现分岔。MLP 容量扫描与验证集用途的对比显示，用代表评估条件的验证数据做模型选择的 MLP，随训练数据增长通常保持或改善性能；把这类样本放进上下文能提升基础模型表现，但挡不住训练规模变大时的劣化。

实践启示：表格场景加数据要在目标漂移强度下单独看 OOD 曲线，小规模时 ID 与 OOD 同步是假象。验证集的用法要分清：给 MLP 做模型选择，与给表格基础模型做上下文拟合，是两条不同机制，不能共用一套「验证集怎么选」的经验。

5. 生物医学 RAG：语料规模要当显式变量来评估

论文信息：Large-Scale Biomedical RAG: Corpus Scaling, Document Representation, and Efficiency Trade-offs（arXiv:2610.26339，https://arxiv.org/abs/2610.26339）

核心问题：语料规模、文档表示与重排三者如何影响生物医学 RAG 的效果与成本，小语料上调出来的结论能不能推广到大语料。

关键发现：检索集合逐步扩大且保留相关源文档，从而在一致口径下比较不同语料规模。摘要、扁平全文、层级全文三种表示贯穿首阶段检索、重排与端到端多选问答。开发集选定的配置在五个外部生物医学基准与一个留出测试集上评估，并实测检索延迟与索引存储。小语料或受控语料上的性能规律没有稳定延续到大规模；重排的用处随语料与检索设置而变。RAG 在外部基准上改善四种模型配置中的三种，平均增益最高 9.6 个百分点；留出测试集上四种配置全部改善，幅度 10.2–30.3 分。证据与摘要对齐时摘要检索最好，需要更丰富证据时全文表示通常更优。层级表示在多数端到端对比中持平或优于扁平全文，索引单元少 67%、存储少 44–56%。

实践启示：语料规模应作为显式评估变量，别拿固定小语料调出的配方直接上线。层级全文表示是效果与成本的双赢项。重排不是标配，其收益取决于语料规模与首阶段检索的组合。