数据论文速递 · 2026年10月29日

本期五篇都指向同一件事：数据侧的投入正从「再加一批」转向「加在哪一维」。两篇给出了可计算的分配依据——配比问题的线性归因解法、合成环境的 Scaling Law；两篇处理「哪些样本该留」——百万级梯度归因过滤、语料知识稳定性的诊断量；还有一篇把低资源语种的数据预算换算成了热启动与词表的工程账。

LinMix：把数据配比改写成一个可解的线性归因问题

论文信息：LinMix: Data Mixing as Linear Domain Attribution，arXiv:2610.37390，https://arxiv.org/abs/2610.37390

核心问题：预训练语料里各领域该占多少权重，主流做法是先训一批小代理模型、每个跑一个随机配比，再用回归模型把配比映射到性能。作者指出这就是一个领域归因问题，而常用的 Dirichlet 采样是个糟糕的回归设计——采样点挤在先验配比附近，各领域的效应互相纠缠，领域数上到几百个时线性拟合根本立不住。

关键发现：LinMix 把采样点放到「有上限单纯形」的顶点上：每个领域要么取到上限、要么完全不出现。这种无超参的顶点采样让各领域效应去相关，线性模型的系数直接就是领域归因值。最优配比有闭式解——只保留归因为正的领域，不必再在候选配比里搜索。作者还证明了顶点采样的最优性，并证明 Dirichlet 采样在配比集中于先验附近时会放大归因误差。1B 的 OLMo2 与 4B 的 Qwen3.5 上，LinMix 在推理、代码、数学基准上全面超过 Dirichlet 方案，MBPP 相对提升 46%、GSM8K 提升 14%；到 288 个细粒度领域时只有顶点采样还撑得住线性拟合，平均比最好的非线性基线高 11%。

实践启示：配比实验的成本大头在代理模型的训练次数，不在回归方法本身。换掉采样设计就能拿到可解释的领域归因，归因值为负的领域直接砍掉，省掉网格搜索。领域数上到几百个量级时，随机配比的回归设计基本失效，这一点值得先自查一遍。

工具调用智能体的 Scaling Law：合成环境该往哪一维扩

论文信息：Scaling Laws for Tool-Use Agents via Controllable Environment Synthesis，arXiv:2610.37648，https://arxiv.org/abs/2610.37648

核心问题：训练会调用工具、完成多步任务的智能体，数据从哪来是个难题。真实环境昂贵且覆盖有限，合成环境的生成参数该怎么调、预算该往哪个方向加，此前缺少可预测的依据。

关键发现：作者提出 SynthAPI 流水线，把合成环境在工具、任务、工具所操作的数据库三条轴上分别控制多样性。在 4 种参数规模、849 个训练模型、覆盖 458,752 个任务的网格上，他们拟合出了从合成环境的规模与组成预测下游泛化能力的 Scaling Law。最实用的一条结论是：数据预算增长时，扩工具与数据库的多样性比单纯增加任务数量更划算，提高数据复杂度带来的收益更大。按这套规律扩出来的智能体，在四个评测基准上超过了用此前工作的数据训练的模型。

实践启示：合成数据的预算分配要有轴的概念——任务数、工具种类、数据库实例是三个不同旋钮，预算有限时优先扩后两者。这类 Scaling Law 的价值不在预测精度，而在于给出「再买一倍算力该买什么」的答案。

跟着梯度往回追：把安全性退化定位到具体训练样本

论文信息：Follow the Gradient: Tracing Safety Degradation Back to Training Data，arXiv:2610.37481，https://arxiv.org/abs/2610.37481

核心问题：指令微调数据里混着一类看着无害、却会让模型安全性悄悄退化的样本，常规内容过滤器抓不到。梯度归因能定位这类样本，代价过高，此前只够做小规模分析。

关键发现：作者把低秩归因方法简化，并把反向传播限制在最后四个 transformer 块，得到 SimpleLoRIF，把梯度 embedding 推到百万样本量级。在 emergent misalignment 场景里，梯度把「不安全代码」训练数据与微调后出现的泛化有害行为连了起来，在失配模型的梯度空间里 AUC 最高 0.865。他们据此构建 SafeTulu——删掉 Tulu 3 中与不安全响应梯度最对齐的 20% 样本。用 SafeTulu 训练，Qwen、Llama、Olmo 上的 GCG 攻击成功率最多下降 22%，优于 LLM-as-a-judge 与此前的梯度过滤方法，能力基本不掉，部分还有提升。被删掉的数据里还暴露出少被研究的退化来源，比如工具执行失败、叙事性算术。数据与配套的 Hugging Face Space 都已放出。

实践启示：百万级数据集做梯度归因已经可行，瓶颈在反向传播的深度而不是方法本身，把反传限制在最后几层是个性价比很高的取舍。删 20% 就换来 22% 的攻击成功率下降，说明有害样本在梯度空间里是聚集的，不是均匀散布——按内容规则过滤的思路需要重新估一下。工具执行失败这类样本会被判成有害信号，做清洗时值得单独看一眼。

预训练中到底哪部分知识在长：一个可算的时间变异性指标

论文信息：What Improves During Pretraining? Tracking Knowledge Acquisition with Point-in-Time Models，arXiv:2610.37631，https://arxiv.org/abs/2610.37631

核心问题：预训练语料是跨年份抓取的网页，模型从中学到的知识既有一般性的也有领域特定的，两类知识在训练过程中的习得节奏差异一直缺少量化工具。近期的「时点模型」分别训练在不同年份的网页快照上，为观察这种差异提供了入口。

关键发现：作者提出时间变异性分数 TVS，定义为某条目负对数似然在多个时点模型间的变异系数；分数高，说明这条知识在不同年份网页文本中的表征不稳定。在 6 个模型、6 个基准上评测的结果是：高 TVS 与低 TVS 条目在训练早期习得速度相近，后期高 TVS 条目提升更快；训练结束时，36 个「模型×基准」组合里有 34 个是高 TVS 条目占优，机会归一化准确率平均领先 7.3 分。这个规律在知识密集型任务上最稳健，即使只比较难度相近的条目也成立。

实践启示：TVS 可以直接当数据侧的诊断量——在时点模型上算一遍条目的负对数似然变异，就能按「知识稳定性」给语料分层，不必只看聚合 benchmark。高 TVS 条目在训练末段涨得快，意味着它在训练后段的配比里值得多留一些。

低资源语种的扩数据账：热启动加换词表，等价于几倍语料

论文信息：Beyond IceBERT: Open-Data ModernBERT Encoders for Icelandic from 12M to 1B Parameters，arXiv:2610.36230，https://arxiv.org/abs/2610.36230

核心问题：IceBERT 曾给出两条结论——清洗过的网页 crawl 就够训出强模型，从多语言模型热启动在部分任务上有帮助。作者用 ModernBERT 架构重跑这两条结论，并把「热启动到底值多少数据」做成受控实验。

关键发现：他们在 90 亿 token 的开放数据上训练了 12M 到 1B 参数的冰岛语编码器，用统一协议、带置信区间地重跑 IceBERT 的基准加 5 个新任务，共 30 个编码器。从零训的 1B 模型在全部 11 个任务上显著超过 IceBERT；用同形状的英语 Ettin 编码器热启动的版本，在所有参评任务上拿到最高分。在 6 个模型规模、4 个 token 预算下的受控对比显示：换上移植词表后，热启动从不显著差于同等冰岛语文本上的从零训练；从 base 规模往上，热启动也不显著差于用 4 倍文本从零训（base 与 1B 上是 8 倍）。模型越大，迁移收益越集中在源模型的 transformer 层，所以英语源也有用。保留源词表的做法相反——问答 F1 掉 5 分，算力接近三倍。

实践启示：低资源语种扩数据之前先算一笔账：热启动配合移植词表，本实验里等价于 4 到 8 倍语料。词表这一环不能省，沿用源词表会把这部分收益全部抵消，还要多付近三倍算力。