数据论文速递 · 2026年11月02日

本期五篇速递围绕一条主线：在数据量与算力的约束里找杠杆。Metis-1.6 用约十二分之一的中位数据量把 10B 模型推上 Pareto 前沿；立体匹配的标度律测出幂律之后的饱和拐点；A-RSI 不用任何外部样本完成多模态自我提升；COP 让连续到来的遗忘请求不再互相破坏；噪声 k-parity 实验给出一条反直觉结论——固定预算下，更多独立样本能拖慢 Transformer 的优化。

Metis-1.6：一个人从零训出 Pareto 前沿上的小模型

论文信息：Think Twice: The Metis-1.6 Technical Report（arXiv:2610.37903），链接 https://arxiv.org/abs/2610.37903

核心问题：不加参数，靠更好的数据、训练方法与架构，能把模型推到什么位置？单个研究者从零训练语言模型，成本压到前沿模型的零头，能力能追到哪里。

关键发现：Praxis（2.94B 参数 / 每次激活 0.46B）与 Logos（10.23B 参数 / 每次激活 1.18B）两个模型，混合 Mamba-2 与注意力 MoE，每个 token 过两遍栈。总训练量 1.02T token：804.76B 预训练 + 18B 上下文扩展（到 131,072）+ 200B SFT。40 个后训练基准上 Logos 平均 52.93，在 17 个对比模型中排第七、与 Qwen3-4B 差不到 1 分；数学单科在 30 个模型里排第二（AIME 2025 得 67.50%，HMMT 2026 年 2 月赛得 63.64%）。它用的是披露训练数据的对比模型中位值的约十二分之一，激活参数少于所有跑赢它的模型，落在数据量与激活参数两条 Pareto 前沿上。报告里最有价值的是失败记录：配置的优化器从未生效，注意力全程用 AdamW 训完；1.77B 参数的 n-gram 记忆模块学会了自己关闭；五个微调决策损失了能力；按组均值归一化的长度奖励在组内通过率超过 2/3 后开始惩罚长的正确解——作者证明了这次符号反转并用一行 clamp 修掉。

实践启示：预算受限的预训练团队值得整篇精读失败章节——数据配比之外，优化器是否真正按配置运行、奖励归一化在通过率抬升后的边界行为，都是静默漏分点；1.02T token 的三段式分配（约 79% 预训练、2% 上下文扩展、20% SFT）是一个可参考的预算模板。

立体匹配的数据标度律：幂律之后是饱和

论文信息：Data Scaling Laws in Stereo Matching: From In-domain Fitting to Cross-domain Generalization（arXiv:2610.38600），链接 https://arxiv.org/abs/2610.38600

核心问题：立体匹配正走向百万级合成图像训练的基础模型，但性能随合成数据量怎么增长，此前缺乏系统测量。

关键发现：作者先造了 20 万样本的真实感合成数据集 XStereo，做数据标度研究的基座。在五个大规模数据集上做域内训练，测到两段式标度行为：先走标准幂律，到临界点后进入饱和；固定模型时临界点近似不变。跨域性能对源域数据量的依赖弱得多、也更难预测，缩小域差距靠分布与覆盖的多样性，不是堆量。

实践启示：语言模型里验证过的「幂律外推预算」不能直接搬到跨域场景——域内加数据有可预测的收益拐点，跨域要换思路做分布覆盖；买数据或造合成数据前先测自己的模型处在哪个 regime，避免在饱和段继续堆量。

A-RSI：零外部数据的多模态自我提升

论文信息：A-RSI: Adaptive Task Refresh for Zero-Data Multimodal Self-Improvement（arXiv:2610.38568），链接 https://arxiv.org/abs/2610.38568

核心问题：递归自我提升里，多数方法盯着「下一批经验生成什么」，忽略了「当前经验什么时候失效」；监督信号又常依赖自一致性或多数投票，等于让模型拿自己不确定的预测当答案。

关键发现：A-RSI 把两件事拆开：训练日志里的奖励方差与准确率决定何时刷新任务池，全程不查验证或测试分数；答案可独立核验——一个静态的模型自写程序库生成多模态题目并推导参考答案，任务生成契约、奖励与刷新规则的选定性质经过自动验证，生成答案单独审计。训练环不用任何外部训练样本或人工标注。11 个基准的均值从 57.77 提到 61.05，只用了 800 个新任务。

实践启示：合成数据流水线可以自带「保质期检测」——用训练侧指标（奖励方差、训练准确率）判断一批自生成数据是否还在产生学习信号，比轮询验证集便宜；监督信号改用可程序化核验的答案而不是投票共识，是摆脱自举偏差的一条可行路径。

COP：连续遗忘请求下的正交投影

论文信息：Preserving Utility in Continual LLM Unlearning via Orthogonal Projections（arXiv:2610.40483），链接 https://arxiv.org/abs/2610.40483

核心问题：遗忘请求在模型生命周期里持续到来，主流 LLM 遗忘方法却按单次删除设计，连续删除时遗忘与效用双双跳水——新删除会撤销旧删除，或把模型推向已被破坏的方向。

关键发现：COP 是一个梯度投影方案：把每次更新限制在先前遗忘集缓存的激活子空间的正交补里，一阶意义上保证不干扰更早的删除。每层只存一个低秩基，不需要历史梯度或旧遗忘集，可插入任何走梯度步的遗忘方法而不改其目标函数。TOFU 与 RWKU 基准上，COP 在连续请求下保住效用、不削弱遗忘，优于持续遗忘专用基线。

实践启示：数据治理团队面对版权或隐私删除请求时，应把「删除会互相打架」纳入工程设计——投影类方法把干扰控制做进训练几何，存储成本只有每层一个低秩基；把删除当成持续流处理而不是批处理事件，删除管道与再训练管道就能解耦。

噪声 k-parity：固定预算下更多样本反而拖慢 Transformer

论文信息：Sometimes less is more: Investigating inductive biases of MLPs and Transformers on noisy k-parity features（arXiv:2610.37976），链接 https://arxiv.org/abs/2610.37976

核心问题：Transformers 与 MLP 的归纳偏置差在哪？需要一个能逐特征控制可预测性与可用性的合成数据测试床。

关键发现：噪声 k-parity 数据上，两种架构走相反路线：Transformers 对噪声特征更稳，但学不动复杂且低可用性的特征；MLP 相反，随数据量稳定提升。更反直觉的一条：固定训练预算下，增加独立训练样本数会拖慢 Transformer 的优化，慢到最终精度反而下降——更小的数据集赢了。训练精度曲线表明这是优化速度效应；把预算随数据量放大后效应缩小，但不消失。

实践启示：数据去重不是越干净越好——固定 token 预算下，「独立样本数」与「训练时长」存在权衡，重型去重后加长训练轮次与保留部分重复样本加快优化，两条路都要跑消融；做数据配比实验时把训练预算固定死，才能看到这类效应。

小结

五篇论文覆盖数据工作的五个环节：预算分配（Metis-1.6 的三段式 token 配置）、标度外推（XStereo 的两段式拐点与跨域失灵）、数据生成（A-RSI 的自核验任务库）、数据退出（COP 的连续遗忘）、数据形态选择（k-parity 的多样性-优化速度权衡）。堆量之外的杠杆——拐点识别、信号保鲜、几何隔离、形态取舍——是本期反复出现的主题。