数据论文速递 · 2026年10月26日

本期五篇落在数据工作的五个不同环节：配比、合成预算、合成退化、基准语料审计、隐私合成。它们有一处共同的指向——数据的价值不只由「喂进去多少」决定，还由权重、温度、算力分配这些容易被忽略的旋钮决定。

一、配比之外还有一根旋钮：固定暴露量下改损失权重

论文信息：Beyond Data Schedule: Fast LLM Pretraining on Data Mixtures by Loss-Reweighting（arXiv:2610.32141，原文链接）

核心问题：大模型常靠连续多个预训练阶段拿到专门能力，代价是早期知识被遗忘。已有办法基本都在调域间配比，也就是各域的数据暴露量。作者问的是：暴露量不动，只改各域对学习的贡献强度，能不能把这个取舍撬开。

关键发现：在受控的知识—数学实验里，损失重加权得到的单个 checkpoint，超过了两条单阶段轨迹上各自达到过的最好知识与推理分数。这说明存在一个配比本身给不了的独立控制量。作者据此提出 LARE：从运行中的损失统计自动调各域权重，规则是归一化的平方根倒数，由梯度噪声的理论分析导出，不用改动采样配比，也不用额外跑几轮去搜权重。1.5B 模型、240B token，知识、数学、代码上五个评测全部上涨，相对匹配的直接混合平均高 7.84 个百分点，GSM8K 高 17.06 个百分点，MATH 高 9.00 个百分点。

实践启示：域权重与配比是两根正交的旋钮，混在一起调容易误判「配比已经调不动了」。LARE 这类按运行统计自适应调权的做法代价极低，值得在阶段化预训练里先试一遍，再谈要不要加数据。

二、合成重写的标度律：重写该占多少算力

论文信息：Rewriting Scaling Laws for Synthetic Data with Compute and Data Constraints（arXiv:2610.31867，原文链接）

核心问题：让模型把自然文档重写成目标风格，已是预训练语料的常规配料；但重写该花多少算力、用重写数据训出来的模型能不能超过那个重写器，一直缺少可预测的答案。

关键发现：作者提出重写标度律，把损失表示为模型规模、训练 token 数、重写 token 占比、自然数据 epoch 数的函数，并把生成重写所花的算力计入成本。算力受限设定下（自然数据充足，重写器由第三方训练、算力高于自家最大运行），最优重写占比随算力上升：在 3 乘 10 的 18 次方 FLOPs 时不到 10%，到 10 的 22 次方 FLOPs 时升到 32%。按标度律外推 33 倍 FLOPs 训出的 22B 模型，最终损失与预测相差不到 1.1%；这个模型在若干网页域上的每字节比特数优于它的重写器，而训练算力只有重写器的十分之一。数据受限设定下（只有固定种子集，重写器与目标模型同规模、就在这个种子集上预训练），最优占比依旧随算力上升；用同规模重写器重写自己的预训练数据来训练，在每个不超过 3B 的规模上都胜过只用自然数据的最佳运行。

实践启示：合成重写是可以预算化的，不该凭手感定比例。算力越大，重写该占的比例越高；小算力下硬堆合成反而不划算。合成数据不是「数据不够时的补丁」，它在数据充足时照样有正收益。

三、模型塌缩的谱解释：给自生成样本升温

论文信息：Mitigating Model Collapse through Dreaming Learning（arXiv:2610.30009，原文链接）

核心问题：在合成数据上反复训练会让多样性流失、性能下滑，即模型塌缩。已有的描述多半停留在现象层，缺一个能算出「为什么会塌」的视角。

关键发现：作者在受控的马尔可夫设定里看学到的转移算子的特征值谱——次主导特征值决定链的混合速度，也就决定它还在探索多少状态空间。采样温度低于 1 相当于对算子反复做锐化：次主导特征值朝单位圆靠拢，谱隙收窄；温度低于 1 时，连数据累积都挡不住这个漂移。Dreaming Learning 的做法是在常规训练之外，并行地对模型自己在升温条件下采到的样本加一项损失；高温样本把预测分布压平，学到的算子元素不会被推到趋近于零，特征值也就被顶在离单位圆有距离的地方。5000 代上的谱测量与这套图景一致，缓解效果在 LSTM 语言模型和 124M 参数的 GPT-2 上依然成立。

实践启示：自生成数据的采样温度不是中性设置，它直接决定塌缩速度。若在自蒸馏回路里加一项高温自采样损失，成本很低；把「谱隙有没有收窄」当作线上监控指标，比只看困惑度更早发现问题。

四、把饱和基准翻过来审：RVL-CDIP 的数据质量清单

论文信息：Data Quality in RVL-CDIP: A Systematic Audit（arXiv:2610.32126，原文链接）

核心问题：RVL-CDIP 是文档分类的事实标准基准，报出的准确率已到 98.8%。作者要问的是，这个数字里有多少是被数据缺陷垫起来的。

关键发现：40 万篇文档中约 10.5% 标签有误，测试集里 35.2% 在训练集中存在重复或近似重复。页面上的识别码单独就能把文档分对 69%，去掉这些码，最好的模型掉 11 分。只用图像训练的模型换到别处来源的文档上，掉 16 到 28 分；换一个 OCR 引擎带来 4.1 到 8.3 分的波动。近 16,000 篇文档含敏感个人信息，作者给出了脱敏版本。重测 25 个模型后，在缺陷全部修复的条件下重训的 13 个模型比原条件高 0.9 到 2.9 分，其中 LayoutLMv3 达到 96.5%。修正后的语料、标注与分布外数据一并发布。

实践启示：接近饱和的基准上，几个百分点的差距多半来自泄漏与快捷特征，而不是模型能力。做语料审计时，标签正确率、近重复、快捷特征、来源漂移、解析链路依赖、个人信息这六项值得逐条过一遍，它们各自都能单独改变排名。

五、隐私合成文本：在语义层加锁，靠后处理传递保证

论文信息：Guided Diffusion for Trustworthy Synthetic Text Generation（arXiv:2610.27259，原文链接）

核心问题：合成文本被当作化解训练数据隐私风险的出路，但严格的隐私保证与数据效用长期难两全。

关键发现：作者利用扩散语言模型的可操控性，设计了新的采样与重掩码流程，主动引导迭代去噪过程，重建出贴合目标语义分布的流畅文本。这套框架与差分隐私天然兼容：私有语料的语义 embedding 一旦被保护，后处理的性质就把差分隐私保证带到生成的文本上。在两个数据集、两个扩散骨架上，它在分布保真度与下游效用上都优于 Private Evolution 与基于 DP-SGD 的微调，生成速度明显快于 Private Evolution。作者还把框架扩展到数据特定不可区分性（DSI），以很小的效用代价换来抵抗投毒与记忆的形式化证书。

实践启示：隐私合成数据可以在 embedding 这一层做保护，靠后处理把保证传下去，不必在 token 级硬扛噪声。效用与可证明性不必二选一，代价是可量化的。

小结

五篇串起来看，数据工作里最容易被忽略的往往是「权重、温度、算力分配、审计项」这类不写在数据卡上的变量：配比定死了，损失权重还能再撬 7.84 个百分点；合成比例不该拍脑袋，它随算力走；自生成数据的温度会决定塌缩速度；基准上的分数差常常来自标签、近重复与快捷特征；隐私合成则可以在语义层加锁。