数据论文速递 · 2026年10月25日

本期五篇都落在同一条主线上：训练信号怎么选、怎么配、怎么验。两篇直接处理”选哪些 token／哪些样本进训练”的问题（GIFT 的梯度几何过滤、极端数据驱动的相变边界），一篇拆开”评委更强是否等于下游更好”的规模律幻觉，一篇测试无具身的合成先验能不能顶替昂贵真实数据，还有一篇用医疗影像入库场景说明像素级检查只能筛、不能验。

1. Scaling Laws for Generative Reward Models

论文信息：Scaling Laws for Generative Reward Models（arXiv:2610.30765，3 位作者）

核心问题：生成式奖励模型（GenRM）作为在线偏好提供者时，模型容量、训练目标与回答格式，究竟哪一样决定下游策略优化的好坏。论文用创意写作为实验场，把”评委在固定分布上判得准”和”评委把策略训得好”拆成两个可分别度量的量。

关键发现：在 Qwen3 奖励模型 0.6B 到 14B 的规模扫描上，用 GRPO 训练的 Thinking 评委，静态 Gold 标签准确率高于用 SFT 训练的 Answer-Only 评委。换成在线 DPO 训练策略后，排序反转——在 8 组匹配设置里有 7 组，Answer-Only 评委给出更高的峰值 Elo 与前五平均 Elo，参照是一个固定的、学出来的 32B Gold 评估器。训练中途的 Thinking 检查点，做奖励器时也能胜过更晚、静态更准的检查点。扫过奖励器规模、策略规模、训练时长与 DPO 正则后，奖励模型容量带来的收益相当可观，评委比策略更大仍然划算。作者据此提出 evaluator-rewarder gap：固定分布上的判定准确率并不决定下游优化质量。论文自己标注了两处边界——比较一并改变了评委训练目标与回答格式，主排序条件于那个学出来的参考评委，换另一个学习评委的补充实验整体没有定论。

实践启示：给奖励模型选型时，别把静态榜单准确率当唯一指标，下游 Elo 才是要优化的东西；评委做大的边际收益值得单独测一轮；换掉参考评委之后，之前的选型结论要重新跑一遍。

2. Phase Transitions in Learning Driven by Extremal Data

论文信息：Phase Transitions in Learning Driven by Extremal Data（arXiv:2610.29531，2 位作者）

核心问题：多示例学习（MIL）里，样本以 bag 形式给出，bag 内实例的隐藏标签池化后产生 bag 级标签。max 池化常见但会带来梯度消失，现代流水线用 softmax 近似 max，并把锐度 λ 当可学习参数。论文要回答的是：λ 被梯度下降不断推高、把动力学推进梯度消失区域时，训练在什么条件下崩掉。

关键发现：作者取一个极小模型，在 bag 大小 n 与维度 d 一起趋于大、且 α = ln n / d 固定的联合极限下，推导出梯度流的低维投影。这条流上有两个彼此独立的相变：一个与无序系统随机能量模型相关的 intrinsic freezing 相变，另一个出现在现代 Hopfield 网络中的 retrieval 相变。数值模拟一并验证了相图本身，以及有限尺寸训练梯度向其预测渐近形式的收敛。

实践启示：bag 大小与特征维度的比值不是实现细节，是决定能不能学出来的旋钮，做 MIL 类数据构造时要把它当超参调；λ 的升温策略需要看着相变边界定，而不是一味加大；靠极值样本驱动的学习存在硬边界，越界后不是变慢而是失效。

3. GIFT: Gradient Informed Filtering for Distillation Augmented Reasoning RL

论文信息：GIFT: Gradient Informed Filtering for Distillation Augmented Reasoning RL（arXiv:2610.30796，6 位作者）

核心问题：复杂推理能力的训练靠两类互补信号——稀疏的、以结果为锚的强化学习负责正确性，密集的、逐 token 的蒸馏负责过程引导。互补不等于兼容：以模仿为目标的蒸馏会和结果驱动的 RL 目标打架，已有混合方案缺少有原则的仲裁办法。

关键发现：GIFT 做逐 token 的几何分解，把蒸馏梯度拆成两个分量。与 RL 梯度平行的分量度量一阶冲突，充当安全过滤器；与 RL 梯度正交的分量量化新增方向上的引导，充当价值度量。两者合成一个打分规则，给 token 级教师信号排序。配套一个渐进的 coverage annealing 计划，逐步收缩接受蒸馏的 token 预算，让冲突最强的更新先被丢掉，互补性最强的以满强度保留，训练末段平滑过渡到纯结果目标。在数学与逻辑推理基准、多个模型规模上一致超过强基线，困难数学推理任务的相对增益最高到 9.5%。

实践启示：教师信号按 token 打分再按预算退火，比整条轨迹全盘接受更划算；判冲突要看梯度方向的几何关系，不看 loss 幅度；蒸馏预算该随训练收窄，而不是全程固定。

4. Learning Robot Behavior Priors from Non-Robotic Synthetic Data

论文信息：Learning Robot Behavior Priors from Non-Robotic Synthetic Data（arXiv:2610.31275，5 位作者）

核心问题：机器人学习一直把真实机器人数据当成瓶颈，具身基础模型想要零样本物理迁移尤其如此。论文反过来问：在模型看到任何真实行为之前，用没有任何具身成分的廉价程序化合成数据，能建立出多少可用的结构先验。

关键发现：作者给出三条数据生成流水线，建模机器人控制的数学抽象，用它们给 Transformer 做预训练先验。纯非机器人数据训出来的模型，靠上下文学习机制在未见过的真实机器人任务上拿到非零的零样本预测表现；专门设计的控制先验明显优于通用因果先验。与算力匹配、用真实机器人数据训的基线相比，基线更强，但只在它自己训过的那几个数据集上更强。

实践启示：评估合成数据与真实数据，要分开看分布内与分布外——真实数据的优势集中在它被采集的那片分布上；面向跨分布迁移时，程序化合成先验是真实采集的补充而不是替代品；合成先验的设计要贴着目标结构做，泛化的因果先验收益有限。

5. From Augmentation to Synthetic Evidence: Evaluating Generated Chest Radiographs at Dataset Intake

论文信息：From Augmentation to Synthetic Evidence: Evaluating Generated Chest Radiographs at Dataset Intake（arXiv:2610.29152，4 位作者）

核心问题：一张生成的胸片，作为公开声明的增强数据是有用的；同一张图被当作一次真实检查的记录提交，就成了无支撑的证据。论文把入库审查拆成三个独立问题：图能不能过自动化质量检查、来源分类器会不会标成生成、可信记录是否支撑所声明的采集行为。

关键发现：实验里 Qwen 从 1000 张候选池中选最多 20 张，接收方用 MedGemma 评质量、用冻结 DINOv3 特征上的分类器判来源。质量筛选把 Cheff 组的通过数从 20 张里 12 张抬到 19 张，SynthCheX 从 8 张抬到 17 张。没有证据显示筛选能提高一并通过两道检查的比例：Cheff 组没有一张双通过，SynthCheX 在均匀、质量、质量约束代理三种选择策略下只出 2、1、2 张。在未处理的测试图上，来源分类器从 5000 张 SynthCheX 中标出 4677 张，却把 2297 张 NIH 真实图里的 110 张、另一个真实集合 957 张里的 568 张误判为假。JPEG 压缩把 SynthCheX 对 NIH 的 AUROC 从 0.987 压到 0.841。即使不做任何处理，仍有 152 张 SynthCheX 双通过。

实践启示：像素级检查只能过滤投稿，不能核验采集声明——后者要靠来源记录，两者必须分开存、分开查；误判真实图为假的代价要在入库流程里显式计入；压缩管线会显著削弱检测能力，检测要在压缩前做或做压缩鲁棒训练。

---

五篇合起来给的是同一条纪律：信号的”量”和”准”都不等于”有用”。静态更准的评委可以把策略训得更差，更密集的教师信号可以拖累 RL 目标，真实数据的优势只覆盖它被采集的那片分布，像素级检查挡不住被当作证据提交的合成图。选数据、选信号时，度量指标必须放在真实下游口径上。