数据论文速递 · 2026年11月08日

本期五篇论文围绕一条主线：训练数据的「来源与治理」。RLVR 时代的数据选择从预训练语料延伸到了 prompt 层——源与目标分布失配时如何重加权 rollout；开放域没有验证器时，rubric 课程能否替代人工标注；基准本身的数据质量经得起 770 次实验的审计吗；检索语料除了推理时外挂，还能蒸馏成参数记忆；递归自训练的合成数据为什么会让置信度漂移。五篇分别对应数据选择、课程设计、数据审计、知识注入、合成数据机理五个子方向。

L2RR：源目标失配下重加权 rollout

论文信息：Dataset Mismatch Matters in Group Relative Policy Optimization for Reinforcement Learning from Verifiable Rewards，arXiv:2611.00586，https://arxiv.org/abs/2611.00586

核心问题：GRPO 的选择性 rollout 方法只看源侧训练动态来决定采样哪些 prompt，默认源训练集与目标测试集同分布。真实场景里两者常常错位，法律与隐私约束又不允许把目标 prompt 交给 RLVR 训练方。

关键发现：作者提出 L2RR（learning-to-reweight rollout），让目标数据持有方只回传一份小规模 held-out 集上的聚合反馈，不暴露 prompt 与 rollout 轨迹。L2RR 学一个源 prompt 上的离散采样分布，双层目标兼顾两头：最大化目标 held-out 集准确率，惩罚几乎不带增量学习信息的 rollout。六个数学推理基准、三个模型规模上，目标域性能与 rollout 效率一起抬升。

实践启示：跨团队做 RL 数据协作时，「拿数据」可以降级成「拿反馈」——聚合准确率信号足够指导源侧重采样。做选择性 rollout 的团队应把目标侧指标纳入采样目标，只优化源侧动态会系统性偏离真实需求。

RcRL：rubric 课程撬动生成验证差距

论文信息：Rubric Curriculum RL: Exploiting the Generation-Verification Gap in Non-Verifiable Domains，arXiv:2611.06244，https://arxiv.org/abs/2611.06244

核心问题：RLVR 在数学与代码上收益巨大，开放域却是另一回事——没有 ground-truth 验证器，人工标注贵，学习型奖励模型容易被 hack。rubric 评分器够便宜，但不精确且固定不动，策略很快过拟合甚至 hack 它。

关键发现：判断好输出比生成好输出容易，这个生成验证差距正是可乘之机。RcRL 把 rollout 之间的成对偏好与 rubric 标准上的课程结合起来：成对比较比绝对打分更有区分度，标准随训练推进而变化，目标函数变成非平稳的，策略没有固定的 hack 目标。基线方法几百步就平台化，RcRL 在 1000 步之后还在涨并保持输出熵。创意写作上对基座模型的人类胜率 70.5%；HealthBench 全集 +14.6%、共识子集 +25.4%，超过包括逐实例 rubric 在内的全部训练基线。

实践启示：不新增数据、不请人标注、不换更强教师，单靠课程化 rubric 就能把 RLVR 扩到写作与健康问答这类非可验证域。防 reward hacking 的抓手之一是把评分标准做成移动靶。

PrimeVul 审计：770 次实验拆穿基准假象

论文信息：Reassessing Dataset Quality and Fine-Tuning Practices for Vulnerability Detection on PrimeVul dataset，arXiv:2611.06373，https://arxiv.org/abs/2611.06373

核心问题：一批研究报道称在 PrimeVul 上微调代码语言模型能得到不错的漏洞检测效果。这些结论经得起安全关键标准的检验吗？

关键发现：作者系统微调 CodeBERT、GraphCodeBERT、UniXcoder 三个编码器，覆盖五种不平衡缓解策略、大规模超参扫描与多随机种子，共 770 次独立训练。F1 与 ROC-AUC 偶尔显示改进，安全关键指标讲的是另一个故事：MCC 始终贴着零，预测概率校准很差，严格假阳性约束下漏报率居高不下。不平衡处理、阈值优化、后校准都救不回有效判别信号。数据集层面的检查找到结构性缺陷——漏洞函数与修复版本之间的语义差异小到难以区分，commit 级标注还引入了额外噪声。

实践启示：安全关键任务选指标时，F1 与 AUC 会联手撒谎，MCC、校准曲线、约束条件下的漏报率才是硬通货。基准的标签生成方式（比如 commit 级配对）本身就是数据质量问题，评估前先审数据集结构。

ResMem：把检索语料蒸馏成参数记忆

论文信息：From Lookups to Lessons: Turning Retrieved Knowledge into Parametric Memory，arXiv:2611.00450，https://arxiv.org/abs/2611.00450

核心问题：RAG 让模型答出训练数据之外的事实问题，代价是存储与推理成本。把检索信息蒸馏进参数记忆可以复用，但让记忆去模仿检索器，奖励的是「独立的准确预测」，与 LLM 自身预测合并后的最终质量并不对齐。

关键发现：ResMem 反过来用 LLM 自己当离线教师——读着检索到的证据生成教师目标，训练一个参数记忆去学加性 logit 残差，学生与教师共享同一骨干，自蒸馏更新只发生在参数记忆里。与 kNN 数据存方案相比，教师构建所需的存储量砍掉 94.7%；五个问答数据集上平均 token F1 从冻结 LLM 的 32.83% 升到 34.48%，弄错原本会答对的题的比例比 kNN 训练的记忆低 21%。

实践启示：检索语料的价值不止于推理时外挂，它是一批带证据的教师标注。知识注入类蒸馏应让教师「看着答案改作业」（读证据生成目标），而不是让学生复述检索器的输出分布。

递归自训练：置信度漂移的两个来源

论文信息：Temperature, Not Knowledge: What Recursive Self-Training and Its Remedies Do to a Language Model’s Confidence，arXiv:2611.01059，https://arxiv.org/abs/2611.01059

核心问题：递归自训练会让语言模型崩塌，已有一堆补救方案瞄准过度自信，但极少有人直接测量这些方案对置信度做了什么。

关键发现：在 Qwen3-1.7B 上跑五轮自训练循环、每组方法三个种子，把「置信温度」（偏离校准起点的漂移）与「区分度」（把正确答案排在错误答案之上）拆开看。准确率与整体区分度几乎没动，置信度却在锐化，最自信的答案越来越不可靠。锐化并非自训练固有——从模型分布精确采样时期望梯度为零；真正的漂移源有两个：每个生成答案被拟合了两次、top-p 截断，去掉两者后生成输出的熵保持平直。各路补救各管一段：截断交叉熵、熵奖励、单次训练保温度不保区分度，focal loss 与多样本目标保区分度却导致欠自信，参考数据混入还会过冲。把排序改进损失与无标签重校准配对，两个目标一并达成；每轮把预测熵对齐到校准起点模型，效果接近基于标签的温度拟合，1.7B 与 8B 上都成立。

实践启示：合成数据自训练管线上线前先查两个漂移源——重复拟合与截断采样。每轮对齐预测熵这种零标签成本的操作，就能挡住大部分置信度漂移。

小结

五篇论文串起来是一条数据治理链路：采数据时用聚合反馈对抗分布失配（L2RR），没有验证器就用课程化 rubric 造监督信号（RcRL），基准先于模型接受审计（PrimeVul），检索语料二次利用为教师标注（ResMem），合成数据回流前量化其副作用（递归自训练）。RLVR 把「数据工程」的边界从语料库推到了 prompt、评分标准与反馈协议，本周的文献在各个接缝处给出了可操作的答案。