精读：基准不是题库，是难度轴上的经验测度——DDM 与 Max Gap 的两张体检单、30 题基准的盲区定理与 BenchFill 的三道补题

1 论文概览

一句话总结：UIUC 团队把每个基准重写成难度轴 $[0,1]$ 上的经验测度 $\nu_B=\frac{1}{n}\sum_i\delta_{z_i}$，基准分数由此变成一个积分 $S_B(\theta)=\int s_\theta(z)\,d\nu_B(z)$——这个视角把「排行榜结论失真」与「训练进步被漏检」形式化成两个可计算的诊断量（Wasserstein 距离 DDM、最大相邻难度间隙 Max Gap），各配严格定理；对 25 个主流基准的体检显示 10 个 DDM≥0.10、8 个 Max Gap≥0.10，再用 BenchFill（LLM 改写 + 在线 IRT 标注的进化搜索）给每个基准只插 3 道题，就把前三大间隙之和压掉 21.09%–38.88%，贴着 oracle 上界。

核心问题：基准分数有两种消费方式——排行榜上比大小、训练过程中看趋势。两种消费都隐含一个从未被检查的假设：题目在难度轴上的摆放位置不影响结论。论文问：当基准把大量质量压在某个难度段、又在另一个难度段留出空白时，排名比较会翻转多少、训练监控会漏掉多少？ 作者的判断是这两件事本质上不是统计问题，而是测度的几何问题。

A benchmark is not merely a collection of test questions; it naturally induces an empirical measure over difficulty.（Abstract）

主要贡献：

1. 测度化框架：把基准表示为难度轴上的经验测度，分数 = 性能曲线对该测度的积分。排行榜失真归结为「基准测度 vs 目标分布」的 W1 距离问题，训练监控盲区归结为「测度支撑集的间隙」问题——两类失败模式落在同一个数学对象上。
2. 两个诊断指标 + 三条定理：DDM（Difficulty Distribution Mismatch，基准测度与目标分布的 1-Wasserstein 距离）控制分数失真与排名翻转（定理 2.1）；均匀分布是无先验信息时唯一的 maximin 目标（定理 2.2）；Max Gap 是局部进步检测的精确渐近 minimax 边界（定理 2.3，一个干净的两段相变）。
3. 25 基准 × 7 域的实证体检：用 12 个 1.7B–397B 模型的响应矩阵拟合 1PL IRT 估计逐题难度，发布全部难度估计。10/25 基准 DDM≥0.10，8/25 基准 Max Gap≥0.10。
4. BenchFill 修复算法：难度定向的改写-标注进化搜索，每基准插 3 题将 Top-3 间隙和平均压低 32.67%（oracle 35.06%，预算匹配基线 17.52%），并发布 4 个数学基准的 gap-filled 变体（AMC23 40→80 题、AIME24 30→50、AIME25 30→52、AIME26 30→53）。

2 方法详解

架构：从「平均分」到「积分」

传统读法里基准分数是 $\frac{1}{n}\sum_i s_\theta(z_i)$，一个平平无奇的均值。论文的关键一步是把它重写成 $\int s_\theta(z)\,d\nu_B(z)$：均值背后藏着一个离散测度，它的支撑集是 $n$ 个难度点，每个点质量 $1/n$。两个模型 $\theta,\theta'$ 的比较 $D_B=\int\Delta(z)\,d\nu_B(z)$（$\Delta(z)=s_{\theta'}(z)-s_\theta(z)$）于是显式分解为「模型决定的函数」乘「基准决定的测度」——排行榜结论不是模型对的属性，是 (模型对, 基准测度) 二元组的属性。

度量失真。引入目标分布 $\mu$（评测意图在难度轴上的投影），DDM 定义为 $W_1(\nu_B,\mu)$。定理 2.1：若 $\Delta$ 是 $L$-Lipschitz，则 $|D_B-D_\mu|\le L\cdot W_1(\nu_B,\mu)$；当 $|D_\mu|>L\cdot W_1$ 时排名翻转被排除。附录 B.2 的有限样本版本把噪声项补上：$\le L\cdot W_1+\sqrt{2\log(2/\delta)/nk}$。

目标分布选谁。无先验信息时凭什么选 uniform？定理 2.2 给了 maximin 论证：在无差别类 $\mathcal{F}_\rho=\{\Delta:[0,1]\to[-1,1]:\int\Delta=\rho\}$（改进的总量固定、位置任意）下，最坏情况保留差 $V_\rho(\mu)=\inf_{\Delta\in\mathcal{F}_\rho}\int\Delta\,d\mu$ 的上确界 $\sup_\mu V_\rho(\mu)=\rho$ 唯一由均匀分布取得——任何非均匀目标都存在一个把改进全放在低权区的 $\Delta$ 使你少收账。

覆盖间隙。测度是离散的：不含题目的难度区间测度为零。定理 2.3 把「盲区」做成假设检验问题——对立假设是「存在宽度 $w$ 的区间上性能提升至少 $a$」：

If the width of a local improvement does not exceed the maximum adjacent difficulty gap, then no level-$\alpha$ test can achieve nontrivial worst-case power, regardless of how many repeated evaluations are performed.（§2.2）

即 $w\le G(B)$ 时任何水平 $\alpha$ 检验的最坏功效恒等于 $\alpha$（盲区是支撑集问题，不是样本量问题）；$w>G(B)$ 时 $k\to\infty$ 功效趋于 1。Max Gap 精确刻画了渐近检测边界——这是一条两段式相变，没有过渡带。

难度估计：1PL IRT 管线

难度 $z_i$ 从哪来？朴素做法是逐题平均错误率，论文指出这忽略了「答错它的模型有多强」。改用 1PL IRT：$\Pr(Y_{ij}=1)=\sigma(\theta_j-b_i)$，模型能力 $\theta_j$ 与题目难度 $b_i$ 联合估计。工程细节值得抄：

• 模型池分层抽样：按 Text Arena 总榜排序分段抽 12 个模型（Qwen3.5-397B-A17B、GLM-4.6、GLM-4.5-Air、Qwen3-Next-80B、QwQ-32B、Olmo-3.1-32B-Think 等，1.7B–397B），两端加密，保证能力轴覆盖。
• 贝叶斯 MCMC 拟合 + 前后双诊断：拟合前查响应矩阵（4 项指标），拟合后查收敛（R̂、ESS、发散转移）；对 12 个模型做留一法（LOO）稳定性检查。
• 模型选择证据：BIC 在 25 个基准中的 21 个上选 1PL；剩下 4 个 BIC 偏好 2PL 的基准，其 2PL 拟合出现病态采样（Gaokao2023en 上 max R̂=1.06、min bulk ESS=63、983 次发散转移），1PL 拟合健康。

BenchFill：难度定向的改写进化搜索

给定目标难度 $z^\star$（选在最大间隙里），维护记忆 $\mathcal{M}$（题目-难度对）。每轮取 4 个离 $z^\star$ 最近的父题，改写器（MiniMax-M2.7，温度 1.0）条件于父题 + 目标难度 + 邻域参考清单，各生成 4 个子题；子题经 GPT-5.4 判有效性，通过者用在线校准标注难度后写回 $\mathcal{M}$：

$\hat{b}(x)=\arg\max_b\sum_{j=1}^{m}\left[c_j\log\sigma(\hat\theta_j-b)+(K_j-c_j)\log(1-\sigma(\hat\theta_j-b))\right]$

$\hat\theta_j$ 冻结——新题标注只拟合一个参数，不重拟合整个 IRT 模型，新题自动落在原基准的同一难度标尺上。至多 8 轮，每间隙只收 1 题。

与基线方法的区别

与难度感知评测的已有工作（Easy2Hard-Bench、Rodriguez 等人的 leaderboard IRT 分析）相比，这篇的不同处在于：难度不是用来给题目分层展示的，而是拿来构造基准自身的几何诊断量；与人工补题相比，BenchFill 用已有题做局部参照做受控难度调整，保留格式风格；与均匀改写基线（预算匹配的 best-of-N uniform-parent）相比，其记忆机制让搜索自适应地往 $z^\star$ 收敛。

3 实验结果

主表：25 基准的两项体检指标

DDM 侧（相对同规模均匀参照的 W1 距离）最差的五个：ScienceQA 0.178（4241 题）、MATH-500 0.164、MBPP+ 0.163、IFEval 0.159、MedQA 0.157。10/25 基准 DDM≥0.10——这些基准的聚合分数对被过度代表的难度段更敏感，论文的措辞是 leaderboard 结论应谨慎解读。

Max Gap 侧最差的一批清一色是小基准：AMC23 0.217（40 题）、AIME24 0.179（30 题）、HumanEval 0.165（164 题）、AIME25 0.158（30 题）、SWE-bench-Mini 0.149（50 题）。Top-5 间隙和更极端：AMC23 达 0.539——五段空白合计占掉难度轴的一半还多。8/25 基准 Max Gap≥0.10，意味着一次落在空白段的训练进步在最坏情况下完全不可见。

论文对「Max Gap 惩罚小基准」的质疑有正面回应：

although Max Gap intrinsically depends on benchmark size, this reflects a real coverage limitation rather than merely a nuisance effect: even if a large gap is expected for a small benchmark, it is still an uncovered difficulty interval.（§3.2）

BenchFill：3 道题的修复力

8 个代表基准、每个只针对前三大间隙各插 1 题（合计 3 题）：

基准	基线 Top-3 压缩	BenchFill	Oracle	Target Dev
AIME24	6.90%	35.57%	35.57%	0.005
AIME25	27.44%	37.56%	37.56%	0.005
AIME26	17.94%	33.04%	33.04%	0.002
AMC23	24.47%	35.19%	35.78%	0.003
Gaokao2023en	11.45%	38.88%	45.47%	0.004
MMLU-Pro-Biology	22.23%	30.13%	36.84%	0.006
BBH-3 objects	14.83%	29.88%	32.80%	0.006
IFEval	14.94%	21.09%	23.44%	0.007
平均	17.52%	32.67%	35.06%	0.005

三个数学基准（AIME24/25/26）直接摸到 oracle 上界。Target Dev（选题难度与目标难度的平均绝对偏差）全线压到 0.005 上下，对照均匀改写基线的 0.048——搜索确实把题写在了指定难度上，不是碰运气。

稳健性

留一法显示 12 个模型足以稳定难度估计；BIC 与采样诊断支撑 1PL 的选择；附录 C.6 对难度后验不确定性做了单独分析。产物全部开源：25 基准的逐题难度估计在 GitHub（ASTRAL-Group/benchmark-difficulty-measure），4 个 gap-filled 基准在 HuggingFace（Yifan99/BenchFill），人工复核过、低质量题剔除。

4 个人分析

亮点

盲区定理是信息论级别的，不是统计功效级别的。定理 2.3 的第一段说的是 $w\le G(B)$ 时功效恒等于 $\alpha$、「无论重复评测多少次」——这把「训练中期分数不动」从统计疑云（采样噪声？）升级为「测度在那个区间根本没有支撑，进步从原理上传不进分数」。RLVR 从业者应该把这条定理直接内化：一个落在间隙里的能力增益（比如某段难度上 pass 率从 40% 涨到 55%）对基准分数的期望贡献是零，加大采样次数 $k$ 只压缩噪声、不改变期望。这是全文最硬的一块。

maximin 论证的姿势。定理 2.2 没有宣称 uniform 万能，它证的恰恰是一个窄命题：在「改进总量固定、位置任意」的无差别类下，uniform 是唯一不会在坏情形里丢账的目标。这个论证结构（先定义对手集、再求最坏情况最优）比直接拍「我们用 uniform 当参照」高一个档次，也给「有先验时该换非均匀目标」留了门。

诊断闭环完整。从测度视角到两个标量指标到开源难度估计到修复算法到发布数据集，全链路可复现。学术上这是「科学基准学」路线（Science of Benchmarking）里少见的理论-实证-工具三件套。

局限性

难度轴是「基准 × 校准种群」的联合属性，不是基准的固有属性。$b_i$ 由那 12 个特定模型（1.7B–397B、按 Text Arena 排序分层）的响应矩阵标定——换一批校准模型，难度轴本身会变形，$\nu_B$、DDM、Max Gap 跟着变。论文的测度框架把 $z_i$ 当给定常量处理，正文指标全部用点估计（附录 C.6 有后验分析但没进主指标）。一个推论：对远超校准池能力的未来模型，这根轴的外推有效性存疑——当前标尺上最难的题，换更强种群标定未必仍排在最右端。

一维排序的信息损失。1PL 把模型能力和题目难度都压成标量。BIC 选 1PL 的正确读法是「数据不支持更复杂的参数化」，不是「基准真的一维」。数学、代码、指令遵循压到同一根轴上后，Max Gap 的「位置」依赖这根轴的构造；一个多技能基准在单维投影下的间隙，有真实空白与投影伪影两种来源，单看这两个指标区分不了。论文在 C.5 做了多维 IRT 对照但没有报告多维版指标——这一步缺席使「间隙在哪」的读法打了折扣。

Lipschitz 假设对着真实性能曲线的形状。$\Delta(z)$ 在模型能力边界附近往往是陡峭台阶——一道题的解法一旦学会，通过率跳变。$L$ 大时 $L\cdot W_1$ 的界松弛到没有约束力；$L$ 未知时定理 2.1 是定性安全带，不是定量保险。DDM 小不直接等于排名安全，这一点正文行文间容易被略读成「DDM 达标即安全」。

uniform 目标对「设计即偏重」的基准是错配的零假设。AIME 生来就是压轴难题集，ScienceQA 是给教育场景出的题——它们偏离 uniform 是设计意图，不是缺陷。论文自己在定理 2.2 后说得很清楚：

Theorem 2.2 does not claim that the uniform distribution is universally optimal. Rather, it justifies the uniform target as a principled default when no prior information over the difficulty space is available.（§2.1）

但实证部分对 25 个基准统一用 uniform 诊断，表 1 的呈现天然诱导「DDM 高 = 基准差」的读法。正确的读法应是「相对中性目标的偏离量」：对 AIME 这类意图明确的基准，高 DDM 是特性描述，工程上该做的是显式写出自己的 $\mu$ 再算 DDM。

BenchFill 改变了测量构念。gap-filled 变体里，AIME 从「人类竞赛真题」变成「真题 + AI 改写题」混合体：改写器是 MiniMax-M2.7、有效性裁判是 GPT-5.4、难度用冻结 $\hat\theta_j$ 的在线校准标注——新题的难度值天然落在校准种群的可测范围内，题目风格分布偏向改写器的生成分布。这些变体更均匀了，但测的已经不是原来那个东西：分数不能与原版 AIME 直接对比，应作为新基准冷启动。论文没有正面讨论这个构念漂移。

Max Gap 对小基准的系统性惩罚。30 题的基准要 Max Gap<0.10，需要题目在难度轴上近乎十等分——对任何 30 题基准都不现实。论文用定理 2.3 兜底（最坏情况下间隙就是盲区，与规模无关），逻辑上成立；但表 1 里 Max Gap 前四名全是 ≤50 题的基准（AMC23、AIME24、AIME25、SWE-bench-Mini），缺一个「同规模均匀抽样的期望 Max Gap」标准化后，指标读数把「小」和「摆放差」混在了一起。

对大模型领域的影响

短期最直接的是排行榜卫生：DDM 高的基准上，0.5 分以内的差距不构成排序证据（尤其 MATH-500、ScienceQA、MBPP+ 这几个高频引用项）；中期是训练监控的盲区意识——RLVR 与后训练的进步常常是难度分段的，中期评测分数持平不该直接否决一条 run，先查进步落在哪个难度段、该段有没有题。长期看，这套「评测集即测度」的语言给评测雷达类基建提供了现成的两个指标与开源难度底座。

5 实践启示

可以借鉴的技术

1. 在线校准方程直接抄。给新题标难度只需冻结 $\hat\theta_j$、单参数 argmax——新数据标注不用重拟合整个 IRT 模型。任何维护自有评测集的团队（内部 eval、回归测试集）都能用这招给新题快速上秤。
2. 响应矩阵 → 诊断 → MCMC → 后验检查的完整管线。12 模型分层抽样（两端加密）的选模策略、拟合前后双重诊断、LOO 稳健性检查，这一整套可以直接搬去构建团队内部的难度底座——25 个基准的逐题难度已经开源，拿来即可算自家评测集之外的对照。
3. 把「评测集体检」做成例行流程。DDM 和 Max Gap 都是拿到逐题难度后 O(n log n) 级的计算量。上线一个新评测集前先算这两个数，等于给尺子刻度做一次质检。
4. 难度定向生成的搜索骨架。记忆 + 父子改写 + 单参数校准回写，这个循环不只用于补基准间隙——做课程数据（由易到难的梯度供给）、做 RLVR 难度分层采样时是同一套结构。本专栏此前精读的 ARCUS（Fisher–Rao 弧长课程）与 NGU（马太效应自适应采样）都在训练端消费难度，这篇补上了「难度分布本身怎么被系统性构造」这一环。

潜在应用场景

• 评测雷达 / 基准看板：给每个入库基准挂上 DDM 与 Max Gap 两个徽章，排行榜页面对 DDM≥0.10 的基准自动标注「差距 <X 分不构成排序证据」。
• RLVR / 后训练中期决策：训练看板把「基准分数」与「难度分段通过率」并排展示，分数持平但某分段上涨的 run 不轻易杀掉——这正是定理 2.3 的工程翻译。
• 内部评测集扩容：新需求来了不想破坏老基准连续性时，用 BenchFill 式定向补题而不是随手加题——每插一题都知道它落在难度轴的哪个位置。
• 基准采购评估：团队选型用一个新基准前，先看它的难度估计支撑与间隙——一张 30 题的榜单基准对「能力边界在中间段」的模型几乎不提供监控信息。

参考文献

1. Sun, Y., Yu, N., Gong, J., Shen, J., Zhang, H., et al. Your Benchmark Is an Empirical Measure Over Difficulty. NeurIPS 2026, arXiv:2610.29927（本文，开源难度估计与 BenchFill 数据集的出处）。
2. Rodriguez, P., Barrow, J., Hoyle, A. M., Lalor, J. P., Jia, R., Boyd-Graber, J. Evaluation Examples Are Not Equally Informative: How Should That Change NLP Leaderboards? ACL 2021（leaderboard 分析引入 IRT 的先河）。
3. Lalor, J. P., Wu, H., Yu, H. Building an Evaluation Scale Using Item Response Theory. EMNLP 2016（IRT 进入 NLP 系统评测的起点）。
4. Ding, N., et al. Easy2Hard-Bench: Standardized Difficulty Labels for Profiling LLM Performance and Generalization. NeurIPS 2024（难度标注数据集，本文难度估计的直接对照物）。
5. Villani, C. Optimal Transport: Old and New. Springer 2009（W1 距离与耦合定义的理论出处）。
6. Lord, F. M. Applications of Item Response Theory to Practical Testing Problems. 1980; Rasch, G. Probabilistic Models for Some Intelligence and Attainment Tests. 1993（1PL/Rasch 模型的源头）。

相关精读

• 本篇把本专栏连续五十八期的主线再挪一格：此前五十七期回答的是「挑哪些 token、挑哪些轨迹、信用按哪套口径记账、信号被消费时旧了多少、数据分布离基座多远、整条响应有没有资格参与这次更新、策略容量会不会被优化动力学耗光、教师分布里哪些位置允许比较、事后经验除了改行为还能不能改行动之前的那次预测、参考模型的 KL 该从哪条边进组相对更新、教师的意见从哪条通道进 RL、off-policy 校正的记账区间有多长、裁剪区间那两个端点由什么决定、干预落在流水线的哪一环、逐步信用从哪个模型里来、一个已经报出来的增益该怎么拆账、这些信号最终以什么形状落到参数上、结局空间该分成几档、同一笔优势在响应内部怎么分、教师交出来的那笔位移里哪些前缀有资格进损失、这笔信用在更新里当斜率还是当终点、一次迭代该对齐到任务的哪一格、一份外部语料要进模型，是作为检索出来的文本进上下文，还是作为预测出来的隐状态进解码器、模型内部被拆出来的那批坐标能不能当作可以相加的行为解释单元、思考预算拧大之后，模型换掉的是对一个句子的读法，还是只换掉了答对的比例、一组 token 压成一个向量时，这个压缩动作本身该不该由输入自己解出来、一份原生多模态预训练预算该在三个模态之间怎么切成参数、token 与重复次数、生成过程里没有左右顺序时 token 级信用该记在什么量上、当奖励本身就是一份由打分器算出来的清单覆盖率时，优化器在最大化哪一样，以及给这份奖励补上一个精确率项之后，模型缩短的究竟是废话还是内容、当参数量被钉死、深度靠同一组权重反复复用来买时，多出来的计算到底在买什么、MTP 的交叉熵梯度里，到底有多少在教模型它还不会的事、有多少只是在低信噪比地复读它已经会的下一 token 分布——把后者单独留下来，要不要付钱、两个从不见面的模态编码器，学到同一份世界表征的充分条件是什么——正对连的到底是世界状态，还是同一份观测的扰动，这一个选择决定了表征属于世界还是属于模态，next-token prediction 属于哪一边」；这一期问的是评测用的那把尺子本身——一道题都不换、模型也不换，只是题目在难度轴上的摆放不均匀时，排行榜的排名会翻转多少、训练监控里哪些区段的进步在任何重复采样次数下都测不出来——上一期退到损失之前的正对定义上做一次总体清算，这一期离开训练端站到评测端，问那把由 n 道题刻出来的尺子：刻度在哪里缺失，量出的结论就在哪里失真。

• 精读：把「柏拉图表征」从假说拧成定理——好视图的 42 倍样本效率、NTP 的 log-partition 身份与那台写文本的图像描述器

• 精读：把 MTP 梯度拆成自蒸馏与噪声残差——Soft-MTP 的一行改动、80% 的噪声占比与那份免费午餐的账单

• 精读：三明治包络、输入注入与状态组织的三轴审判——Looped Models Done Right 与那笔藏在全胜账本背面的 5.4 分

• 精读：给评分标准奖励补一个精确率项——FORK 的 1/K 信用与那道没写进公式的去重

• 精读：没有左右顺序时，token 级信用该记在什么量上——DTCA 的 255 倍量纲与 18 个词性权重

• 精读：多模态数据配比的第一张标尺——268 次 MoE 预训练定律与它最锋利的那格消融

• 精读：把压缩写成一次测试时回归——TTR-Compressor 的 Gram 矩阵与 12.24 点是怎么来的

• 精读：思考预算把 some 读成 ∃——Entertain-then-Cancel 的剂量曲线与读法记账

• 精读：SAR——SAE 特征的可加性该怎么记账，以及这笔账测不到的那一半

• 精读：DFM——把检索邻域压成一块记忆，插进解码器的中间层

• 精读：给 agent 换一层外壳再训一次——Harness Scaling 的因子化执行空间与正交选点

• 精读：给每一次迭代发一张工牌——PAR 的深度-长度对应与范数锚定

• 精读：把回合级信用从斜率换成终点——TreeOPSD 的仿射教师与残差匹配

• 精读：给教师的位移装一道闸门——中间检查点只做证据，不做目标

• 精读：把每个奖励的功劳拆回到它自己读的那几个 token 上

• 精读：GracefulRL——给退避一个中间价，代价是 74% 的题不再作答

• 精读：Ares——把 RLVR 的更新秩交给梯度谱，账本落在截断之后

• 精读：Thinking Leakage——no-think 模式下的 RL 增益有多少是从 think 模式漏过来的

• 精读：LVRL——把价值函数从「训出来的部件」换成「冻结的前沿 LLM」

• 精读：RTI——把干预从优化期搬到采样期

• 精读：GPPO——把 PPO 的裁剪区间拆成「散度」与「估计器」两维

• 精读：TAPO——把重要性比的记账区间从「当前 token」挪到「到当前位置为止的前缀」

• 精读：Residual Advantage——让教师只重分信用，不改响应总分

• 精读：ZCPO——把参考 KL 从损失支搬进组内系数

• 精读：SRD——把事后回顾蒸成事前先见

• 精读：跨分词器 OPD——把对齐覆盖度补满反而掉点

• 精读：Mesh Learning——把 RLVR 的坍塌解释成策略容量的供需冲突

• 精读：CARM——把响应级掩码的判据从净位移换成双向漂移

• 精读：把 off-policy 专家数据 MCMC 投影成 on-policy 数据

• 精读：GMC-GRPO——把重要性比从逐条裁剪换成整组收缩

• 精读：SCAPO——用「扰动下不动」给 token 记一笔负账

• 精读：把 prompt 课程从「排难度」换成「排目标」——Fisher–Rao 弧长上的高斯课程 ARCUS

• 精读：把中间那一步的信号从模型里搬进环境——用沙箱回滚跑出免费过程奖励

• 精读：把特权信息从损失搬到采样器——多轮 agent 里自蒸馏为什么会崩

• 精读：OC-GRPO——用特权信息突破 RLVR 学习悬崖

• 精读：不跑 RL，先用已有策略把新奖励的结果预测出来

• 精读：给 token 级信用一个唯一解，然后把它求和掉

• 精读：把后训练配方本身当成果——八阶段流水线里哪些收益经得起对账

• 精读：STARE——惊奇度引导的Token级优势再加权稳定策略熵

• 精读：按梯度可估性给 token 分配蒸馏监督

• 精读：TrimSFT —— 只让「中间那一段置信度」的 token 参与 SFT

• 精读：E-SFT —— 把推理轨迹的中间段删掉再练

• 精读：把中间状态的价值估计整体消掉

• 精读：Don’t Mask the Environment 与被 mask 掉的环境观察

• 精读：SP³O 与 PPO critic 的价值压平

• 精读：把「做不出来」的题变成训练信号

• 精读：DataFlex-RL —— 13 种 RLVR 数据策略，没有一个跑赢均匀采样

• 精读：NGU 与 RL 里的马太效应

• 面向RLVR训练的秩-判别性联合数据工程：从秩退化诊断到判别性驱动的训练数据策展

• 精读：Co-Evolving Harnesses and Models —— 同一份专家轨迹，换个脚手架符号就反过来

• 精读：OPD-then-RL —— 两阶段为什么打过单步融合

• 精读：One-Shot OPD —— 一条 query 够不够，取决于它走出多宽的状态

• 精读：Compile by Training —— 把提示词编译成本地权重

• 精读：Terminal-Universe——把轨迹反演回环境，而不是模仿它

• 精读：OPSA——把教师从 on-policy 蒸馏里彻底移除

• 精读：SPADE——把环境设计本身变成可训练的组件

• 精读：DART-SD——用状态拓扑定位断点，只修补该修补的那一段