精读：条件交互——System-1 的预算闸门、1/ρ_u 的记账本质与那道删自己训练数据的门

1 论文概览

一句话总结：13 位作者（Qi Wang、Yun Qu、……、Xiangyang Ji，cs.AI，v1 2026-10-29；论文页面未署机构，从作者构成与前作 MoPPS/MPTS 看主体应是清华团队——此为外部推断）发表一篇 Perspective：把「便宜预测器在昂贵执行器付费之前先估值」形式化为条件交互（conditional interaction）——预测、门控、执行、回写的四步循环——配一串显式标注前提的命题（筛选增益、内存解耦、选择遗憾、共扩展方向），并提议把效用相关交互密度 $\rho_u$ 当作 scaling 的效率坐标，用 informative compute 替换 total compute 来描述扩展规律；全文没有一组自己的实验，实证重量压在团队此前的 MoPPS、MPTS 等系统上，$1/\rho_u$ 这个节省倍数是理想记账上限而非实测加速。

核心问题：一次交互（一条 CoT rollout、一次环境轨迹、一次工具调用）值不值得执行，判断这件事的成本必须远低于执行本身——System-2 无法替自己做这个判断，因为评估即执行。论文问：下一代扩展的杠杆，是否在于给昂贵的执行器配一个便宜的估值器并协同设计两者，而不是继续单边堆大 System-2。

We ask whether the next stage may come instead from co-designing it with System-1, a lightweight, semantically aware predictor that evaluates candidate interactions before execution, so that System-2 acts only on those worth their cost. Our answer is a qualified yes.（Abstract）

“qualified yes”（有保留的肯定）这个措辞贯穿全文，值得先记住，后面逐条对账。

主要贡献：

1. 条件交互的形式化（定义 1，式 3a/3b）：选择策略是「Boltzmann 项 × 阈值指示符」的乘积——$\beta$ 控制在准入集内的偏好锐度，$\kappa_t$ 控制准入线本身；式 15 的主目标是一个分数背包，拉格朗日解就是按「单位成本价值」排序的阈值规则。命题 2 给出退化极限：$\beta\to\infty$ 时坍缩为贪心 argmax。
2. 四张账本的统一会计（表 1）：数字训练（RLVR rollout）、物理训练（机器人任务配置）、测试时（推理步进）、智能体（工具/计算机使用）四类场景，交互、效用、成本、门各自换定义，predict–gate–execute 的骨架不变。统一的是架构，不是目标——论文自己划清了这条线（「The unification is one of architecture, not of objective」）。
3. 一串前提显式的命题：IIE 增益闭式（式 12/13，把节省分解进 $\rho_u$、假阳性率、假阴性率、$c_{\text{pred}}$ 四个量）；筛选增益 $\rho_u + r$（式 24）；峰值内存与候选池规模 $n$ 解耦（命题 15）；选择遗憾在 $2\varepsilon_\phi < \mathrm{gap}_{\min}$ 时精确为零（定理 18）；System-1 最优规模随 System-2 变贵单调不减（命题 13）。
4. 可检验的 scaling 假说：命题 24 证明理想门控下损失曲线只是横向平移 $\ln(1/\rho_u)$（纯恒等式）；假说 25 进一步赌「$\rho_u$ 随系统变强单调衰减」，衰减轨迹决定有效指数——论文给出了完整的证伪协议。
5. 对自身最狠的一刀（7.2 节）：门控删掉自己的训练数据——被抑制的交互永远没有标签，预测器的盲区恰好是它看不见结果的地方。论文用 selective labels / 因果推断的 positivity 框架分析这个死结，给出审计采样 + 逆概率加权 / 双重稳健估计的修复路径。

2 方法详解

架构：predict–gate–execute–update

System-1 是轻量的、语义感知的评分器：吃进候选交互（prompt、任务配置、工具调用）加上下文，吐一个分数而非答案，每个候选都过一遍，单价 $c_{\text{pred}} \ll c_{\text{exec}}$。System-2 只执行被放行的候选。闭环在两个方向上运行：System-1 决定 System-2 花什么钱，System-2 的产出变成 System-1 的监督信号。式 17/18 把两者写成一对算子 $(\theta,\phi)\to(\theta,\phi)$，交替复合；双时间尺度随机逼近给了收敛条件，一般情形的收敛保证论文留作开放问题。

策略本体是式 3：

$\pi_{\mathrm{CI}}(i_t\mid\mathcal{H}_{0:t}) = \frac{1}{Z_t}\exp\!\bigl(\beta\,\hat u(i_t\mid\mathcal{H}_{0:t})\bigr)\cdot\mathbf{1}\!\left[\hat u(i_t\mid\mathcal{H}_{0:t})\geq\kappa_t\right]$

两个旋钮分工明确：$\kappa_t$ 决定谁有资格，$\beta$ 决定在资格线内挑得多尖。命题 2 证明 $\kappa_t\leq\hat u^{\max}$ 时任何阈值给出同一个贪心极限，而 $\beta\to 0$ 时策略退化为只过滤不排序的纯筛子——「阈值管准入、温度管排序」这句话有了精确的数学对应。准入集空则显式弃权（选择 abstain 动作 $\varnothing$），这个细节让整套机制在工程上不会硬撑着执行垃圾。

效用槽是可插拔的（式 8）：信息增益（实验设计）、课程改进量、信息价值 VoI（决策）、适应风险（Sim2Real）。四类效用各自给出式 7 的特化版本，极大化子互不相同——论文反复强调「conditional interaction is always relative to whichever one is declared」，效用声明先于一切结论。

关键创新点

把抑制做成一等目标。主流数据选择文献默认「选出来的子集质量」是目标；这里死交互的执行成本被显式记账为浪费，抑制率成为与召回率并列的优化对象。式 13 的闭式把假阳性、假阴性、预测成本三个量对 IIE 增益的影响写成单调递减关系——灵敏度分析一行就能读出哪个误差最伤收益（假阳性烧执行成本，假阴性不稀释比率但砍产量 $Y_T$，两者必须分开报告）。

预测性摊销的会计化。命题 14 把「先执行再过滤」与「先预测再执行」的成本比写成 $\rho_u + r$，$r = c_{\text{screen}}/c_{\text{exec}}$；式 25/26 对稠密 transformer 给出具体量纲——无门控 $\Theta(nGLd_{\text{model}}^2)$，门控后 $\Theta(n c_{\text{embed}}) + \Theta(n d_\phi^2) + \Theta(BGLd_{\text{model}}^2)$。论文顺手指出编码项不必小：短 rollout 或逐轮重编码时 $c_{\text{embed}}$ 可以主导 $r$——这类「反直觉边界条件」的披露密度是这篇 Perspective 的质感来源。

内存维度的第三张牌。命题 15：反应式评估要 $\Theta(nGLd_{\text{model}})$ 的峰值内存（in-flight rollout 的 KV cache），预测式评分以微批流过只需 $\Theta(BGLd_{\text{model}} + b\,d_e + B)$，与池子大小 $n$ 无关。推论 16 接着指出：池子放大不花 rollout 内存，重尾效用下池内最优真效用按 $n^\xi$ 增长——「更大候选池 + 便宜预筛」这条路在内存账上被打开。

7.2 节的审查偏倚分析。门控系统训练数据的分布是 $p_{\text{train}}(i)\propto p_{\text{cand}}(i)\,e(i)$，$e(i)$ 是门的执行概率——标签非随机缺失（MNAR）。最坏情形自指：被低估的候选被抑制、永不产生结果、评分永不被纠正。论文指出软门救不了这个（式 3 的指示符让每个 $\hat u<\kappa_t$ 的候选在任何有限 $\beta$ 下执行概率为零，温度只随机化准入集内部），修复必须显式注入 positivity：探索混合 $(1-\epsilon)\pi_{\mathrm{CI}}+\epsilon\pi_0$ 或按固定比率 $a$ 审计被抑制候选，再用 $1/e(i)$ 逆概率加权或双重稳健估计做无偏修正。审计比率必须独立于预测器评分——这一点写得很清楚。

与基线方法的区别

对照系是两代 RLVR 数据管线：第一代「生成后过滤」（DAPO 的 dynamic sampling 丢弃全对/全错的组，在线难度过滤保留中等通过率的 prompt），判定一个 prompt 退化之前已经付清 $G$ 条 rollout 的全款，正是命题 14 里的反应式基线；第二代「生成前预测」（GRESO 用奖励历史跳过零方差 prompt、MoPPS 用在线贝叶斯后验追踪通过率、GPS 用小生成式预测器选 prompt），把判定成本压到一次前向。这篇 Perspective 不新增第三代方法，而是把两代的共同结构抽象成一套带会计的架构语言，再往前推一步：静态级联（路由一次、永不上训）与自适应协同设计（在线回流、联合优化）的分界不在「有几个模型」，在「有没有反馈回路」。

3 实验结果

本节要先交代一个事实：全文没有一组自己的实验。这是一篇 Perspective，作者在 7 节开头把全部主张分成三层账本：

• 已证层（在声明的前提下）：IIE 会计、筛选与内存结果、遗憾界、测试时与智能体成本界、共扩展方向、横向缩放恒等式。
• 有应用证据层：预测式 prompt/任务采样的节省（MoPPS、MPTS 等，即团队自己的前作）。
• 纯假说层：成本、服务质量、任务成功三轴一齐占优的协同设计前沿、$\rho_u$ 衰减、改变的 scaling 指数。

有应用证据层里能落到数字的，是借用来的两组：RLVR 训练中退化 prompt（全对或全错、GRPO 优势恒为零）占比可观（引 Yu et al. 2026、Qu et al. 2026a），MoPPS 用远少于动态采样的 rollout 逼近评估密集型基线（论文原文表述为 “with far fewer rollouts”，未给出具体倍数）；物理端 MPTS 学一个风险预测模型替掉逐任务评估。论文对这批证据的定位写得毫不客气：

These results illustrate rather than validate the framework.（5.1 节）

「说明而非验证」——外部读者拿这句当锚点：被引用的系统全部来自作者自己的团队，独立复现在这个时点是零。

未测层有三处硬缺口，论文逐一点名。测试时分支的两个前提（小 informative 占比 + 准确的停止预测器）一个都没量过：

unlike the training side neither premise has been measured, making this the one place where our efficiency claims lack even indirect support.（6.1 节）

$\rho_u$ 的衰减剖面同样从未测过，论文称之为「对整个框架最干净的单次检验」，还把它挂到涌现的机制解释上（一个子技能的 $\rho_u$ 越过可用阈值就该突然出现）。共扩展的最优配比（System-1 该多大配多大的 System-2，对标 Chinchilla 的参数-数据比）也停留在「方向已定、曲线未测」。

消融实验在这个语境下不存在，替代物是论文对每个命题的前提清单披露——这份清单本身就是本篇最值得精读的「实验结果」，4 节逐条过。

4 个人分析

亮点

主张的自律层级是稀缺品。开篇就把 premise/position/hypothesis/prediction 四层摊开，7 节再按「已证/有据/纯假说」重述一遍，每个命题的失效条件（前提什么时候不成立、命题什么时候退化）写在命题自己的解读段里。立场论文最常见的病是「定理修辞化」，这篇反着来：命题 13 的解读直接说「Its assumptions do most of the work」（前提干了大部分活），7.1 节承认幂律曲线也能由梯度噪声、本征维度、损失曲率生成、$\rho_u$ 只是「最具操作性」的那一个候选。这种自贬式披露在读不懂细节的读者那里会造成「结论很硬」的错觉，在读得懂的读者那里恰恰是可信度的来源。

7.2 节是全文最锋利的部分。门删自己训练数据这个问题，在预测式采样文献里通常被一句「exploration 兼顾了」糊过去。这里被正式命名为结构性限制，接上 selective labels（Lakkaraju et al. 2017）、因果推断的 positivity、主动自训练的标签查询三条文献线，指出温度软化在数学上无效（指示符的零概率问题），给出两条可操作修复，再把「$e_{\min}$ 得多大、逆概率权重的方差怎么跟漂移交换」留作定量开放问题。一个框架论文把自己最致命的失败模式写到这个深度，比多证三个命题值钱。

2.4 节主动划出不适用区。门控无保证优势的三个条件（候选同质、预测成本≈执行成本、执行便宜）+ 应当放松门控的五种情形（校准差、期权价值、预测成本高、假阴性灾难性、效用错设）——第 (5) 条「效用错设时预测器恰好系统性抑制能揭示错设的那些交互」与 7.2 的审查偏倚形成呼应，属于想透了的自指结构。

局限性

$1/\rho_u$ 是恒等式，不是测量结果。命题 24 的五条前提——死交互不动学习者、选择保持分布与顺序、门完美、预测免费、执行成本相等——每一条都砍现实一刀。摘要里 “execution compute falls by a factor approaching $1/\rho_u$” 的大字标题是理想筛+等成本两个前提下的账面数字，论文在命题 7 后面补了 “these are ideal values, not guarantees”，但摘要的修辞强度与正文的限定强度之间存在读者会踩的落差。式 13 的现实折损（fp/fn/$c_{\text{pred}}$ 三项）没有被任何端到端系统量化过——这正是「illustrate rather than validate」的含义。

$\rho_u$ 不是自由坐标。它依赖三样东西：声明的效用、先验固定的阈值 $u_{\min}$、当前策略状态 $\theta_t$。论文自己强调 $\rho_{\mathrm{adv}}$（GRPO 优势非零的 prompt 占比）与 $\rho_{\mathrm{info}}$（信息增益密度）是不同量、不可换算、不同效用的密度「不具可比性」。那么「informative compute 作为 scaling 坐标」要成立，前提是效用声明在整条 scaling 曲线上保持稳定——而最有信息量的交互类型本身会随能力漂移（论文承认一个更强的 System-2 会让效用更难预测）。备注 9 还自己拆了循环论证：把 $\rho_u$ 拟合到损失曲线是圆的（$\mathcal{L}=a(\rho(\mathcal{C})\mathcal{C})^{-\alpha'}$ 配 $\rho(\mathcal{C})=\mathcal{C}^s$ 能拟任何指数），独立测量协议（审计池、重复 rollout、随 $\theta_t$ 重估）本身要烧算力——审计预算会吃掉节省的一部分，这个定量账论文留白。

测试时分支是全文最弱的一环，且论文自己承认（上文引述的 “lack even indirect support”）。命题 22 的倍数要 $C\to\infty$、$\delta_{\mathrm{FP}}\to 0$ 才渐近成立；下一增量效用还踩着 delayed gain 陷阱（一个中间思考步本身不动信念状态、却开启后面会动的步，论文要求换 continuation utility 并声明 no-delayed-gain 条件）。

智能体分支的精度账不可忽视。命题 23 的精度损失是 $Nm\varepsilon_\phi$——随决策步数 $N$ 线性涨。计算机使用一个回合几十步，意味着每步误差必须随步数收缩；前提 (a)（可分离动作）恰恰在长界面轨迹上失效，论文自己举的反例是「十二个各自无信息的点击联合起来才够到那个要紧的屏幕」。这条分支对 CUA 的适用边界，比摘要给读者的印象窄得多。

「超级鹦鹉假说」是修辞性包装。三阶段叙事（随机鹦鹉→可解释推理→自编码表征）无实证支撑，论文标注为 “an illustrative, hypothesized trajectory rather than an established chronology”。作为动员性修辞无妨，作为论证链的一环则不成立。商业案例引证（Jev/TypeSafe AI 的 System One 产品）也只到「商业兴趣存在」的强度。

对大模型领域的影响

三个分支各自对上一门现成的账。训练端：RLVR 的 rollout 预算分配从「技巧」升格为「会计科目」，$\rho_{\mathrm{adv}}$ 一个公式就能挂上看板；测试时端：test-time compute 的按查询异质性（easy 一条轨迹、hard 无限预算）被放进与训练同构的停止规则框架；智能体端：工具调用与不可逆风险的复合成本定价（式 53 把 $\Pr[\text{irrecoverable}]$ 直接乘上价格系数 $\lambda_{\mathrm{risk}}$）给 agent 的预算控制提供了模板。

更远的赌注在 scaling 认识论上：若假说 25 成立，scaling 曲线的一部分指数来自 $\rho_u$ 衰减，数据策展就从工程杂活变成 scaling law 级别的干预变量——这是对数据工程方向最直接的利好叙事，代价是它现在没有任何测量支撑。论文最后一句给的是行动纲领而非结论：

The decisive next step is measurement: quantify $\rho_u$, compare scaling curves at matched informative compute, and test whether co-design changes more than a constant factor.（8 节）

5 实践启示

可以借鉴的技术

1. $\rho_{\mathrm{adv}}$ 直接上监控。$u_{\mathrm{adv}}(\tau) = 1 - p_\tau^G - (1-p_\tau)^G$ 一个闭式就能算出「每组 $G$ 条 rollout 至少出现一次对一次错」的概率，挂到 RLVR 训练看板上就是退化 prompt 占比的实时读数——不用等论文的完整假说验证，这一格今天就能抄。
2. 式 22 的准入率控制器。$\kappa_{t+1}=\kappa_t+\alpha_\kappa(n_t^{\text{adm}}/n-\rho^*)$ 用随机逼近把阈值当对偶变量调，钉住目标准入率。任何「带阈值的筛选管线」都能 drop-in 这一行——阈值不用再手工调。
3. 审计采样 + 逆概率加权修自己的数据管线。任何学出来的数据过滤器都有 7.2 的自指问题：它删掉的样本永远没有标签。按固定比率 $a$ 保留一部分被拒样本跑完标注、用 $1/e(i)$ 加权评估过滤器——这套从因果推断搬来的工具对数据团队是通用的，不依赖论文其他主张成立。
4. 三接口设计清单。知识接口（System-2 的解蒸馏回 System-1 还是只回传价值）、表征接口（共用特征换精度但共享盲区 vs 独立编码保持误差不相关）、反馈接口（哪类结果监督 System-1 决定它能看到自己的哪些错）——这三个决策点是搭「预测器+执行器」系统时的现成架构 checklist。
5. 成本含不可逆性定价。式 53 的 $\mathcal{C}(i)=\lambda^\top c(i)+\lambda_{\mathrm{risk}}\Pr[\text{irrecoverable}\mid i]$ 把风险写成显式科目而不是事后护栏，任何带外部副作用的 agent 管线都值得照抄这个记账格式。

潜在应用场景

• RLVR rollout 预算分配：在线难度过滤从启发式（保留中间通过率）换成带 regret 界的预测式筛选，团队自建训练管线时把 prompt 池的 $\rho_{\mathrm{adv}}$ 当作配比依据。
• 智能体工具调用预算：think/retrieve/call/ask/commit 的异构菜单按 VoI 净成本准入，延迟、token、美元、不可逆风险四价齐记——对长 horizon 的 CUA 要记住命题 23 的 $Nm\varepsilon_\phi$ 账，步数长就得配更强的单步预测器。
• 异常诊断 triage：监控告警→根因分析这类「便宜信号在贵分析之前」的场景就是条件交互的形状，DataX/WeData 的异常分析链路里，前置一个轻量预测器给告警估「值不值得跑全量诊断」，会计结构与式 9 完全同构。
• 测试时停止规则：按查询异质性停推理，起步先上论文给的可证伪协议——量 $\rho_{\mathrm{acc}}^{\mathrm{tt}}$（预算从短默认升到全量时答案翻对的比例），再上 one-probe 门，精度损失超过审计出的假阴性质量就推翻。注意 delayed gain 陷阱：别拿下一步效用做门，要用 continuation utility，否则会停在「这一步不动、后面动」的查询上。

参考文献

1. Wang, Q., Qu, Y., Cai, L., Zou, H., Chi, H., Lv, Y., Li, X., Feng, H., Ge, M., Geng, Y., Jiang, Y., Mao, Y., Ji, X. Does Scaling Toward AGI Depend on What System-1 Lets System-2 Execute? arXiv:2610.39497, 2026（本文，Perspective）。
2. Qu, Y., et al. MoPPS: Online Prompt Selection with Bayesian Posterior Sampling for Reinforcement Learning with Verifiable Rewards. 2026（预测式 prompt 采样的主力实证来源）。
3. Wang, Q., et al. MPTS: Risk-Predictive Task Sampling for Sim2Real Transfer. 2026（物理端的预测式任务采样）。
4. Yu, F., et al. DAPO: An Open-Source LLM Reinforcement Learning System at Scale. 2026（dynamic sampling——「生成后过滤」一代的代表与反应式基线）。
5. Lakkaraju, H., et al. The Selective Labels Problem: Evaluating Algorithmic Predictions in the Presence of Unobservables. KDD 2017（7.2 节审查偏倚分析的源头）。
6. Silver, D., Sutton, R. The Era of Experience. 2025（AI for AI 趋势的语境引用，与「超级鹦鹉」叙事相接）。

相关精读

• 本篇把本专栏连续六十六期的主线再挪一格：此前六十五期回答的是「挑哪些 token、挑哪些轨迹、信用按哪套口径记账、信号被消费时旧了多少、数据分布离基座多远、整条响应有没有资格参与这次更新、策略容量会不会被优化动力学耗光、教师分布里哪些位置允许比较、事后经验除了改行为还能不能改行动之前的那次预测、参考模型的 KL 该从哪条边进组相对更新、教师的意见从哪条通道进 RL、off-policy 校正的记账区间有多长、裁剪区间那两个端点由什么决定、干预落在流水线的哪一环、逐步信用从哪个模型里来、一个已经报出来的增益该怎么拆账、这些信号最终以什么形状落到参数上、结局空间该分成几档、同一笔优势在响应内部怎么分、教师交出来的那笔位移里哪些前缀有资格进损失、这笔信用在更新里当斜率还是当终点、一次迭代该对齐到任务的哪一格、一份外部语料要进模型，是作为检索出来的文本进上下文，还是作为预测出来的隐状态进解码器、模型内部被拆出来的那批坐标能不能当作可以相加的行为解释单元、思考预算拧大之后，模型换掉的是对一个句子的读法，还是只换掉了答对的比例、一组 token 压成一个向量时，这个压缩动作本身该不该由输入自己解出来、一份原生多模态预训练预算该在三个模态之间怎么切成参数、token 与重复次数、生成过程里没有左右顺序时 token 级信用该记在什么量上、当奖励本身就是一份由打分器算出来的清单覆盖率时，优化器在最大化哪一样，以及给这份奖励补上一个精确率项之后，模型缩短的究竟是废话还是内容、当参数量被钉死、深度靠同一组权重反复复用来买时，多出来的计算到底在买什么、MTP 的交叉熵梯度里，到底有多少在教模型它还不会的事、有多少只是在低信噪比地复读它已经会的下一 token 分布——把后者单独留下来，要不要付钱、两个从不见面的模态编码器，学到同一份世界表征的充分条件是什么——正对连的到底是世界状态，还是同一份观测的扰动，这一个选择决定了表征属于世界还是属于模态，next-token prediction 属于哪一边、评测用的那把尺子本身——一道题都不换、模型也不换，只是题目在难度轴上的摆放不均匀时，排行榜的排名会翻转多少、训练监控里哪些区段的进步在任何重复采样次数下都测不出来」；这一期问的是在信号怎么给、尺子准不准都被检讨过之后，剩下的是那次更根本的付费决策——一次交互在执行之前能不能被便宜地估值，错估的账怎么算，以及那道替所有人把关的门正在删掉自己的训练数据——上一期离开训练端站到评测端，问那把由 n 道题刻出来的尺子刻度在哪里缺失；这一期退到两端共同的上游，问交互发生之前的那道预算闸门：谁配估这个值、错估的账怎么摊，被门删掉的样本算谁的。

• 精读：基准不是题库，是难度轴上的经验测度——DDM 与 Max Gap 的两张体检单、30 题基准的盲区定理与 BenchFill 的三道补题

• 精读：把「柏拉图表征」从假说拧成定理——好视图的 42 倍样本效率、NTP 的 log-partition 身份与那台写文本的图像描述器

• 精读：把 MTP 梯度拆成自蒸馏与噪声残差——Soft-MTP 的一行改动、80% 的噪声占比与那份免费午餐的账单

• 精读：三明治包络、输入注入与状态组织的三轴审判——Looped Models Done Right 与那笔藏在全胜账本背面的 5.4 分

• 精读：给评分标准奖励补一个精确率项——FORK 的 1/K 信用与那道没写进公式的去重

• 精读：没有左右顺序时，token 级信用该记在什么量上——DTCA 的 255 倍量纲与 18 个词性权重

• 精读：多模态数据配比的第一张标尺——268 次 MoE 预训练定律与它最锋利的那格消融

• 精读：把压缩写成一次测试时回归——TTR-Compressor 的 Gram 矩阵与 12.24 点是怎么来的

• 精读：思考预算把 some 读成 ∃——Entertain-then-Cancel 的剂量曲线与读法记账

• 精读：SAR——SAE 特征的可加性该怎么记账，以及这笔账测不到的那一半

• 精读：DFM——把检索邻域压成一块记忆，插进解码器的中间层

• 精读：给 agent 换一层外壳再训一次——Harness Scaling 的因子化执行空间与正交选点

• 精读：给每一次迭代发一张工牌——PAR 的深度-长度对应与范数锚定

• 精读：把回合级信用从斜率换成终点——TreeOPSD 的仿射教师与残差匹配

• 精读：给教师的位移装一道闸门——中间检查点只做证据，不做目标

• 精读：把每个奖励的功劳拆回到它自己读的那几个 token 上

• 精读：GracefulRL——给退避一个中间价，代价是 74% 的题不再作答

• 精读：Ares——把 RLVR 的更新秩交给梯度谱，账本落在截断之后

• 精读：Thinking Leakage——no-think 模式下的 RL 增益有多少是从 think 模式漏过来的

• 精读：LVRL——把价值函数从「训出来的部件」换成「冻结的前沿 LLM」

• 精读：RTI——把干预从优化期搬到采样期

• 精读：GPPO——把 PPO 的裁剪区间拆成「散度」与「估计器」两维

• 精读：TAPO——把重要性比的记账区间从「当前 token」挪到「到当前位置为止的前缀」

• 精读：Residual Advantage——让教师只重分信用，不改响应总分

• 精读：ZCPO——把参考 KL 从损失支搬进组内系数

• 精读：SRD——把事后回顾蒸成事前先见

• 精读：跨分词器 OPD——把对齐覆盖度补满反而掉点

• 精读：Mesh Learning——把 RLVR 的坍塌解释成策略容量的供需冲突

• 精读：CARM——把响应级掩码的判据从净位移换成双向漂移

• 精读：把 off-policy 专家数据 MCMC 投影成 on-policy 数据

• 精读：GMC-GRPO——把重要性比从逐条裁剪换成整组收缩

• 精读：SCAPO——用「扰动下不动」给 token 记一笔负账

• 精读：把 prompt 课程从「排难度」换成「排目标」——Fisher–Rao 弧长上的高斯课程 ARCUS

• 精读：把中间那一步的信号从模型里搬进环境——用沙箱回滚跑出免费过程奖励

• 精读：把特权信息从损失搬到采样器——多轮 agent 里自蒸馏为什么会崩

• 精读：OC-GRPO——用特权信息突破 RLVR 学习悬崖

• 精读：不跑 RL，先用已有策略把新奖励的结果预测出来

• 精读：给 token 级信用一个唯一解，然后把它求和掉

• 精读：把后训练配方本身当成果——八阶段流水线里哪些收益经得起对账

• 精读：STARE——惊奇度引导的Token级优势再加权稳定策略熵

• 精读：按梯度可估性给 token 分配蒸馏监督

• 精读：TrimSFT —— 只让「中间那一段置信度」的 token 参与 SFT

• 精读：E-SFT —— 把推理轨迹的中间段删掉再练

• 精读：把中间状态的价值估计整体消掉

• 精读：Don’t Mask the Environment 与被 mask 掉的环境观察

• 精读：SP³O 与 PPO critic 的价值压平

• 精读：把「做不出来」的题变成训练信号

• 精读：DataFlex-RL —— 13 种 RLVR 数据策略，没有一个跑赢均匀采样

• 精读：NGU 与 RL 里的马太效应

• 面向RLVR训练的秩-判别性联合数据工程：从秩退化诊断到判别性驱动的训练数据策展

• 精读：Co-Evolving Harnesses and Models —— 同一份专家轨迹，换个脚手架符号就反过来

• 精读：OPD-then-RL —— 两阶段为什么打过单步融合

• 精读：One-Shot OPD —— 一条 query 够不够，取决于它走出多宽的状态

• 精读：Compile by Training —— 把提示词编译成本地权重

• 精读：Terminal-Universe——把轨迹反演回环境，而不是模仿它

• 精读：OPSA——把教师从 on-policy 蒸馏里彻底移除

• 精读：SPADE——把环境设计本身变成可训练的组件

• 精读：DART-SD——用状态拓扑定位断点，只修补该修补的那一段