精读：把「柏拉图表征」从假说拧成定理——好视图的 42 倍样本效率、NTP 的 log-partition 身份与那台写文本的图像描述器

1 论文概览

一句话总结：LeCun 与 Balestriero 把 2024 年提出的「柏拉图表征假说」（PRH：不同模态的模型随规模收敛到对世界的同一表征）拧成了一个定理——只要各模态的 JEPA 共享同一份正对分布（正对 = 同一场景的两次观测，即「好视图」），它们的解就至多差一个旋转；next-token prediction 被证明具有坏视图 JEPA 的形式（正对 = 同一文档的前缀与后继），于是在同语料上好视图只要 42 倍少的样本就能达到同样的跨模态对齐，一个 109M 文本 JEPA 对 DINOv2 的对齐 (.184) 超过了全部被测语言模型（含 Qwen2.5-72B 的 .154）。

核心问题：PRH 自 Huh 等人提出以来只是一个现象学观察——模型越大、跨模态表征越像，但「为什么、何时、如何」三问全空：没有证明给充分条件，没有配方告诉训练者该做什么。本文问：多模态各自单独训练的编码器，究竟在什么条件下可证明地学到同一表征？这个条件能不能反过来指导训练？ 作者给出的答案把问题重写为「正对（positive pairs）的选择问题」：正对连的是世界状态还是观测的扰动，决定了编码器把维度花在世界还是花在模态自身的噪声（nuisance）上。

The PRH is a statement about positive views: a JEPA whose positives are two observations of the same scene learns a representation that belongs to the world, while a JEPA whose positives are corruptions of one observation learns one that belongs to its modality.（§1）

主要贡献：

• 定理 1（柏拉图表征定理）：设 $M\geq 2$ 个模态共享同一正对分布 $\pi_1=\dots=\pi_M=\pi$，且 $\mathcal{L}_\pi$ 的最小解在旋转意义下唯一，则存在一个世界嵌入 $h^\star$ 使每个模态的最优编码器满足 $f_m^\star\circ g_m=\boldsymbol{Q}_m h^\star$——任意两个模态至多差一个旋转 $\boldsymbol{Q}_m\boldsymbol{Q}_{m'}^\top$。证明只有一行：每个 $f_m^\star\circ g_m$ 都最小化同一个 $\mathcal{L}_\pi$。
• 命题 1–4 与定理 2–4 补全边界：谱隙条件下白化 JEPA 的解恰为正对图的谱嵌入（唯一至旋转，命题 1）；正对分布不一致时失配由核差与谱隙联合界定（定理 2）；前两阶矩找不到那个旋转、$k$ 个一般位置配对经正交 Procrustes 即可锁定（命题 2）；坏视图把维度花在模态噪声上、且旋转无法对齐（定理 3、命题 3）；视图与数据共同诱导世界核（定理 4）。
• next-token prediction 的 JEPA 身份证（命题 4）：softmax 交叉熵可精确拆为「预测项 + log-partition 反坍塌项」，形式上就是双编码器 JEPA，其正对是同一文档的前缀与后继——坏视图。这给「语言模型为何只能靠规模对齐视觉」一个结构性读法。
• 42 倍样本效率与 109M 打 72B：同语料（Recap-DataComp 文本）同编码器下，好视图用 21.6M 样本达到 NTP 用 900M 样本才到的对齐（.109 对 .111）；109M 文本 JEPA 读 116B token 后 WIT-1024/DINOv2 互近邻 .184，高于 Qwen2.5-72B (.154)、Llama-3-70B (.151)、CLIP 文本编码器 (.124)。
• 可组合性展示：单独训练的 DINOv2/DINOv3 与文本 JEPA 用一个在 30k 配对上拟合的正交旋转拼成图像描述器，COCO CIDEr .838；零配对场景下（Schnaus 等协议）把其报告的全部零样本分类纪录刷掉一截。

2 方法详解

形式化：世界、模态、正对。世界是有限状态集 $\mathcal{Z}$（分布 $p$），每个模态 $m$ 通过单射渲染 $x=g_m(z)$ 观测它（照片的像素、描述的 token）。模态 $m$ 的 JEPA 在正对 $(g_m(z),g_m(z'))$（$(z,z')\sim\pi_m$）上最小化「预测项 $\ell$ + 反坍塌项 $\Omega$」（式 1）。单射渲染只是换坐标系：$\mathcal{L}_m(f)=\mathcal{L}_{\pi_m}(f\circ g_m)$，于是各模态的训练问题在共享 $\pi$ 时「是同一个问题写在不同的坐标系里」——定理 1 的全部机关就在这一步坐标搬运。

定理链的承重墙是谱唯一性。命题 1 给出：$\ell$ 取平方距离、$\Omega$ 白化嵌入（$\mathbb{E}_p h=0$，$\mathbb{E}_p hh^\top=\boldsymbol{I}_k$）且谱隙 $\mu_k>\mu_{k+1}$ 时，最小解恰为正对归一化邻接阵 $\boldsymbol{K}_\pi$ 的 top-$k$ 谱嵌入 $\boldsymbol{Q}\boldsymbol{\Phi}_\pi$——谱对比学习的总体形式。旋转唯一性由此落地，定理 1 随之成立。不共享 $\pi$ 时定理 2 用 Davis–Kahan 型论证给出失配界（式 3）：最优旋转后的嵌入距离被 $\frac{2\sqrt{2}}{\delta}\min(\sqrt{k}\|\boldsymbol{K}_{\pi_1}-\boldsymbol{K}_{\pi_2}\|_2,\|\cdot\|_F)$ 压住，$\delta$ 是谱隙。作者在 300 个随机有限世界上验证：误差全部落在界内、至多为界的 18%——界松但方向与排序都对。

好视图/坏视图的分界在噪声上。每个观测携带模态自身的噪声 $\nu$（描述恰好用了哪些词、照片从哪个角度拍），与状态独立。好视图的正对是同状态、独立噪声的两次观测；坏视图的正对是同一观测的两个扰动版本——共享噪声。定理 3 量化代价：编码器的场景可解释份额 $\rho(f)\in[0,1]$ 给出对齐误差下界 $2k(1-\min_m\rho(f_m))$；命题 3 证明好视图 JEPA 学到纯状态函数（$\rho=1$），而坏视图当扰动保留的噪声超过世界第 $k$ 方向（$\beta_1>\alpha_k$）时至少烧掉一个维度在噪声上，任何旋转都救不回来。

NTP 的分解（式 6）。上下文嵌入 $h(c)$、token 表 $\{w_v\}$，softmax 损失 $-\log\frac{e^{\langle h(c),w_y\rangle}}{\sum_v e^{\langle h(c),w_v\rangle}}=-\langle h(c),w_y\rangle+\log\sum_v e^{\langle h(c),w_v\rangle}$——预测项加 log-partition 反坍塌项，后者不依赖目标 token $y$、随温度趋零变成 margin 最大项。这在形式上把 NTP 纳入 JEPA 框架：上下文编码器与目标编码器、内积预测、正对取自同一序列内部。关键的断裂点在第三部分：最优解满足 $\langle h(c),w_v\rangle=\log p(v|c)+b(c)$，解集在 $\mathrm{GL}(k)$（可逆线性映射）下不变——NTP 至多在可逆线性映射意义下被识别，不在旋转意义下。

与基线方法的区别。PRH 原文（Huh 等）靠对比论证与共现正对、假设双射观测，对有损观测留作开放问题；Ziyin & Chuang 证的是深度线性网络 SGD 下的完美对齐；可识别性文献（von Kügelgen 等）处理联合训练的跨模态情形。本文的差异是三重的：各模态分开训练；给的是可训练的充分条件（正对选择）而非事后描述；并把「对齐之后怎么用」落成 Procrustes 旋转 + 免配对几何两条工具路径。实验侧的对照设计也干净：好视图、坏视图、NTP 三种文本编码器用同一 LeJEPA 配方、同一语料、同一 BERT 骨干，唯一变量是正对怎么取。

3 实验结果

受控主实验（表 1，Flickr30k，epoch 199，三种子）。图像 JEPA 对各文本编码器，1,000 测试对：

文本编码器	互近邻 10-NN	R@1（旋转）	R@5（旋转）
好视图 JEPA（描述视图）	.062±.003	.044±.002	.133±.004
坏视图 JEPA（遮罩跨度）	.047±.001	.027±.002	.095±.003
next-token	.042±.001	.021±.002	.077±.005
next-token（同图双描述输入）	.043±.001	.023±.003	.083±.008

第四行是全文最值钱的控制组：给 NTP 喂「同一图像的两条描述」的拼接输入，信息与好视图完全相同，互近邻只从 .042 挪到 .043——增益来自目标函数而不是来自「两条描述同图」这条信息。机制量直接测得：场景可解释份额 $\rho$（$k=32$）为 .804/.655/.608（好/坏/NTP），定理 3 的下界 12.6/22.1/25.1，实测误差 33.5/39.4/40.3——遵从且同序。

消融：裁剪是唯一要紧的旋钮（图 7）。对冻结 DINOv2 的 R@1 上，所有不坍塌的好视图变体落在 .18–.28；整段描述当视图（不裁剪）掉四分之一（.185 对 .246）——裁剪正是让两条描述只留共享内容的操作。遮罩率、视图数、批大小、宽度、日程的移动都不超过 .016，在种子波动内。稳定性是另一回事：无梯度裁剪时 36 个 run 里 3 个在 epoch 20–60 间坍塌，试过的其他 SIGReg 权重全数坍塌。

规模阶梯（§4，表 2–3）。33M 编码器在 Recap-DataComp 文本（2.16M/10M/50M/100M 图像）上：WIT 对齐 .108/.111/.125/.125，后两档与 Qwen2.5-3B (.125)、-7B (.118) 持平。109M 编码器、940M 图像文本、900M 样本后的头条对比：

文本编码器	WIT/DINOv2-B 10-NN	CKA	WIT/CLIP-H 10-NN	COCO 10-NN	Flickr R@1
好视图 JEPA 109M	.184	.507	.230	.161	.478
next-token（同文本）	.111	–	.146	–	.335
坏视图 JEPA（同文本）	.088	–	.116	–	.318
Qwen2.5-72B	.154	.418	.210	.108	–
Llama-3-70B	.151	.380	.206	.113	–
CLIP B/32 文本编码器	.124	.339	.159	.132	.489

42 倍的构造（§4.2）：109M 好视图 21.6M 样本到 .109，109M NTP 900M 样本到 .111；折合 14 倍少的文本 token（好视图样本读三段文本）、435 倍少的唯一图像。匹配样本数下差距更大：33M 编码器 21.6M 样本处 .108 对 .071。

对齐 scaling law（§4.4，式 7）：$\mathrm{R@1}=a+d\log M+b\log(1+q^\alpha M^\beta N^\gamma/c)$，$q$ 为好视图比例、$M$ 样本数、$N$ 唯一图像数。45 格拟合 RMSE .007；训练前预测 85 个新 run，RMSE .0093，而同配置换种子的波动是 .0096——定律预测没见过的 run 和重跑一遍一样准。等对齐线上 $q\propto M^{-0.30}$（样本次线性地换好视图），$N$ 的指数只有 .19。定律在 320M 样本（31 遍重复数据）处失效：高估好视图 run（.418 实测对 .455 预测），无重复数据项，指数识别差。

组合展示（§5）。旋转拼装的描述器：DINOv2/DINOv3 冻结、解码器只在文本上训练（对冻结 JEPA 嵌入重建描述、注入高斯噪声，$\sigma=(c^{-2}-1)^{1/2}\approx 3$ 按残余余弦 $c\approx.3$ 匹配而非调参），COCO CIDEr .838、Flickr .538，对比 CLIP 系免训练/少训练方法 ZeroCap .345、MAGIC .493、CapDec .918、DeCap .912。零配对协议（Schnaus 等）：109M JEPA 的 FOSCTTM .018、CIFAR-10 86.0%、CIFAR-100 67.2%、ImageNet-100 64.4%，超过其论文 21 对视觉-语言模型、全部五个设置下的纪录（至多 82/62/56），同条件重跑的 Qwen3-8B 为 .018/83.4/61.7/47.6。CLIP 文本编码器在该协议下 FOSCTTM .006、IN-100 68.7% 仍更好。

4 个人分析

亮点。

• 把现象学假说换成可训练的充分条件，是这类「统一叙事」论文里少见的落地方式。PRH 原文给的是趋势图；本文给的是「正对连什么」这一个可操作变量，并配齐了边界（核失配界、噪声代价界、旋转可识别性）。理论—实验的闭环有真对照：三编码器同配方同语料只换正对（表 1），第四行控制组把「信息」与「目标」干净地分开了。
• 旋转 vs 自由映射的迁移实验是全文最干净的机制分解。同一个 30k 配对预算下，正交旋转在 Flickr 域内输给无约束线性映射（.504 对 .531）却在 COCO 上赢回五分之一（.802 对 .635），两层 MLP 两边都输——「只能旋转」这个约束本身就是跨数据迁移的载体。这比任何对齐数值都更直接地证明两个空间确实只差一个旋转；一个自由度足够的映射会去记忆配对、把泛化输掉。
• 预注册式 scaling law 值得单独学。85 个 run 在训练前预测、误差与换种子持平——这是把「定律」从拟合修辞变成可证伪预言的做法，本专栏在五十二期多模态数据配比定律里没见到这一步。
• 诚实度罕见。三个 caveat（第四种子、描述器回流、43/1024 测试污染）与「main caveat: good views 从哪来」全部由作者自己写在正文里，且给出了量化（去掉 recaptioner 从 .107 掉到 .060）。

局限性。

• 定理与实验之间隔着一个未证的唯一性假设。定理链的承重墙是命题 1：二阶白化反坍塌 + 谱隙 ⇒ 旋转唯一。实验用的是 LeJEPA 的 SIGReg（全分布约束），论文自己写明「Section 2.1 does not cover uniqueness under its full-distribution constraint, which we leave as an assumption」与「no experiment meets the hypotheses of Section 2.1 exactly」。定理证的是理想化 JEPA；跑的是另一个目标函数；两者的桥是「假设」而非推导。
• 「NTP 是坏视图 JEPA」在关键一步断开。命题 4 的式 6 分解本身精确，但第三部分给出的是反方向的消息：NTP 最优解集在 $\mathrm{GL}(k)$ 下不变，旋转唯一性不成立。谱理论的坏视图推论（命题 3）只覆盖谱 JEPA，作者明说「this is a prediction to test rather than a corollary」。摘要里 “explains why language models align with vision only through scale” 的 “explains” 一词，比证明出来的东西强半档——实验（NTP 对齐 ≈ 坏视图、都低于好视图）与该预测一致，但「解释」的力学在这里是启发式外推。
• 好视图的制造链是一个自举回路，头条对比站在回路上。940M 图像的「好视图」三分之二是 LLaVA（视觉端 CLIP ViT-L/14）生成的 recaption——配对信息没有走损失，却走了视图定义。与 72B 语言模型、CLIP 文本编码器的对比全部跑在这批文本上；作者把这条列为主要警示并划清了边界（三编码器互比不受影响，因为读的是同一批文本）。Table 7 给出无 recaptioner 时 .060 对 .107——「无需配对数据拿到柏拉图表征」的强读法不成立，弱读法（视图质量是与规模正交的杠杆）成立。
• 42 倍是两点插值，不是曲线读数。比较的两端是 21.6M（好视图）与 900M（NTP），中间的 NTP 对齐-样本曲线没有被采样（原文注「we scored no earlier next-token checkpoint」），两档超参也不同（lr $10^{-4}$/批 256 对 $2\cdot10^{-4}$/2048）。若 NTP 对齐按对数样本增长（定律的 $d\log M$ 地板项正是这个形状），交叉点位置对曲线形状敏感。方向有匹配样本证据（.108 对 .071）兜底，42 这个数本身当量级看、别当常数看。
• 种子间波动不小。第四个种子（有效 SIGReg 权重翻倍）只到 .121，四种子平均 .168——头条 .184 是保留第一个种子权重的结果。.168 仍高于全部被测语言模型（最高 .154），主张存活，但头条与均值差着 16 个相对百分点，而 .121 那个种子离 Qwen2.5-72B 的 .154 已经很近。
• 「打败 CLIP 文本编码器」随指标换边。WIT/DINOv2 上 .184 对 .124 领先，但零配对协议下 CLIP 文本在 FOSCTTM (.006 对 .018) 与 IN-100 (68.7 对 64.4) 反超。CLIP 文本编码器本是为 CLIP 图像端训练的，这场比较先天不对称（论文也注明），引用头条时要把这两个数带上。

对大模型领域的影响。其一，把 NTP 的 log-partition 读成反坍塌项，把对比学习二十年积累的 uniformity/alignment 语言接进了 LLM 训练的讨论——「词表 softmax 的分母在防坍塌」这个视角对理解大模型的表征几何（神经坍塌、频 token 主导）有直接价值。其二，视图质量被立为与规模正交的设计轴：若在更多模态与更大规模上复现，多模态预训练的数据预算讨论（配多少描述、多少视角）会多一个量纲——本专栏五十二期的数据配比定律算的是 token 怎么切，这里补的是「同一场景的多次观测」值多少。其三，LeCun 离开 Meta 创办世界模型公司 AMI Labs 后，这是其 JEPA 路线迄今最硬的一篇理论弹药，「正对连接世界状态」会进入世界模型的训练配方讨论。

5 实践启示

可以借鉴的技术。

• 裁剪优先于一切视图工程：让两个视图只保留共享内容的裁剪（图像裁块、文本连续跨度）是好视图的核心旋钮，其余超参的敏感度低一个量级；梯度裁剪是稳定性必需品。
• 噪声匹配的免配对解码器：$\sigma=(c^{-2}-1)^{1/2}$ 按旋转后残余余弦直接算，不调参——这个「把容差对齐到误差」的思路可移植到任何「冻结表征 + 跨空间映射 + 解码」的组合件。
• 正交 Procrustes 作为最便宜的多模态接口：$k$ 对以上一般位置配对锁定旋转（0.22M–1.9M 参数），把两个独立训练的编码器拼成检索器或描述器；要跨数据迁移时坚持正交约束、拒绝自由映射。
• 互近邻 10-NN / 线性 CKA 做无参数对齐度量：不拟合任何东西就能跟踪「表征像不像」，适合当训练过程的监控指标。
• 预注册 run 的 scaling law 流程：先拟合、再在训练前预测一批随机配置、与种子噪声对账——可直接搬进任何「定律型」实验（数据配比、课程、重复次数）。

潜在应用场景。低成本的文本侧多模态接地：文本模型不需要看像素就能获得与视觉编码器对齐的表征，适合检索、零样本分类、跨模态路由这类不需要生成的场景。数据策展侧，「同一场景多描述」的语料（人工五描述、或现成 VLM 批量 recaption）的价值被量化——配合自举回路的警示，recaption 的模型选择与污染审计应进数据工程清单。视频侧的免费好视图（同一片段的多帧）在 MSR-VTT 上已验证有效，帧均值替代中间帧是一个零成本的表征增强。评测侧，零配对几何对齐（Schnaus 协议）可当「表征是否柏拉图化」的免训练探针，用于跨模型族的表征审计。

参考文献

1. Balestriero, R., LeCun, Y., Proving and Improving the Platonic Representation Hypothesis with JEPAs, arXiv:2610.39302（本文，全部公式与表格出处：定理 1–4、命题 1–4、式 1/3/6/7、表 1–4、图 1–11、§2–§5、附录 A–C）。
2. Huh, M., Cheung, B., Wang, T., Isola, P., Position: The Platonic Representation Hypothesis, ICML 2024, arXiv:2405.07987（PRH 原文，WIT-1024 基准与互近视角色的来源）。
3. Balestriero, R., LeCun, Y., LeJEPA: Provable and Scalable Self-Supervised Learning without the Heuristics, 2025（实验所用目标函数，SIGReg 反坍塌项）。
4. HaoChen, J. Z., Wei, C., Gaidon, A., Ma, T., Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss, NeurIPS 2021（谱对比学习，命题 1 的理论基座）。
5. Ermolov, A., Siarohin, A., Sangineto, E., Sebe, N., Whitening for Self-Supervised Representation Learning, 2021（白化反坍塌）。
6. Schnaus, T., Dagès, T., Cremers, D., Wang, X., Isola, P., Shared Geometry as a Rosetta Stone: Cross-Modal Alignment Without Paired Data, 2026（零配对旋转恢复协议，§5.2 基准）。
7. Li, X., Tu, H., Hui, M., et al., What If We Recaption Billions of Web Images with LLaMA-3?, 2024（Recap-DataComp 语料与 recaption 流程）。
8. Nukrai, D., Mokady, R., Globerson, A., Text-Only Training for Image Captioning Using Noise-Injected CLIP, NeurIPS 2022（噪声注入解码器，σ 匹配的先例）。
9. Oquab, M., Darcet, T., Moutakanni, T., et al., DINOv2: Learning Robust Visual Features without Supervision, 2024（图像侧主基准）。
10. Papyan, V., Han, X. Y., Donoho, D. L., Prevalence of Neural Collapse during the Terminal Phase of Deep Learning Training, PNAS 2020；Wu, R., Papyan, V., Linguistic Collapse: Neural Collapse in (Large) Language Models, 2024（命题 4 讨论中的神经坍塌引证）。

相关精读

• 本篇把本专栏连续五十七期的主线再挪一格：此前五十六期回答的是「挑哪些 token、挑哪些轨迹、信用按哪套口径记账、信号被消费时旧了多少、数据分布离基座多远、整条响应有没有资格参与这次更新、策略容量会不会被优化动力学耗光、教师分布里哪些位置允许比较、事后经验除了改行为还能不能改行动之前的那次预测、参考模型的 KL 该从哪条边进组相对更新、教师的意见从哪条通道进 RL、off-policy 校正的记账区间有多长、裁剪区间那两个端点由什么决定、干预落在流水线的哪一环、逐步信用从哪个模型里来、一个已经报出来的增益该怎么拆账、这些信号最终以什么形状落到参数上、结局空间该分成几档、同一笔优势在响应内部怎么分、教师交出来的那笔位移里哪些前缀有资格进损失、这笔信用在更新里当斜率还是当终点、一次迭代该对齐到任务的哪一格、一份外部语料要进模型，是作为检索出来的文本进上下文，还是作为预测出来的隐状态进解码器、模型内部被拆出来的那批坐标能不能当作可以相加的行为解释单元、思考预算拧大之后，模型换掉的是对一个句子的读法，还是只换掉了答对的比例、一组 token 压成一个向量时，这个压缩动作本身该不该由输入自己解出来、一份原生多模态预训练预算该在三个模态之间怎么切成参数、token 与重复次数、生成过程里没有左右顺序时 token 级信用该记在什么量上、当奖励本身就是一份由打分器算出来的清单覆盖率时，优化器在最大化哪一样，以及给这份奖励补上一个精确率项之后，模型缩短的究竟是废话还是内容、当参数量被钉死、深度靠同一组权重反复复用来买时，多出来的计算到底在买什么、MTP 的交叉熵梯度里，到底有多少在教模型它还不会的事、有多少只是在低信噪比地复读它已经会的下一 token 分布——把后者单独留下来，要不要付钱」；这一期问的是两个从不见面的模态编码器，学到同一份世界表征的充分条件是什么——正对连的到底是世界状态，还是同一份观测的扰动，这一个选择决定了表征属于世界还是属于模态，next-token prediction 属于哪一边——上一期回到损失与梯度里做精确分解，这一期退到损失之前的正对定义上做一次总体清算：先规定「什么算同一件事」，再谈学什么。

• 精读：把 MTP 梯度拆成自蒸馏与噪声残差——Soft-MTP 的一行改动、80% 的噪声占比与那份免费午餐的账单

• 精读：三明治包络、输入注入与状态组织的三轴审判——Looped Models Done Right 与那笔藏在全胜账本背面的 5.4 分

• 精读：给评分标准奖励补一个精确率项——FORK 的 1/K 信用与那道没写进公式的去重

• 精读：没有左右顺序时，token 级信用该记在什么量上——DTCA 的 255 倍量纲与 18 个词性权重

• 精读：多模态数据配比的第一张标尺——268 次 MoE 预训练定律与它最锋利的那格消融

• 精读：把压缩写成一次测试时回归——TTR-Compressor 的 Gram 矩阵与 12.24 点是怎么来的

• 精读：思考预算把 some 读成 ∃——Entertain-then-Cancel 的剂量曲线与读法记账

• 精读：SAR——SAE 特征的可加性该怎么记账，以及这笔账测不到的那一半

• 精读：DFM——把检索邻域压成一块记忆，插进解码器的中间层

• 精读：给 agent 换一层外壳再训一次——Harness Scaling 的因子化执行空间与正交选点

• 精读：给每一次迭代发一张工牌——PAR 的深度-长度对应与范数锚定

• 精读：把回合级信用从斜率换成终点——TreeOPSD 的仿射教师与残差匹配

• 精读：给教师的位移装一道闸门——中间检查点只做证据，不做目标

• 精读：把每个奖励的功劳拆回到它自己读的那几个 token 上

• 精读：GracefulRL——给退避一个中间价，代价是 74% 的题不再作答

• 精读：Ares——把 RLVR 的更新秩交给梯度谱，账本落在截断之后

• 精读：Thinking Leakage——no-think 模式下的 RL 增益有多少是从 think 模式漏过来的

• 精读：LVRL——把价值函数从「训出来的部件」换成「冻结的前沿 LLM」

• 精读：RTI——把干预从优化期搬到采样期

• 精读：GPPO——把 PPO 的裁剪区间拆成「散度」与「估计器」两维

• 精读：TAPO——把重要性比的记账区间从「当前 token」挪到「到当前位置为止的前缀」

• 精读：Residual Advantage——让教师只重分信用，不改响应总分

• 精读：ZCPO——把参考 KL 从损失支搬进组内系数

• 精读：SRD——把事后回顾蒸成事前先见

• 精读：跨分词器 OPD——把对齐覆盖度补满反而掉点

• 精读：Mesh Learning——把 RLVR 的坍塌解释成策略容量的供需冲突

• 精读：CARM——把响应级掩码的判据从净位移换成双向漂移

• 精读：把 off-policy 专家数据 MCMC 投影成 on-policy 数据

• 精读：GMC-GRPO——把重要性比从逐条裁剪换成整组收缩

• 精读：SCAPO——用「扰动下不动」给 token 记一笔负账

• 精读：把 prompt 课程从「排难度」换成「排目标」——Fisher–Rao 弧长上的高斯课程 ARCUS

• 精读：把中间那一步的信号从模型里搬进环境——用沙箱回滚跑出免费过程奖励

• 精读：把特权信息从损失搬到采样器——多轮 agent 里自蒸馏为什么会崩

• 精读：OC-GRPO——用特权信息突破 RLVR 学习悬崖

• 精读：不跑 RL，先用已有策略把新奖励的结果预测出来

• 精读：给 token 级信用一个唯一解，然后把它求和掉

• 精读：把后训练配方本身当成果——八阶段流水线里哪些收益经得起对账

• 精读：STARE——惊奇度引导的Token级优势再加权稳定策略熵

• 精读：按梯度可估性给 token 分配蒸馏监督

• 精读：TrimSFT —— 只让「中间那一段置信度」的 token 参与 SFT

• 精读：E-SFT —— 把推理轨迹的中间段删掉再练

• 精读：把中间状态的价值估计整体消掉

• 精读：Don’t Mask the Environment 与被 mask 掉的环境观察

• 精读：SP³O 与 PPO critic 的价值压平

• 精读：把「做不出来」的题变成训练信号

• 精读：DataFlex-RL —— 13 种 RLVR 数据策略，没有一个跑赢均匀采样

• 精读：NGU 与 RL 里的马太效应

• 面向RLVR训练的秩-判别性联合数据工程：从秩退化诊断到判别性驱动的训练数据策展

• 精读：Co-Evolving Harnesses and Models —— 同一份专家轨迹，换个脚手架符号就反过来

• 精读：OPD-then-RL —— 两阶段为什么打过单步融合

• 精读：One-Shot OPD —— 一条 query 够不够，取决于它走出多宽的状态

• 精读：Compile by Training —— 把提示词编译成本地权重

• 精读：Terminal-Universe——把轨迹反演回环境，而不是模仿它

• 精读：OPSA——把教师从 on-policy 蒸馏里彻底移除

• 精读：SPADE——把环境设计本身变成可训练的组件

• 精读：DART-SD——用状态拓扑定位断点，只修补该修补的那一段