论文精读

精读：BRAT——把多 pass 复用的裁剪边界从悬崖换成斜坡

同一批 rollout 连吃多个梯度 pass 时，K=16 拟合出的更新方向在留出 rollouts 上方向效率掉九倍只剩 11%；BRAT 用零和的 SymMax 组归一化加随概率比线性饱和的 token 乘子替换 PPO 硬裁剪，把四 pass 的序列漂移压到 2.67 nats（AsymRE 同期 98.41，错误响应被堆上 134.5 nats），复用深度 1→4 单调上涨、Macro-Avg6 40.87 对 GRPO 的 37.05 且种子方差减半——账本背面是对 AsymRE 的配对置信区间跨零、δ=0.8 的信任边界其实从不硬触发（仅 0.0017% 的 token 越界）。

论文： BRAT: Bounded Residual-Aligned Training for Stable Multi-Pass LLM Post-Training

作者： Xunlan Zhou, Yuzhe Zhao, Xuhong Huang, Feng Chen, Xuanlin Chen, Lang Feng, Bo An

arXiv： 2611.10873

2026年11月11日多pass复用方向效率 SymMax 信任域 RLVR 后训练目标 cs.LG

1 论文概览

一句话总结：南京大学、上海交大、港大与 NTU Bo An 组给「同一批 rollout 连吃多个梯度 pass」这个工程默认操作做了一次病理切片——K=16 条 rollout 拟合出的更新方向，在同题的 48 条留出 rollouts 上方向效率掉九倍、只剩 11%——顺着这份诊断，把 PPO 的硬裁剪换成随概率比线性饱和的软乘子（DS）加零和的 SymMax 组归一化：四 pass 复用下序列漂移压到 2.67 nats（AsymRE 同期 98.41），复用深度从 1 加到 4 五项指标单调上涨，Macro-Avg6 40.87 对 GRPO 的 37.05，种子方差接近减半。

核心问题：自回归采样贵，RLVR 管线普遍把每批 rollout 复用多个梯度 pass 来摊薄生成成本。复用期间策略离采样策略越来越远，三个现存家族各塌各的：无裁剪的组中心线性更新在反复负优势的推动下整体崩塌（MATH-500 从 58.80 掉到 20.13）；AsymRE 用负基线偏移避开崩塌，代价是给每条采样响应（包括全错组里的错误答案）加了一个正的模仿项，梯度越滚越大、种子方差越散；PPO 式比率裁剪在边界外一刀切断梯度，边界内还要乘上 $\rho>1$ 的离策因子。论文先回答「复用为什么脆」，再按答案设计目标函数。

主要贡献：

残差几何与留出对齐诊断：把 KL 正则目标的一阶改进分解成「幅值 × 方向效率 $\rho$ 」（奖励残差与 log 概率位移的余弦），在三个基座上量出 in-sample 到留出的九倍落差，把多 pass 复用的瓶颈定位为更新方向对小 rollout 组的过拟合，而非方向全错。
BRAT 目标函数：以有界线性倾斜目标上的前向 KL 近端投影为动机，DS token 乘子随概率比从 1 线性衰减到 0、在信任边界归零且全局 C¹ 光滑；SymMax 组归一化零超参、组内零和、少数派恒取 ±1。
多 pass 机制与基准验证：复用深度扫描、2×2 组件因子分解、16 轮消融、六个数学推理基准（1,546 题），BRAT 抑制离策漂移、免于多 pass 崩塌、长训练下保住竞赛 Pass@16，精度与种子稳定性同向改善。

2 方法详解

2.1 先做病理切片：方向效率的九倍落差

KL 正则后训练的最优解是指数倾斜分布 $G_\eta \propto \pi_0 e^{\eta R}$ （式 1），减掉参考策略得到带符号残差 $\Delta_\eta = G_\eta - \pi_0$ （式 2），它在每个 prompt 上零和，恰好刻画从 $\pi_0$ 搬到 $G_\eta$ 需要的精确概率质量转移。命题 1 把一阶改进拆成两本账：

$\langle g_\eta(\theta), d\rangle = \sqrt{\mathbb{E}[a_\eta^2]}\,\sqrt{\mathbb{E}[\delta_\theta^2]}\,\rho_\eta^{pred}$

其中方向效率 $\rho_\eta \in [-1,1]$ 是奖励残差与 log 概率位移的余弦。「打了多少分」与「方向对不对」从此可以分开量。

实验协议干净：128 道 MATH 题、每题缓存 64 条 rollout（Qwen3-8B 采样，三个基座共用同一批响应集），16 条用来拟合更新（in-sample），48 条留出（held-out）。结果横跨三个基座——Llama-3.1-8B / Qwen3-8B-Base / Qwen3.5-4B-Base 的 in-sample 方向效率 0.5865 / 0.6571 / 0.7148，留出只剩 0.0682 / 0.0707 / 0.0750：

“directional efficiency drops by nearly ninefold from the in-sample rollouts used to estimate the update to held-out trajectories” —— 原文摘要

两个对照排除了廉价解释：把留出 48 条切成等大的三块 16 条，效率仍是 0.064–0.074，落差不来自样本量缩放；prompt 内奖励置换的零假设下，留出效率仍是 95% 上界的 2.6–3.9 倍（z=5.4–7.7），信号是真的——但 in-sample 过拟合分量是有效信号的八倍：

“an update direction fitted to K = 16 rollouts in a high-dimensional parameter space (dim(θ) ≫ K) combines a statistically significant cross-trajectory reward signal with an eightfold larger in-sample overfitting component” —— 原文 §3.2

式 7 给出精确分解：改进 = $M \times$ （in-sample 对齐 − $\Gamma$ 缺口）， $M$ 是序列 RMS 漂移， $\Gamma$ 是拟合方向在组内与在全分布上的对齐差。 $\Gamma$ 是小样本组固有的，多 pass 复用做的事是不断推大 $M$ ——复用的脆弱性不在方向全错，在方向里 89% 是样本特定的过拟合分量，重复推送等于反复放大它。

2.2 SymMax：少数派永远拿满权重

组级缩放的三个现存病灶（表 1）：GRPO 除以组标准差，二值奖励下近饱和组（几乎全对或全错）的 $s_R \to 0$ ，稀有结果权重爆炸；Dr.GRPO 不缩放， $\hat p = 0.5$ 时少数派权重只剩 ±0.5；AsymRE 把基线下移 $b_{asym} < 0$ ，代数上等于给每条采样响应加正的似然权重：

“which adds a positive imitation term to every sampled response, including responses in all-incorrect groups, at the cost of growing actor gradients, larger variance across seeds, and lower Pass@16 at higher reuse” —— 原文 §1（论 AsymRE）

SymMax（式 12）把中心化奖励除以 $\max(\hat p, 1-\hat p)$ ：组内权重零和、有界于 [−1, 1]、少数派恒取 ±1，缩放系数 $\alpha(\hat p) \in [K/(K-1), 2]$ ，在 $\hat p = 0.5$ 时最大（α=2）、近饱和时趋近 1。相对 GRPO 的 1/s_R，这是一次几何反转——GRPO 放大近饱和组、SymMax 放大均衡组；相对 Dr.GRPO 的 α=1，均衡组的少数派从 0.5 抬回 1。作者特意强调：

“thus it is not equivalent to a global learning-rate multiplier, which would over-step on near-saturated prompts” —— 原文 §4.2

连续或多级奖励有现成推广：中心化后除以离均值最远偏差的 ℓ∞ 归一化，二值情形严格退回式 12。线上实验只测了二值奖励，这条推广没上过战场。

2.3 DS 乘子：把裁剪边界从悬崖换成斜坡

序列层的设计（式 9–10）：不追无界的指数倾斜目标，改追有界线性倾斜目标 $H_t = q(1 + \delta_t A_q)$ ——零和的 $A_q$ 保证它是合法分布，密度比严格界于 $[1-\delta, 1+\delta]$ ，不需要配分函数；候选策略用前向 KL 近端目标逼近它。命题 2 给了三件事：变分恒等式（ $p^\star = H_t$ 是唯一极小点）、单调改进（ $L_t(p) < 0$ 即严格改进）、多轮复合下界（式 11，每轮的奖励方差进账、TV 误差出账）。

token 级代理（式 13–17）是全文的手艺活：把 Schulman 的 k3 KL 估计器按 $|A^{BRAT}|$ 加权，指数曲率只保留在方向信任区间 $I_\delta(A)$ 内（从零位移到方向边界 $1 \pm \delta$ ），区间外换成 stop-gradient 锚定的一阶切线，整个代理对 $z$ 全局 C¹ 光滑。对 $z$ 求导后的乘子（式 19）分三段：反向区（ $\mathrm{sign}(A)z \le 0$ ，token 在朝优势反方向走）乘子恒 1，全力拉回；信任区间内随 $\rho = e^z$ 从 1 线性衰减到 0；边界外恒 0：

“already-shifted tokens receive no further gradient push” —— 原文 §4.3

与三个基线的机制差全在乘子形状上：PPO 在区间内乘 $\rho$ 、边界上不连续跳零；SPO 的二次惩罚在过界后反号；SAPO 的 sigmoid 软门在区间内保留 $\rho > 1$ 的放大。DS 丢掉 ρ 因子，换一个有偏的衰减更新，换取 token log 比在梯度流下平滑逼近边界。式 20 把这笔账算穿：δ=0.2 的积分乘子 0.0939，不到 PPO ϵ=0.2 的一半；δ=0.8 的积分乘子 0.3225，等效裁剪半径约 0.32——名义信任半径比 PPO 大四倍，实际推力更柔。实现层面是纯张量 clamp（float32、小 $|c|$ 用五阶泰勒防浮点相消），无墙钟开销。

3 实验结果

3.1 主设置：均值与方差同向改善

设置：Qwen3-8B-Base + LoRA（r=32），NuminaMath-1.5 已验证题，每轮 64 prompt × 8 rollout，4 个复用 pass，3 种子，12 轮单卡（384 步）；六个基准 1,546 题，贪心 Pass@1：

基准	Base	GRPO	Dr.GRPO	AsymRE	BRAT
MATH-500	61.20	77.93±1.47	78.20±0.69	78.60±0.69	79.60±0.40
OlympiadBench	26.56	41.39±2.14	41.20±2.27	41.64±4.55	42.83±0.56
Minerva-Math	21.32	28.55±3.13	25.74±0.37	30.02±2.81	28.92±1.06
AMC 2023	30.00	53.33±2.89	54.17±3.82	60.00±7.50	61.67±1.44
AIME 2024	0.00	8.89±5.09	13.33±3.33	14.44±3.85	15.56±1.92
AIME 2025	6.67	12.22±3.85	15.56±5.09	8.89±1.92	16.67±3.33
Macro-Avg6	24.29	37.05±1.47	38.03±2.20	38.93±1.07	40.87±1.13
Micro-Avg	36.03	50.06±1.62	49.74±1.10	50.86±2.57	51.72±0.64

五个基准均值最高、四项种子 SD 最低；三个竞赛基准贪心均值 31.30 对 AsymRE 的 27.78。配对问题级置信区间：对 Dr.GRPO +1.98pp [0.91, 3.06]、对 GRPO +1.66pp [0.54, 2.78] 显著，对 AsymRE +0.86pp [−0.27, +1.99] 跨零。AsymRE 在 Minerva 反超、temp=1.0 的 Pass@4 在 AMC23/AIME25 更高，代价是 SD 冲到 4.55/7.50。截断混淆也排了：AsymRE 响应更短、截断率 2.35% 对 BRAT 的 6.53%，只看非截断响应 55.18 对 52.03，共同无截断的 1,300 题子集 BRAT +2.00pp。墙钟 4.81 小时，全场最快（GRPO 5.06），DS 无额外开销兑现。

3.2 复用深度：塌缩的解剖

2×2 因子分解（DS 有无 × 组缩放）把崩塌归因钉死：去掉 DS，p=4 下两种组缩放全崩——Centered + Linear 的 MATH-500 从 R12 的 58.80±26.58 掉到 R16 的 20.13±27.04，SymMax + Linear 只有 23.13±39.72；换上 DS，两种缩放都活。复用深度扫描里 BRAT 是唯一从 p=1 到 p=4 五项指标单调上涨的：R16 的 MATH-500 72.40 → 78.60 → 79.87，竞赛 Pass@16 43.06 → 47.96 → 51.85。AsymRE 在 p=4 拿到更高的 MATH-500（81.07）与竞赛 Avg@16（27.32），但 OlympiadBench 从 44.31 掉到 42.43、Pass@16 从 50.83 掉到 48.33——p=2 到 p=4 之间掉头。信任半径扫描 δ∈{0.2, 0.5, 0.8}：δ=0.2 欠拟合（式 20 的积分乘子预测在先）、δ=0.8 全面最优，R16 Pass@16 三档为 45.28 / 48.89 / 51.85。

3.3 留出对齐诊断：AsymRE 的病灶在数字里现形

表 6 是诊断协议的在线版（128 题、η=0.8、四 pass 逐步测量）。AsymRE 的 Pass 4 序列漂移 M48=98.41 nats，正确响应 +81.1 nats、错误响应 +134.5 nats——负基线真的在把概率质量推给错误答案，无裁剪目标在四 pass 里把组内所有响应一起抬。BRAT 的 M48=2.67 nats（SymMax+Linear 无裁剪对照 27.21，十倍差距），留出效率 ρ48=0.04879 全场最高。

一个反直觉的读数：信任边界几乎从不硬触发——Pass 4 只有 0.0017% 的活跃 token 越过 ρ=1±0.8，53.6% 的 token 待在反向区吃满乘子 1、46.4% 在区间内吃线性衰减。BRAT 的机制是软阻尼，不是裁剪；δ=0.8 的「大半径」配上从 ρ=1 就开始的衰减，实际是又宽又缓的斜坡。token 加权对照（固定 SymMax）里 BRAT 打过 unclamped k3、DAPO Clip-Higher、TOPR、名义与乘子匹配的 SAPO；乘子匹配的 SAPO 漂移更小（1.89 nats）但效率塌到 0.018——步子小不等于方向对。另一个值得记下的细节：GRPO/Dr.GRPO 的留出效率（0.0433/0.0431）与 BRAT（0.0488）差距不大，裁剪也压住了漂移（M48 2.92/2.79）；真正拉开差距的是训练结局——崩塌、方差、Pass@16 保留——诊断表里三家都健康。

3.4 长 horizon：Pass@16 的保留是独家的

R12 到 R16 的竞赛 Pass@16 变化：BRAT +0.55±1.40（保住 51.85），SymMax+SAPO −4.91±5.72（种子 1 从 50.83 崩到 40.56）、Std+SAPO −1.76、SymDS −0.93——BRAT 是四组里唯一守住竞赛分布多样性的。同一张表里藏着 Pass@1 与 Pass@16 的权衡：SymMax+SAPO 在 OlympiadBench/Minerva 的贪心 Pass@1 更高（46.64/35.42 对 BRAT 的 44.81/32.72），代价是竞赛 Pass@16 掉 4.91pp——加权方案塑造的是探索-收敛画像，贪心指标会掩盖多样性的流失。这与 KAPPO 那期拆过的 @k 锐化是同一本账的另一个方向。

4 个人分析

亮点

诊断先于药方。九倍落差配两个对照（等块、置换零假设），加上式 7 把改进精确拆成 $M$ 与 $\Gamma$ 两本账，「多 pass 为什么脆」从直觉变成了可测量的量。方向效率的测量协议便宜——缓存 rollout、拆分、算余弦——任何 RLVR 团队都能复算，这个工具的寿命会比 BRAT 本身长。
SymMax 的几何干净。零超参、零和、少数派恒满权，对 GRPO 的近饱和爆炸与 Dr.GRPO 的均衡组缩水一石二鸟，还附带连续奖励的 ℓ∞ 推广。
软阻尼的账目透明。作者没有把 δ=0.8 讲成激进的信任半径：式 20 主动算出有效推力只有 0.32，表 6 主动报告边界从不硬触发。宣称与机制之间没有修辞缝。
对账纪律。配对置信区间、截断混淆排查、非截断子集复算、per-seed 分解全给，赢在哪里、赢多少、哪里不显著都写在明处。

局限性（账本背面）

对 AsymRE 的头条优势不显著。Micro-Avg 配对区间 [−0.27, +1.99] 跨零；消融套件里 AsymRE 在 p=4 的 MATH-500（81.07）与竞赛 Avg@16（27.32）都高于 BRAT。BRAT 的确凿赢面在稳定性——SD 减半、复用单调、Pass@16 保留——不在头条精度，读这篇论文时应把两类主张分开称重。
Macro-Avg6 的权重结构放大了小样本波动。AIME 两个 30 题基准、AMC 一个 40 题基准与 MATH-500 的 500 题同权平均，AsymRE 的宏均被 AIME25 的 8.89（低于 GRPO 的 12.22）拖垮。把 30 题与 500 题等权，宏均口径对种子波动极敏感，40.87 对 38.93 的差距里有多少来自这个权重结构，论文没有拆。
规模与范围。线上只测了 Qwen3-8B + LoRA、12–16 轮、64 prompt/轮；诊断跨三个基座，训练只跨一个。二值奖励在线上是唯一战场，ℓ∞ 推广没验证。论文自己承认理论缺口：

“Proposition 2’s sequence-level guarantees do not transfer automatically to the token-level surrogate” —— 原文 §6

Γ 本身没被治疗。式 7 里 BRAT 只压 $M$ 不动 $\Gamma$ ，缩 $\Gamma$ 得靠加大组或更多样化样本——论文在 limitations 里承认 in-sample 到留出的落差是小 rollout 组的固有属性。复用深度只扫到 p=4，p=8、p=16 的单调性是外推不是测量。
AsymRE 对照的超参耦合。 $b_{asym}=-0.05$ 是全局常数，对全对组与全错组不加区分地加模仿项；但 BRAT 的 δ=0.8 同样是扫描选出的默认值，两家的超参敏感度都没有对称报告（δ 扫了三档， $b_{asym}$ 一档没扫）。

对大模型领域的影响

多 pass 复用是 rollout 主导成本下的工程现实，DAPO 放宽裁剪窗口、GSPO 换序列级比率、CISPO 分离重要性权重，都在工程化同一个痛点；BRAT 把这个问题从「调 ϵ 与 pass 数」的手感升级为目标函数级的答案——零和权重与软饱和乘子两个组件都可独立移植，SymMax 一行代码就能装进任何组基线管线。对本专栏的主线，GMC-GRPO 那期处理异步 rollout 的组级质量收缩、SCAPO 给 token 记扰动负账，都是「离策程度怎么记账」的变体；BRAT 把同一本账记进目标函数的乘子里，还给出了崩塌的病理切片——负基线如何在四个 pass 里给错误答案堆出 134.5 nats。工程上最可迁移的不是配方，是那份诊断协议：任何「小 batch 拟合方向、大分布消费方向」的训练——RLVR、OPD、拒绝采样 SFT 的多 epoch 复用——都该先量一次自己的九倍落差。

5 实践启示

可以借鉴的技术

配方可直接抄：SymMax 即 $\alpha = 1/\max(\hat p, 1-\hat p)$ 一行；DS 乘子即张量 clamp 加 stop-gradient 切线，δ=0.8、float32、小 $|c|$ 五阶泰勒防相消。无墙钟开销，比 GRPO 族还少一个 KL 系数 $\beta$ 。
留出对齐诊断当训练前预检：每题缓存 K+K’ 条 rollout，算经验残差梯度与方向余弦，配等块与置换零假设双对照——「这批数据值不值得多 pass」在训练前就能有读数，比跑崩了回滚便宜两个数量级。
Γ/M 分账进监控面板：序列漂移 M 与留出效率 ρ 做成在线双指标，崩塌前 M48 会先爆炸（AsymRE 在 Pass 1 就是 30.50 nats），比看 reward 曲线失真更早报警。
Pass@1/Pass@16 权衡显性化：换 token 加权方案前先量竞赛分布保留，SymMax+SAPO 的 −4.91pp 说明贪心指标会掩盖多样性流失——表 1 那张乘子全景表（连续性、饱和性、区间内行为各一列）可以直接当现有管线的审计模板。

潜在应用场景

rollout 昂贵的多轮 agent RL：agent 轨迹又长又贵，pass 复用比数学题更刚需；BRAT 的崩塌免疫与单调收益曲线直接对症，尤其是「全错组也常见」的高难环境——AsymRE 的模仿项恰恰在这种环境里最毒。
小卡团队的等效算力：p=4 复用且保单调，等于同样生成预算下四倍梯度步；12 轮单卡 4.81 小时的主设置本身就是小规模复现的友好样板。
后训练目标审计：把现有管线的 token 乘子画成三段图（反向区、衰减区、饱和区），不连续点与 ρ>1 的放大区间一目了然；GRPO 的裁剪份数随 pass 涨三倍（图 2d）这类退化，在乘子图上是可见的。

参考文献

Zhou, X., Zhao, Y., Huang, X., Chen, F., Chen, X., Feng, L., An, B. BRAT: Bounded Residual-Aligned Training for Stable Multi-Pass LLM Post-Training. arXiv:2611.10873, 2026（本文，南京大学 + 上交 + 港大 + NTU；多 pass 复用的方向效率诊断与线性饱和乘子）。
Shao, Z., et al. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. arXiv:2402.03300, 2024（GRPO 出处，组内标准差归一化与比率裁剪的基线）。
Liu, Z., et al. Understanding R1-Zero-like Training: A Critical Perspective. arXiv:2503.20783, 2025（Dr.GRPO，去掉长度与标准差偏置但保留硬裁剪）。
Arnal, C., et al. Asymmetric REINFORCE for Off-Policy RL: Balancing Positive and Negative Rewards. NeurIPS 2025（AsymRE，负基线偏移的无裁剪替代）。
Yu, Q., et al. DAPO: An Open-Source LLM RL System at Scale. arXiv:2503.14476, 2025（放宽裁剪窗口的工程化路线）。
Xie, Z., et al. Simple Policy Optimization. ICML 2025（SPO，比率空间二次惩罚、过界反号的对照）。
Gao, C., et al. Soft Adaptive Policy Optimization. arXiv:2511.20347, 2025（SAPO，sigmoid 软门控对照）。
Schulman, J. Approximating KL Divergence. 2020（k3 估计器，DS 乘子指数曲率的来源）。