论文精读

精读：没有左右顺序时，token 级信用该记在什么量上——DTCA 的 255 倍量纲与 18 个词性权重

用「提交这个 token 后其余 mask 位置的置信度涨了多少」定义贡献度，按词性聚成 18 个权重去做去噪步选择与步内信用，再叠一层熵流校准；本文按格重算发现该估计未除以剩余 mask 数，而剩余 mask 数随去噪步收缩 255 倍，于是权重在数学上退化成「这一类平均第几步被提交」的线性读数。

论文： DTCA: Denoising Token Credit Assignment for Reinforcement Learning in Diffusion Language Models

作者： Hongze Chen, Miao Pan, Lizhou Liang, Qinfeng Li, Xinyin Ma, Yongliang Shen, Weishi Wang, Daniel Dahlmeier, Xuhong Zhang, Wenqi Zhang

arXiv： 2610.35201

2026年10月29日扩散语言模型信用分配强化学习 token级权重 LLaDA 数学推理词性聚合熵流校准

1 论文概览

本文是 arXiv:2610.35201（cs.CL；v1 2026-10-26 10:54:11 UTC；Hongze Chen、Miao Pan、Lizhou Liang、Qinfeng Li、Xinyin Ma、Yongliang Shen、Weishi Wang、Daniel Dahlmeier、Xuhong Zhang、Wenqi Zhang，浙江大学 ACES Lab OmniAI 组 × 新加坡国立大学 × SAP；20 页、10 图；代码与项目页已开源）。本专栏此前五十二期回答的是「挑哪些 token、挑哪些轨迹、信用按哪套口径记账、信号被消费时旧了多少、数据分布离基座多远、整条响应有没有资格参与这次更新、策略容量会不会被优化动力学耗光、教师分布里哪些位置允许比较、事后经验除了改行为还能不能改行动之前的那次预测、参考模型的 KL 该从哪条边进组相对更新、教师的意见从哪条通道进 RL、off-policy 校正的记账区间有多长、裁剪区间那两个端点由什么决定、干预落在流水线的哪一环、逐步信用从哪个模型里来、一个已经报出来的增益该怎么拆账、这些信号最终以什么形状落到参数上、结局空间该分成几档、同一笔优势在响应内部怎么分、教师交出来的那笔位移里哪些前缀有资格进损失、这笔信用在更新里当斜率还是当终点、一次迭代该对齐到任务的哪一格、一份外部语料要进模型，是作为检索出来的文本进上下文，还是作为预测出来的隐状态进解码器、模型内部被拆出来的那批坐标能不能当作可以相加的行为解释单元、思考预算拧大之后，模型换掉的是对一个句子的读法，还是只换掉了答对的比例、一组 token 压成一个向量时，这个压缩动作本身该不该由输入自己解出来、一份原生多模态预训练预算该在三个模态之间怎么切成参数、token 与重复次数」；这一期问的是生成过程里没有左右顺序时，「哪个 token 该多拿一点信用」这条账该记在什么量上，而这个量本身量到的到底是语义贡献还是提交时机——前五十二期改的全是「信用按什么口径分给谁」，本篇第一次把「顺序」这个前提抽掉：token 不再按位置先后出生，而是按置信度先后被提交。

一句话总结：把扩散语言模型（DLM）里「token 提交之后，其余仍被 mask 的位置的预测置信度涨了多少」当作该 token 的贡献度，按词性（POS）聚合成 18 个类别权重并压进 $[0.8,1.2]$ ，用这批固定的权重去做两件事——挑要去噪步、给步内 token 分信用——再叠一层从 OPEFO 借来的熵流校准；在 LLaDA-8B-Instruct 上，MATH500 / GSM8K 三档预算共 6 格全部高于本地复现的 RLDF，相对基座最多 +9.0 / +5.3 个百分点。本文按格重算后发现：贡献度估计 $\Delta P_i$ 没有除以剩余 mask 数，而剩余 mask 数随去噪步单调收缩 255 倍，于是 18 个 POS 权重在数学上退化成「这一类平均在第几步被提交」的线性读数；且离线估权重用的解码调度（每步提交 2 个 token、共 128 步）与训练/推理的调度（块大小 32、置信度阈值 0.9、约 69 步）根本不是同一个过程。

核心问题：自回归模型里 token 的出生次序天然给了信用分配一个坐标轴，DLM 没有这条轴。论文把这个困难写成一句可检验的话：

“However, the iterative denoising process makes credit assignment more challenging, as final outcome rewards provide limited information about how different tokens contribute to the final output.”（Abstract）

以及它给自己选定的记账口径——用「提交这个 token 之后，其余 mask 位置的预测置信度改善了多少」来定义贡献：

“DTCA estimates token contributions by measuring the improvement in prediction confidence of remaining masked positions after token commitment and groups these signals according to part-of-speech (POS) categories.”（Abstract）

主要贡献：

一个 DLM 专用的 token 级贡献度定义： $F(x;\mathcal{M})=\sum_{j\in\mathcal{M}}\max_v p_{\theta,j}(v\mid q,x)$ ，贡献度取 $\Delta P_i=\max(0,F(x_t^{(i)};\mathcal{M})-F(x_t;\mathcal{M}))$ ，其中 $\mathcal{M}$ 是提交前后都还被 mask、且排除掉 $i$ 本身的位置集合。
一个 POS 聚合层：认为逐 token 估计在 RL 训练中需要额外前向，且跨 rollout 抖动大，于是离线跑一遍去噪 rollout，把 $\Delta P_i$ 按 18 个 spaCy 词性求均值 $m_c$ ，再 min-max 压到 $w_c\in[0.8,1.2]$ ，整张表在 RL 全程冻结。
两条复用通路： $w_c$ 进时间步打分 $q_t=\sum_{i\in\mathcal{A}_t}w_{c_i}(1-p_i)$ （选到累计占总分 $\mu=70\%$ 为止，步数限在 2–32），也进步内信用 $a_{t,i}=w_{c_i}/\mathrm{mean}_{k\in\mathcal{B}_t}(w_{c_k})$ 。
一套搬到 DLM 上的熵流校准：把 OPEFO 的一阶熵变估计 $\Delta H_{t,i}=-\eta A_{t,i}(1-p_i)^2(\log p_i+H_i)$ 里的自回归解码步换成「被选中的去噪状态 × 保留目标位置」，按 $\Delta H$ 的正负把更新分成两组，用 $\lambda_b\in[-0.95,0.95]$ 做组内缩放，再用式 (14) 还原整条响应的信用总量。
一组统一的复现实验：在同基座、同数据、同评测协议下本地复现 RLDF 与其余五个 DLM-RL 基线，主表 6 格全部第一（MATH500 128/256/512 为 39.8/43.2/44.0，GSM8K 为 80.6/85.3/85.4）。

2 方法详解

2.1 起手式：一个没有左右顺序的策略目标

设 $\tau=(x_T,x_{T-1},\ldots,x_0)$ 是一条采样轨迹， $x_t$ 是第 $t$ 步的部分 mask 响应。单调 unmasking 调度下，每一步把一部分 mask 位置换成预测 token，论文称之为 token commitment。序列级目标仍是 $\mathcal{J}(\theta)=\mathbb{E}[R(q,y)]$ ，但 $\pi_\theta(y\mid q)$ 是这套迭代采样过程诱导出的分布，不是自回归分解——这一句限定很重要，后面所有的似然比、优势、KL 都挂在这条非分解的链上。

组相对策略优化把同一个 prompt 的若干条响应的奖励换成响应级优势，再摊到被选中的去噪状态上：

$\mathcal{L}_{\mathrm{RL}}(\theta)=-\mathbb{E}\!\left[\frac{1}{N}\sum_{t\in\mathcal{T}}\sum_{i\in\mathcal{B}_t}A_{t,i}\log\pi_\theta(v_i\mid q,x_t)\right]+\beta_{\mathrm{KL}}\mathcal{L}_{\mathrm{KL}},\qquad(2)$

其中 $N=\sum_{t\in\mathcal{T}}|\mathcal{B}_t|$ 。DTCA 的全部改动，都发生在这个式子里 $A_{t,i}$ 怎么来、以及 $\mathcal{T}$ 挑哪些步。

2.2 贡献度：一次「置信度涨了多少」的差分

给定去噪状态 $x_t$ 与其上被提交的第 $i$ 个 token，取 $\mathcal{M}$ 为提交前后都还 mask、且不含 $i$ 的位置集合，定义聚合置信度 $F(x;\mathcal{M})=\sum_{j\in\mathcal{M}}\max_{v}p_{\theta,j}(v\mid q,x)$ ，贡献度为

$\Delta P_i=\max\left(0,F(x_t^{(i)};\mathcal{M})-F(x_t;\mathcal{M})\right),\qquad(4)$

$x_t^{(i)}$ 表示单独提交 $i$ 之后的状态。论文在这里明写了一条容易被略过的实现选择：

“Negative total changes are set to zero; the estimate is not divided by the number of remaining masks.”（§4.1）

两处都值得盯：截断到 0 意味着 $m_c\ge 0$ 恒成立（被截断的比例全文未报）；不除以 $|\mathcal{M}|$ 意味着 $\Delta P_i$ 是一个随去噪进程机械收缩的量。

2.3 POS 聚合：从逐 token 抖动到 18 个固定权重

逐 token 估计要在 RL 训练中为每次提交额外前向，代价太高；且跨 rollout 抖动。于是离线先跑一遍：

“During offline estimation, DTCA uses a denoising budget equal to half of the maximum generation length. At each denoising step, two tokens are committed, and DTCA evaluates each token separately through additional forward passes based on the confidence improvement of remaining masked positions.”（§4.1）

按 $m_c=\frac{1}{N_c}\sum_{i:c_i=c}\Delta P_i$ 聚合，再用

$w_c=0.8+0.4\,\frac{m_c-\min_{j}m_j}{\max_j m_j-\min_j m_j},\qquad(6)$

压进 $[0.8,1.2]$ 。用 spaCy 的 en_core_web_sm 打标签，18 个原生类别共用一张表，表外用 X。这张表在 RL 全程冻结（附录 C.3）。

2.4 时间步选择：把权重乘进不确定性

沿用 RLDF 只优化部分去噪步的做法，第 $t$ 步的打分是

$q_t=\sum_{i\in\mathcal{A}_t}w_{c_i}(1-p_i),\qquad(7)$

按 $q_t$ 降序取到累计分数达到总分 $\mu$ 为止，步数限 2–32。默认 $\mu=0.70$ 。

2.5 步内信用：一次均值归一化的再分配

被优化的 token 集合 $\mathcal{B}_t$ 包含「该步提交的」与「被低概率过滤保留下来的 mask 位置」（阈值 $p\ge0.2$ ），POS 取自完成后的 rollout。信用权重为

$a_{t,i}=\frac{w_{c_i}}{\frac{1}{|\mathcal{B}_t|}\sum_{k\in\mathcal{B}_t}w_{c_k}},\qquad A_{t,i}=a_{t,i}A_t.\qquad(8)(9)$

分母是 $\mathcal{B}_t$ 内 $w$ 的均值，所以每一步内的平均信用恒等于 1。附录 B 进一步明确 $A_t$ 就是响应级优势 $A^{(b)}$ ，在所有被选中的步上取同一个值。

2.6 熵校准：从 OPEFO 搬来的一阶估计

$\Delta H_{t,i}^{(b)}=-\eta A_{t,i}^{(b)}(1-p_i^{(b)})^2(\log p_i^{(b)}+H_i^{(b)}),\qquad(10)$

按 $\Delta H$ 的正负分成 $S_b^+$ / $S_b^-$ ，再算

$\lambda_b=\operatorname{clip}\!\left(\frac{\sum_{S_b^-}|\Delta H|-\sum_{S_b^+}\Delta H}{\sum_{S_b^-}|\Delta H|+\sum_{S_b^+}\Delta H},-0.95,0.95\right),\qquad(12)$

$\Delta H>0$ 的乘 $(1+\lambda_b)$ ，其余乘 $(1-\lambda_b)$ ，再用式 (14) 把整条响应的信用总量还原回去。附录 B 明说它改的是 $\widetilde A$ 而不是加一个熵损失项，且 $\eta=10^{-6}$ 。

2.7 与基线的区别

最近的对照物是 DACA-GRPO（按去噪进度与被 mask 位置的预测概率变化加权）与 RLDF（从去噪状态的平均惊奇度做温度 1 的 softmax 采样，取 16 或 32 步）。DTCA 相对 RLDF 换掉了三样东西：步打分从「平均惊奇度 + 随机采样」换成「 $\sum w(1-p)$ + 确定性取到质量 $\mu$ 」；步内信用从均匀换成 POS 加权；再加一层熵校准。

3 实验结果

3.1 主表：6 格全胜，但胜利的量级很薄

方法	MATH500 128/256/512	GSM8K 128/256/512
LLaDA-8B-Instruct（基座）	30.8 / 36.4 / 39.2	75.3 / 83.2 / 82.9
LLaDA-1.5	32.6 / 39.4 / 39.8	76.2 / 81.6 / 83.0
Uniform SFT	24.6 / 30.0 / 32.6	74.8 / 80.7 / 78.6
d1	33.6 / 37.6 / 37.2	75.8 / 82.4 / 81.8
ESPO	37.6 / 38.0 / 40.2	78.1 / 83.2 / 84.0
TraceRL	32.6 / 34.2 / 34.0	76.6 / 80.4 / 81.8
Coupled-GRPO	35.2 / 40.2 / 40.2	78.0 / 83.6 / 83.2
RLDF（本地复现）	36.2 / 41.2 / 42.6	77.2 / 83.4 / 82.7
DTCA w/o Entropy Calibration	37.4 / 41.8 / 39.8	78.3 / 83.9 / 81.9
DTCA w/o Contribution Credit	36.2 / 39.4 / 41.2	77.1 / 82.9 / 82.3
DTCA	39.8 / 43.2 / 44.0	80.6 / 85.3 / 85.4

相对基座，MATH500 是 +9.0 / +6.8 / +4.8，GSM8K 是 +5.3 / +2.1 / +2.5；相对本地复现的 RLDF，MATH500 是 +3.6 / +2.0 / +1.4，GSM8K 是 +3.4 / +1.9 / +2.7。摘要取的是「up to 9.0 / 5.3」，即三档预算里的最大值，出现在 128 这一档。

3.2 与 SOTA 的对比：方向可信，量级待定

主表没有误差棒、没有多种子。MATH500 有 500 题，单次评测的二项标准误约 2.2 个百分点；两模型独立比较的差值标准误约 3.1 个百分点。逐格算下来：

比较	128	256	512
DTCA − RLDF，MATH500（SE≈3.1 pp）	+3.6（1.17σ）	+2.0（0.64σ）	+1.4（0.45σ）
DTCA − RLDF，GSM8K（SE≈1.4 pp）	+3.4（2.14σ）	+1.9（1.34σ）	+2.7（1.90σ）
DTCA − 基座，MATH500（SE≈3.1 pp）	+9.0（2.99σ）	+6.8（2.20σ）	+4.8（1.54σ）
DTCA − 基座，GSM8K（SE≈1.4 pp）	+5.3（3.29σ）	+2.1（1.48σ）	+2.5（1.76σ）

12 格比较全为正号，方向层面按符号检验是 $p=2^{-12}\approx2.4\times10^{-4}$ （双侧约 $4.9\times10^{-4}$ ），趋势是真的。但六格「DTCA − RLDF」里没有一格达到 2.5σ，MATH500 三格全在 1.2σ 以内。清过 3σ 的只有 MATH500@128 与 GSM8K@128——恰好是摘要挑作头条的两格，也恰好是离训练配置（256 步）最远的一档评测。

3.3 消融：两臂都在 512 档掉到 RLDF 之下

按论文给的 256 档与 512 档读数，把两条消融臂与 RLDF 摆在同一行：

配置	MATH500@256	MATH500@512	GSM8K@256	GSM8K@512
RLDF	41.2	42.6	83.4	82.7
DTCA w/o Contribution Credit	39.4	41.2	82.9	82.3
DTCA w/o Entropy Calibration	41.8	39.8	83.9	81.9
DTCA	43.2	44.0	85.3	85.4

两处必须记下来。第一，「去掉贡献信用」这一臂在 6 格里 6 格不高于 RLDF（MATH500：36.2 持平 / 39.4 / 41.2；GSM8K：77.1 / 82.9 / 82.3）。第二，在 512 档上，两条消融臂一并掉到 RLDF 之下，而完整方法却高出 RLDF 1.4（MATH500）与 2.7（GSM8K）。若两个组件各自贡献为正，去掉任一个都应落在 RLDF 与 DTCA 之间；落在 RLDF 之下，说明单次运行的抖动已经盖住了这两个组件的效应量。

3.4 覆盖度表：中间量与终点量之间缺一环

附录表 2 是论文为「选步更优」给出的主要证据，在匹配状态比例下比较所选状态覆盖了多少 token / 置信度 / 低置信质量 / 熵：

方法	状态比例	Token 覆盖	低置信覆盖	熵覆盖
DTCA（ $\mu=0.40$ ）	16.82	19.99	40.59	37.81
RLDF（同数量）	16.82	15.01	19.93	19.22
RLDF top-16	23.31	10.01	42.46	35.88
DTCA（ $\mu=0.70$ ）	31.81	36.02	62.81	59.31
RLDF（同数量）	31.81	28.94	36.46	35.21
RLDF top-32	45.42	28.75	66.39	60.66

在论文自己定义的「找到低置信步」这个目标上，确定性的 top- $k$ 规则在两档上都比 DTCA 略高（42.46 对 40.59，66.39 对 62.81），只是多挑了状态、少覆盖了 token。论文在正文里如实写了这一点，但没有给出「覆盖度 → 准确率」的任何一列：带 POS 权重的选步配上均匀信用之后，终点指标 6 格全不高于 RLDF。

4 个人分析

4.1 亮点

选了一个别人没动过的坐标轴。DLM 的 RL 论文此前集中在序列级似然代理（ESPO 的 ELBO）、掩码配对降方差（Coupled-GRPO）、轨迹与中间状态（TraceRL / RLDF / DiSPO）。把「哪一步、哪一个位置该拿信用」单独拎出来，方向是对的。
消融与诊断的诚实度不低。附录 D.1 主动摆出 top- $k$ 在低置信覆盖上略胜；§5.6 与附录 D.3 明写「校准并没有在所有 POS 上统一把熵压下去」（X 在 DTCA 下 +0.447 nats、不校准下 +0.184；AUX 分别是 +0.072 与 −0.133），并声明图 8/9 是「跨运行趋势」而不是同一批 token 更新前后的对照。
统一复现的基线协议。主表所有行都是本地在同一评测协议下跑出来的（附录 C.4），而不是从各自的原论文抄数字，这一条在这个子领域里并不常见。
训练动力学的读数给得足：图 7 报了 reward 0.464→0.537（RLDF 0.467→0.482）、策略熵 2.00 对 1.78 nats、平均 KL 0.36 对 0.89。更高的 reward 配更低的 KL 与更高的熵，本身是有价值的一条观察。

4.2 局限性

（一）最锋利的一条： $\Delta P_i$ 没有除以 $|\mathcal{M}|$ ，于是 POS 权重退化成提交时机的线性读数。

离线估计的调度是「每步提交 2 个 token、预算为最大生成长度的一半」。最大生成长度 256，即 128 步、256 个 token；第 $t$ 步提交后仍被 mask 的位置数是 $|\mathcal{M}|=257-2t$ ，从 255 一路降到 1，跨 255 倍。 $F$ 本身就是 $|\mathcal{M}|$ 个「最大概率」之和，所以只要每个位置的置信度增益有大致稳定的均值 $\bar\delta$ ，就有

$\Delta P_i\approx|\mathcal{M}|\cdot\bar\delta=(257-2t)\,\bar\delta .$

代入式 (5)， $m_c\approx\bar\delta\,(257-2\,\mathbb{E}_c[t])$ ——它是该类平均提交步 $\mathbb{E}_c[t]$ 的严格递减仿射函数。min-max 归一化保仿射，于是式 (6) 可以改写成一个不含任何语义量的形式：

$w_c=1.2-0.4\cdot\frac{\mathbb{E}_c[t]-\mathbb{E}_{\min}[t]}{\mathbb{E}_{\max}[t]-\mathbb{E}_{\min}[t]}.$

18 个词性权重，就是 18 个「这一类平均在第几步被提交」的读数。 论文自己的图 1 正好把这个混淆坐实了两遍：图 1(a) 里 VERB 的提交比例在开头高、随后大幅下降，NOUN 全程维持较高比例，ADP / DET / ADJ 比例低且变化平；图 1(b) 里 VERB 的置信度增益最大，NOUN / PROPN 次之，DET / ADP 最小。提交越早的一类， $\Delta P$ 越大——因为早提交时 $|\mathcal{M}|$ 大，不是因为动词比介词更有语义分量。引言里给的语言学理由（“nouns and verbs typically carrying lexical information while determiners and adpositions mainly providing grammatical structure”）在这套估计式里没有承担任何工作。

一条干净的对照就能分开两种解释：把 $\Delta P_i$ 除以 $|\mathcal{M}|$ 再重算一遍 $w_c$ ，或者用「按提交步分桶」而不是「按词性分桶」构造权重。两者都没有跑。

（二）这套权重是在另一个解码过程上估出来的，并且全程冻结。

离线调度是 128 步 × 2 token/步；训练与推理用的是块大小 32、动态置信度阈值 0.9、每步提交数可变——从附录表 2 的状态比例可以反推每次 rollout 实际只有约 69 个去噪步（RLDF 取 32 步对应 45.42%，取 16 步对应 23.31%，都指向 $\approx70$ ），即平均约 3.7 token/步，是离线调度的 1.85 倍。「提交时机 → 权重」这条映射的横坐标本身就换了刻度。 更要紧的是表在 RL 全程不动，而论文自己的图 4 显示策略的提交分布随训练在变（NUM 的提交比例在各阶段一致下降、PUNCT 一致上升）——被冻结的那张表编码的正是这个会漂移的量。

（三）三处均值归一化串联之后，机制只剩「步内 ±20%」。

$w_c\in[0.8,1.2]$ ，步内再除以均值，那么同一时间步内任意两个 token 的信用之比上限就是 $1.2/0.8=1.5$ ，典型值远小于此；若某个 $\mathcal{B}_t$ 恰好 POS 同质，则 $a_{t,i}\equiv1$ ，机制完全不动作（这类步的占比未报）。再往后，式 (14) 按响应还原总信用、式 (15) 按总目标数 $N$ 做平均，两处都是保均值的。合起来：POS 权重只在一个时间步内部做再分配， $\lambda_b$ 只在一条响应内部做再分配，两者都不改变任何一个总量。 一个最大对比度 1.5×、保均值的重加权，要支撑 256 档上 3.8 个百分点（MATH500）的消融差，需要先把「无种子、单次运行」这一层噪声排除掉——而上面 3.3 节那张表说明它没有被排除。

（四）熵校准：被平衡的量是 $10^{-7}$ nats 级，实际动作却是 0.05×–1.95×。

图 10 报的净预测变化是 $-0.033\times10^{-7}$ nats（第 1–100 步）与 $-0.081\times10^{-7}$ nats（第 401–500 步），不校准时是 $-0.267$ 与 $-0.201$ 。 $\eta=10^{-6}$ 代入式 (10)， $|A|\lesssim2$ 、 $(1-p)^2\le1$ 、 $|\log p+H|$ 为个位数 nats，量级对得上。 $\lambda_b$ 是比值， $\eta$ 在分子分母里抵消，所以 $\lambda_b$ 本身是良定义的；但「按熵变化校准」这条因果链在这个量级上不可测——它只有 $10^{-7}$ nats 那么大——论文自己也在图 10 的说明里写了 “These values are first-order estimates based on the training signals, not direct measurements of entropy after a parameter update”。

$\lambda_b$ 的实际杠杆是另一回事：裁剪区间 $[-0.95,0.95]$ 意味着两组之间可以相差到 $1.95/0.05=39$ 倍。把符号摊开更能看清这个杠杆落在哪里。 $(1-p_i)^2\ge0$ 、 $\eta>0$ ，故

$\mathrm{sign}(\Delta H)=-\mathrm{sign}(A_{t,i})\cdot\mathrm{sign}(\log p_i+H_i).$

设目标 token 概率为 $p$ 、其余 $K$ 个位置均分剩余质量 $r=1-p$ ，则

$H>-\log p\ \Longleftrightarrow\ r\log\frac{Kp}{r}>0\ \Longleftrightarrow\ p>\frac{1}{K+1}.$

也就是说， $S^+/S^-$ 的分界线等价于「目标 token 的概率是否高于其支撑集的均匀份额」——一个纯粹关于当前预测分布的判据，与熵动力学无关。取 $p\ge0.2$ （训练目标的过滤阈值）与任意 $K\ge5$ 的有效支撑， $H>-\log p$ 恒成立，于是 $\mathrm{sign}(\Delta H)=-\mathrm{sign}(A)$ ，即 $S^+=\{$ 负优势 token $\}$ 、 $S^-=\{$ 正优势 token $\}$ 。此时 $\lambda_b>0$ （论文报的净值确实为负）的实际含义是：把负优势那一半放大到 $1.95\times$ 、把正优势那一半压到 $0.05\times$ ——一种结构化的「重罚轻赏」，与 RLVR 里已有的非对称优势缩放（clip-higher、NSR、dual-clip 那一族）在形式上没有区别。缺的正是那条对照臂：用一个固定的非对称因子（不依赖 $\Delta H$ ）替换 $\lambda_b$ ，看增益是否还在。

顺着这条线还能推出一个更硬的可疑点。附录 B 明确 $A_t=A^{(b)}$ ，而 $a_{t,i}>0$ ，所以一条响应内所有目标的 $A_{t,i}$ 同号。若 $(\log p_i+H_i)$ 也恒正，则该响应的目标会整体落进 $S^+$ 或 $S^-$ 之一，另一个集合为空，此时式 (12) 的比值为 $\pm1$ 、被裁到 $\pm0.95$ ，全响应每个 token 都乘上同一个 $0.05$ ，式 (14) 再原样还原——整个熵校准模块退化为恒等映射。图 10 报告了两个非空分量，说明上述两个前提至少有一处在实跑中不成立；但论文没有报 $\lambda_b$ 的分布，也没有报有多少比例的响应落到 $|\lambda_b|=0.95$ 的饱和区，更没有报 $\mathrm{sign}(\log p+H)$ 的取值占比。这三列中的任意一列都能把这件事定死。

（五）统计口径：头条那一格，恰好是离训练配置最远的一格。

训练用 256 token / 256 步，评测在 128 / 256 / 512 三档上把去噪步数对齐到生成长度。128 档的训练-测试配置落差最大，也正好是增益最大、唯一清过 3σ 的那一档（MATH500 +9.0 达 2.99σ，GSM8K +5.3 达 3.29σ）。增益随预算单调变薄（MATH500 是 +9.0 / +6.8 / +4.8，相对增益 29% / 19% / 12%），论文把这读成「在算力受限时收益更强」；另一种读法是「离训练配置越近，收益越薄」。两张表都还有另一处提示：基座 GSM8K 从 256 档的 83.2 掉到 512 档的 82.9，RLDF 同样从 83.4 掉到 82.7——预算单调性在这张主表里本来就不成立，单格读数的噪声底比看上去高。

（六）几处次要但可查的遗漏。

每个 prompt 只采 4 条响应，奖励二值，组内标准化。若单条正确率约 $p$ ，退化组（4 条全对或全错、优势恒为 0）的比例是 $p^4+(1-p)^4$ ，在 $p=0.8$ 时约 41%。论文未报这一比例。
词性表里包含 SPACE 与 X 这类无语义类别，而图 8 显示它们位列「最常作为训练目标的 9 个 POS」之中；按 $\Delta P$ 分出去的信用有相当一部分落在空格与无法对齐的 token 上。
式 (15) 按总目标数 $N$ 平均，而 DTCA 与 RLDF 每响应选的步数不同（31.81% 对 45.42%），per-target 归一化会让选步少的响应在批内占更低权重——这条在主表对比里没有被单独控制。

4.3 对大模型领域的影响

真正有价值的不是那 18 个权重，而是「DLM 需要一条替代左右顺序的信用轴」这个提法本身站住了。过去两年 DLM-RL 的注意力集中在「序列似然怎么估得准」，DTCA 与 DACA-GRPO 一起把问题挪到了「估准之后怎么分」。这个转向会留下来。

留不下来的是它的具体实现。若第一条局限成立，那么这套方法真正学到的是一个调度相关的统计量，而不是语义贡献；此后凡是「用中间状态的变化量给 token 打分」的工作，都得先回答同一个问题：这个变化量的量纲里有没有一个随过程单调漂移的因子。这是本篇对领域最实际的贡献——它把一个会被反复踩的混淆以完整形态暴露了出来。

另一条会留下的是评测口径：主表按生成预算分三档、且三档的增益不单调，这件事本身说明 DLM-RL 的报告标准还需要一层（至少应报训练时的预算，并把「训练预算所在档」与「外推档」分开读）。

5 实践启示

5.1 可以借鉴的技术

离线构造 + 全程冻结的贡献度表。把一个高方差、需要额外前向的逐 token 估计，换成一次离线扫描出来的类别级查表——这个「把估计成本挪到训练之前」的写法对任何「token 级重要性」方法都可复用，代价是要接受表会过期。若采纳，务必一并报「表是在什么解码调度下估的」与「训练调度与它的差距」。
确定性取到累计质量 $\mu$ 的步选择，比固定 $k$ 更贴合「不同 rollout 的不确定性分布不同」这一事实，实现也简单。但要配一条「同数量、同规则、只换打分函数」的对照，否则分不清是规则赢还是打分赢。
「保均值的再分配」这个约束形式值得抄。式 (8) 的步内均值归一、式 (14) 的响应级总量还原，两层都保证了引入的组件不改变整体步长——这是一条很好的工程纪律，让消融至少在尺度上可比。代价是它一并锁死了机制的最大杠杆，只剩 $[0.8,1.2]$ 与组内，改之前要算清楚还剩多少空间。
训练动力学的三件套读数（reward / 梯度范数 / KL，图 3 与图 7）。特别是「去掉贡献信用后梯度范数全程更大、reward 却相近」这一条，把「信用分配改变的是更新质量而不是更新幅度」落到了可测的量上，这个诊断角度可以直接搬。

5.2 潜在应用场景

DLM 上的数学与代码 RL。基座 LLaDA-8B-Instruct、MATH 训练集、最终答案正确率这套配置最容易直接复现；代码方向需要先换掉分组策略（论文自己在 Limitations 里也这么说），因为 SYM / X / SPACE 在代码里的分布与数学完全不同。
低预算推理。增益在 128 档最大，说明它更像是「把有限去噪步用在刀刃上」的一类方法，适合部署在步数受限的场景；若推理预算本来就能开到训练预算以上，收益会明显变薄。
作为「信用轴」研究的负例模板。本文的 $\Delta P$ 是一个教科书级的「量纲里混进了过程变量」的案例。任何打算用「干预后其余位置的变化」定义贡献度的工作（不只是 DLM，也包括自回归里的 token 重要性、MoE 的专家贡献、检索增强里的文档贡献），都该先把它是否该除以剩余集合大小写清楚。
不建议直接照搬的两处：冻结的 POS 表（图 4 证明提交分布会漂移），以及把熵校准当熵控制用（图 10 的量级是 $10^{-7}$ nats）。

参考文献

Nie et al., Large Language Diffusion Models, NeurIPS 2025（LLaDA 基座）。
He et al., Reinforcement Learning from Denoising Feedback, arXiv:2605.25638（RLDF，本文主基线）。
Monsefi et al., DACA-GRPO: Denoising-Aware Credit Assignment for RL in DLMs, arXiv:2605.16342（最近的同类工作）。
Xu et al., Understanding and Preventing Entropy Collapse in RLVR with On-Policy Entropy Flow Optimization, arXiv:2605.11491（OPEFO，式 (10)–(13) 的来源）。
Ou et al., Principled RL for Diffusion LLMs Emerges from a Sequence-Level Perspective, ICLR 2026（ESPO）。
Gong et al., DiffuCoder, ICLR 2026（Coupled-GRPO）。
Wang et al., Revolutionizing RL Framework for Diffusion LLMs, arXiv:2509.06949（TraceRL）。
Zhao et al., d1: Scaling Reasoning in Diffusion LLMs via RL, NeurIPS 2025。
Wu et al., Fast-dLLM, ICLR 2026（块解码与 KV cache）。
Lightman et al., Let’s Verify Step by Step, ICLR 2024（MATH500）。
Cobbe et al., Training Verifiers to Solve Math Word Problems, arXiv:2110.14168（GSM8K）。