论文精读

精读：P²-MOPD——把合并系数从一次性初始化改成全程可学的参数先验

把 task arithmetic 的线性参数组合本身当作可微模型，在 MOPD 损失下联合优化混合系数与学生权重：权重-only 更新 100 步沿落后域任务向量只走 0.03，一条学习率快三个数量级的系数通道把它推到 0.40，最差域恢复从 32% 抬到 88%，半数训练步即超过 MOPD 终点；账本背面是 recovery 的异分母归一化、学到的系数单独不构成好模型（28.8 对 TA 起点 32.4）、以及 I/O 随专家数线性涨的快车道。

论文： P²-MOPD: Accelerating Multi-Teacher On-Policy Distillation via Parameter Priors

作者： Sinuo Wang, Jiacheng Lu, Zeyu Zhang, Maojia Song, Rui Sun, Beidi Luan, Yutong Xie, Jing Li, Daxin Jiang, Qi Wu, Zuo Bai

arXiv： 2611.03953

2026年11月10日模型合并 on-policy 蒸馏任务向量参数先验多教师蒸馏后训练 cs.LG

1 论文概览

一句话总结：StepFun 与阿德莱德 AIML 把 task arithmetic 的线性参数组合本身当作一个可微模型，在多教师 on-policy 蒸馏（MOPD）的损失下联合优化混合系数与学生权重——域专家从「一次性初始化或一次性合并」升级为训练全程在场的参数先验，1.7B/4B 双尺度四域实验里，最差域恢复从 32.0%/47.2% 抬到 88.0%/89.4%，半数训练步就超过 MOPD 的终点成绩。

核心问题：前沿模型的生产路径越来越像「分域 RL 训专家 → 合并成通才」，MOPD 已经是 DeepSeek-V4、Kimi K3、Nemotron-Cascade 2、MiMo-V2 等技术报告里重复出现的标准配方，但它的恢复天生不均衡：总有一个域长期掉队，从 merge 起点继续蒸馏甚至会侵蚀 merge 已经拿到的能力——1.7B 上 MedQA 从 TA 起点的 44% 恢复蒸到 32%，三个种子无一幸免。免训练的 task arithmetic 则天花板低，uniform merge 只恢复不到一半的 base→teacher 差距（42.98%/32.41%）。监督信号（MOPD）与参数先验（TA）各握着一半答案，这篇论文问的是：能不能在同一个损失里把两半都拿走。

主要贡献：

P²-MOPD 参数化：学生模块写成 $W_m = B_m + \sum_k \alpha_{k,m}\,\tau_{k,m}$ （ $\tau$ 为冻结任务向量）， $B$ 与 $\alpha$ 在同一 MOPD 损失下联合训练；专家的 logits 照旧监督行为，专家的参数以先验身份进入优化几何。
双通道更新规则与预条件子解释：权重通道（AdamW）无约束自由移动，系数通道沿任务向量张成的至多 $K$ 维子空间移动；SGD 极限下整个更新等价于 $w^+ = w - (\eta_W I + \eta_\alpha DD^\top)\,g$ ——一个 rank- $K$ 的 PSD 预条件子，专门放大沿任务向量的梯度分量。
机制发现：权重-only 的 MOPD 训练 100 步，沿落后域（医疗）任务向量只移动 +0.03（ $\alpha$ 单位），可学系数把它推到 +0.40/+0.42，13-15 倍；跨方法对账显示 MedQA 恢复超过 84% 的三个 checkpoint 全部沿 $\tau_{\mathrm{med}}$ 移动至少 0.30，其余至多 0.03。
主结果：两尺度、四域、三种子，平均恢复 94.7%/94.9% 对 MOPD(TA init) 的 80.9%/83.1%；步数减半即反超，达到同质量的墙钟只需 0.31×/0.55×。
干净的三臂证据链：随机方向对照（MedQA 恢复 1.4%）、只学 $\alpha_{\mathrm{med}}$ （平均恢复 95.0 对完整方法的 95.8）、冻结 $\alpha_{\mathrm{med}}$ （MedQA 退回 24.2）——把「方向内容」与「额外可学容量」两条解释拆开，只剩方向内容活下来。

2 方法详解

2.1 把 merge 写进前向

设共享基座 $\theta_0$ 与 $K$ 个域专家 $\theta_k$ ，任务向量 $\tau_k = \theta_k - \theta_0$ 。P²-MOPD 按模块（注意力的 Q/K/V/O 加 MLP 的 gate/up/down，每层 7 个投影）改写学生：每个模块的权重是自己的可训练全量张量 $B_m$ 加上 $K$ 个冻结任务向量的可学线性组合，系数 $\alpha_{k,m}$ 是逐模块标量——4B 上共 $252 \times 4 = 1008$ 个，1.7B 上 784 个。初始化直接复现 uniform TA merge： $B_m = W^{(0)}_m$ 、 $\alpha_{k,m} = 0.25$ ，展开后与合并权重点点相等。embedding、norm、输出头不参与重组，按 MOPD 常规训练。

这份参数化刻意保持模型类不变：

“Since $B$ is unconstrained, Equation 4 represents exactly the same models as a plain student. What it changes is how the student moves: a single scalar step on $\alpha_{k,m}$ moves the whole module along a task vector. In this sense the frozen experts act as parameter priors, a bias on the optimization path rather than on the model class.” —— 原文 §3.2

2.2 双通道更新：一份梯度、两条路

系数梯度由链式法则给出： $\partial\mathcal{L}/\partial\alpha_{k,m} = \langle G_m, \tau_{k,m}\rangle$ ，即损失沿冻结任务向量的方向导数；负值意味着这一步增大专家 $k$ 在模块 $m$ 的占比能降损失。实现上不做两次反传——优化器不存 $B$ ，直接维护物化权重 $W$ ：先用一次反传拿到 $G_t$ ，权重通道走 AdamW，系数通道用未裁剪的 $G_t$ 算内积、独立裁剪后走 Adam，末了把系数增量 $\sum_k \Delta\alpha_k \tau_k$ 加回权重（式 6）。附录 B 证明在 weight decay 为零的条件下，这套物化流程与直接优化 $B$ 严格等价——decay 非零时等价性破败，任务向量分量会被衰减项慢慢磨掉，所以全部实验钉死 wd=0。

因为每个 rollout batch 只做一次优化器步，重要性比恒为 1、裁剪事实失效，蒸馏梯度就是反向 KL 的策略梯度（附录 A 给了 support-restricted reverse KL 加 support 质量比惩罚的完整展开）。

2.3 预条件子读法：一条被授权的快车道

SGD 极限下（无动量、无裁剪、无衰减），两条通道合成一步：

$w^+ = w - \big(\eta_W I + \eta_\alpha DD^\top\big)\,g$

其中 $D = [\mathrm{vec}\,\tau_1, \dots, \mathrm{vec}\,\tau_K]$ 。 $\eta_\alpha DD^\top$ 是 rank- $K$ 的 PSD 项，把梯度中落在任务向量子空间的分量按 $\eta_\alpha/\eta_W$ 的比例放大。主设置里 $\eta_W = 10^{-5}$ 、 $\eta_\alpha = 10^{-2}$ ——三个数量级的步长差。这条公式是全文的钥匙：所谓「专家参数成为先验」，就是沿专家方向的更新被授权了一条快车道，其余方向照旧爬行。

2.4 与基线方法的区别

MOPD(TA init) 恰好是 P²-MOPD 在 $\eta_\alpha = 0$ 处的退化角——同一 merge 起点、同一损失、系数冻结，对比只差「系数可不可学」。IM-MOPD 也复用专家参数，但靠验证集门控的规则在离散时间点把落后域任务向量 merge 回去（δ=0.3、γ=0.4/0.6），不进梯度；P²-MOPD 把这个决策连续化、交给蒸馏梯度，还省掉了验证开销。AdaMerging 一系「学系数」的工作只训系数不训权重、目标是无标注数据的熵，模型被锁死在任务向量张成的空间内；P²-MOPD 的权重通道保证学生随时可以走出这个 span——消融显示走出 span 的位移能量只占 14.6%/10.0%，却恰恰是与系数通道分工成立的前提（§3.3）。

3 实验结果

3.1 主表：四域两尺度

协议沿用 IM-MOPD：Qwen3-4B/1.7B 基座，医疗/法律/金融/指令跟随四域专家（4B 用其发布的教师，1.7B 按 IM-MOPD 流程自训、各域成绩对齐到 1 分以内），每步 128 prompt 域均衡采样，共 100 步，官方 harness 三采样评测。最终 checkpoint（三种子均值）：

方法（1.7B）	MedQA	CaseHOLD	FinQA	IFBench	平均恢复	最差域
TA merge（未训练）	50.67	57.20	47.40	24.44	32.41	17.15
MOPD（基座起点）	5.21	68.10	53.59	34.56	−15.74	−261.18
MOPD(TA init)	48.87	69.15	62.96	45.22	80.93 ± 3.02	32.03 ± 10.12
IM-MOPD	55.22	62.49	54.71	38.30	67.81 ± 9.18	48.73 ± 17.02
P²-MOPD	57.20	69.49	61.53	46.66	94.74 ± 0.91	88.01 ± 1.27

4B 上同构：P²-MOPD 平均恢复 94.85 ± 2.06 对 MOPD(TA init) 的 83.13 ± 9.03，最差域 89.42 对 47.22；种子区间不重叠（93.5-97.2 对 86.6-89.2）。raw 均分口径 +2.17（1.7B）/ +2.66（4B）点，逐种子为正。步数视角：第 25 步 P²-MOPD 已领先 +6.2（4B）/ +21.5（1.7B），24 个种子配对比较全胜；第 50 步即超过 MOPD(TA init) 的终点（92.3 对 83.1、90.5 对 80.9），4B 上第 25 步就已超过。

3.2 速度与成本

每步墙钟：4B 225.6s 对 180.6s（1.24×）、1.7B 167.4s 对 153.9s（1.09×）。代价全部落在 actor update（14.7s → 73.8s，5 倍）：系数通道每步要流式读一遍全部任务向量。达到 MOPD(TA init) 终点质量的墙钟只要 0.31×（4B）/ 0.55×（1.7B）——论文诚实标注检查点间隔 25 步，这些是上界。产物是 α 折叠进权重的标准 checkpoint，推理零开销。

3.3 消融：span 内外的分工

训练 W	训练 α	4B 平均/最差	1.7B 平均/最差
✗	✗（TA 起点）	42.98 / 23.67	32.41 / 17.15
✗	✓（锁在 span 内）	52.98 / 35.62	49.31 / 27.17
✓	✗（= MOPD TA init）	83.13 / 47.22	80.93 / 32.03
✓	✓（P²-MOPD）	94.85 / 89.42	94.74 / 88.01

只学系数比 TA 起点涨 10.0/16.9 分，但离完整方法差 40+ 分；只学权重的 MOPD(TA init) 涨 40.2/48.5 分却把 MedQA 留在半路。跨域方差从 21.8/28.4 压到 4.6/4.8。粒度消融有意外：model 粒度只用 4 个标量，均值反而是两尺度最高（96.5/97.2）；layer 粒度在 4B 崩掉 20 分（73.4）、1.7B 却正常（94.4）。基座起点（ $\alpha_0=0$ ）下 P²-MOPD 仍全程领先 MOPD（终点 61.2/66.2 对 −15.7），先验不依赖 merge 初始化。

3.4 机制对账：落后域为什么追上了

任务向量投影给出全文最有说服力的一张图：MOPD(TA init) 沿法律/金融/IF 方向各走 +0.09 到 +0.13，沿医疗方向只走 +0.03——被丢下的恰恰是它蒸不回来的域；P²-MOPD 沿医疗方向走 +0.40/+0.42。系数通道承载 P²-MOPD 位移能量的 81%/84%，权重通道只有 1.7%/4.0% 落在 span 内——两条通道确实在分工。逐域梯度记账显示冲突在哪：医疗梯度 98% 落在 $\alpha_{\mathrm{med}}$ 上，与金融/IF 梯度的 cosine 是 −0.78/−0.63（4B），四个域争的主要是每模块一个标量：

“at every step the medical gradient pushes $\alpha_{\mathrm{med}}$ up while the finance and IF gradients push it down, their sum follows the medical gradient, and $\alpha_{\mathrm{med}}$ rises from $0.25$ to $0.63$ (4B) and $0.65$ (1.7B).” —— 原文 §4.3

争输的域付出的代价很小：FinQA 差 −1.9 分（4B）、IFBench ±23.2 的大幅波动里均值 +4.8。表 3 的对照把因果钉死——只用医疗 prompt 训 MOPD(TA init)，沿 $\tau_{\mathrm{med}}$ 也只走 +0.048、MedQA 恢复掉到 −6.9%，说明「权重更新不走这个方向」与域间冲突无关；把任务向量换成等范数随机方向，MedQA 恢复 1.4%，说明价值在方向内容而非多出来的可学参数。

4 个人分析

亮点

三臂对照是机制研究的模板。随机方向排除容量解释、只学 α_med 与冻结 α_med 双向锁定单变量、跨六 checkpoint 的「MedQA>84% ⇔ 沿 τ_med 走 ≥0.30」双峰相关——机制主张每一条都有对账，不靠讲故事。
逐域系数梯度是新的记账工具。 $\langle G^{(d)}, \tau_{k,m}\rangle$ 每步免费产出「哪个域在推哪个方向、推多硬」，医疗/金融的冲突被压缩成每模块一个标量上的拔河，读数直接可解释。「梯度幅值自动追落后域」与 Open-MOPD 的显式预算均衡殊途同归，还不用花验证开销。
统计纪律。种子配对比较（24/24 全胜）、系数终值跨种子差 ±0.01、墙钟结论主动标注上界、raw 分数与归一化恢复率并列——每一处都经得起复算。

局限性（账本背面）

恢复率是异分母归一化的均值。四域 base→teacher 跨度差到 3 倍（4B：11.0 到 33.3），MedQA 每 raw 分折 9.1 个恢复点、IFBench 只折 3.0——头条 94.7% 里，恰好是掉队域的分母最小、每分最贵。论文把 raw 口径全程并列（好评），但摘要与标题只保留恢复率口径；raw 均分 +2.17/+2.66 才是跨域可比的量级。IFBench 恢复率 100.6%/100.9% 超过教师，归一化指标到顶外溢，也提示这个口径的天花板已经碰到了。
reachability 这个词比事实硬了半档。模型类不变是论文自己写明的——“represents exactly the same models as a plain student”——严格说不存在「够不到」，只存在「 $\eta_W=10^{-5}$ 下 100 步内走不到」。预条件子公式把真相写在明处： $\eta_\alpha/\eta_W = 1000$ ，三个数量级的快车道。缺的一个数字：梯度 $G_m$ 与任务向量 $\tau_{k,m}$ 的余弦全文未报，它才是「权重更新方向与专家方向近正交」的直接证据，现在的证据只是「走了多远」的差。
学到的系数单独不是好模型。把训练终点的 α 组合到基座上（不带权重更新），平均恢复 28.8，低于 TA 起点的 32.4——α 轨迹是路径依赖的记账，不是「找到了正确的混合比」。“coefficients identify the teacher that the student most needs” 只在读轨迹层面成立，把终值 α 抄出来当 merge 配方会翻车。
对照组各有隐情。IM-MOPD 在 1.7B 崩盘（67.81 ± 9.18，种子间 18 分）有「4B 配置直搬」的成分——验证门控的 δ=0.3、γ=0.4 原样用于 1.7B，表 12 显示它的规则性 merge 单次能把恢复拉低 17.2 分；MOPD（基座起点）的 MedQA −261% 是极端对照；τ²-bench 第五域因要付费 API 被砍，「沿用 IM-MOPD 协议」实为四分之五。
成本结论绑定在 rollout 主导的工况上。actor update 五倍的涨幅被 rollout 时间摊薄成 1.24×；一旦生成侧提速（响应短、异步 rollout、推理优化），系数通道流式读 K+1 份 checkpoint 的 I/O 会浮出水面，且随专家数线性涨。K=4 的实验对着「合并几十个域专家」的前沿用例，外推一整段没测。
粒度消融留下两个未解之谜。layer 粒度 4B 崩 20 分而 1.7B 正常，无解释；model 粒度 4 个标量均值最高、却因跨域 std 在 1.7B 偏大（9.3）被主设置让位给 module 的 1008 个系数——「4 个标量就够」这个事实本身比主设置更值得追问，论文一笔带过。基座起点下 $\eta_\alpha$ 的最优档还与 TA 起点相反（3×10⁻² 在 merge 起点掉到 69.5、在基座起点反而更好），超参与初始化耦合，没有给选择准则。

对大模型领域的影响

这篇论文把「合并」从流水线的终点改写成训练的起点结构：专家参数不必一次性消费掉，可以作为全程在场的先验反复支取。对蒸馏主线，它给 OPD 家族加了第二条监督通道——教师的参数而不只是教师的 logits；对多域 RL 后训练，它给「合并阶段域间失衡」提供了一个不花验证开销、不依赖规则调度的解法。KAPPO 那期拆过 @k 训练的记账结构（损失系数视角），这期是同一类手术做到合并管线上：把离散的、规则驱动的决策（何时 merge 谁）换成连续的、梯度驱动的系数。它的适用边界也清楚——要求专家同源（共享基座，任务向量才有定义）、要求域标签已知（教师路由）、K 大了 I/O 要重新算账。

5 实践启示

可以借鉴的技术

可直接抄的合并配方：uniform TA merge 起点 + 模块级可学系数 + 100 步域均衡 MOPD；两个学习率差三个数量级（1e-5/1e-2）、两条通道独立裁剪、weight decay 必须为零（否则物化权重与优化 B 不等价、任务向量分量会被衰减磨掉）。产物是标准 checkpoint，部署侧零改动。
系数轨迹当免费诊断器：哪个 α 持续上涨就是哪个域在挨饿，三种子终值差 ±0.01 说明信号稳定——不需要 IM-MOPD 那种每 25 步、每题 4 样本的验证开销，也不需要离线评测。多域训练里「哪个域在掉队」第一次有了训练中的实时读数。
预条件子视角可迁移：任何「冻结方向 + 可学系数 + 可学权重」的结构——LoRA 残差、多适配器组合、技能向量库——都能用 $(\eta_W I + \eta_\alpha DD^\top)$ 这笔账算清楚「哪个方向的更新被加速了多少倍」，再决定要不要给这些方向单独立学习率。
逐域梯度记账：把 batch 按域拆开反传（附录 A 的分解不改更新、只多记账），拿到 $\langle G^{(d)}, \tau_k\rangle$ 就是域间冲突的实时仪表盘，cosine 拔河图比任何事后评测都便宜。

潜在应用场景

RL 域专家收编：分域 RL 训出的专家（代码/数学/医疗/agent）合并进通才时，先用这套替代「merge 一次 + 长蒸馏」，100 步量级、最差域不再掉队；对按域交付的团队，worst-domain 恢复 88% 意味着上线清单上没有明显的短板域。
模型动物园治理：同基座的微调模型越多，任务向量库越大；这篇给出「合并系数可以在训练中学出来」的证据与配方，配合 model 粒度 4 个标量的结果，轻量版（每专家一个系数）就能吃到大部分收益。
训练监控：把 per-domain 系数梯度接进训练面板，域级失衡在 25 步内就能从 α 的涨幅排序里看出来，比跑评测便宜两个数量级——KAPPO 期提过「训练 k 对齐部署预算」的 training-serving 一致性，这里是它的域间版本：训练中的先验配比对齐各域的交付权重。

参考文献

Wang, S., Lu, J., Zhang, Z., Song, M., Sun, R., Luan, B., Xie, Y., Li, J., Jiang, D., Wu, Q., Bai, Z. P²-MOPD: Accelerating Multi-Teacher On-Policy Distillation via Parameter Priors. arXiv:2611.03953, 2026（本文，StepFun + 阿德莱德 AIML + MBZUAI + SUTD；联合优化混合系数与学生权重的参数先验蒸馏）。
Ma, W., et al. Multi-Teacher On-Policy Distillation. arXiv:2606.30406, 2026（MOPD 原文，本文的基线框架与 top-k 奖励形式的出处）。
Kim, S., Jang, C., Lee, N., Kim, B., Lee, J. No Pain, More Gain: Iterative Merging for Effective Multi-Teacher On-Policy Distillation. arXiv:2609.34745, 2026（IM-MOPD，验证门控的规则性 merge，本文实验协议与最强对照的来源）。
Gao, H.-a., et al. Open-MOPD: Diagnosing and Fixing Capability Imbalance in Multi-Teacher On-Policy Distillation. arXiv:2608.19098, 2026（显式预算均衡基线，与本文梯度幅值自动均衡殊途同归）。
Ilharco, G., et al. Editing Models with Task Arithmetic. ICLR 2023（任务向量与线性合并的定义性文献，本文「学系数」一侧的起点）。
Yang, E., et al. AdaMerging: Adaptive Model Merging for Multi-Task Learning. ICLR 2024（熵目标学合并系数的代表工作，只学系数不训权重）。
Lu, K. & Thinking Machines Lab. On-Policy Distillation. 2025（OPD 作为 RL 的稠密奖励替代品的出发点）。