论文精读

精读：多模态数据配比的第一张标尺——268 次 MoE 预训练定律与它最锋利的那格消融

把 Chinchilla 形式里的参数量与数据量分别换成「有效参数」与「有效数据」：前者按目标模态的 token 份额做指数衰减以刻画 MoE 容量稀释，后者按重复次数的指数饱和与跨模态定向迁移各打一次折；268 次 MoE 预训练联合拟合后，三个留出跑上 9 个模态级预测里 8 个落在观测损失 2.6% 以内；本文按格重算发现，头条的「迁移高度不对称」恰是三条建模分支里唯一被消融打平的一条，且视觉指数在主表与附录之间差着 0.068。

论文： Scaling Laws for Multimodal Data Mixtures

作者： Aditi Khandelwal, Ayush K. Tarun, Yixuan Xu, Imanol Schlag, Golnoosh Farnadi, Siva Reddy, Luke Zettlemoyer, Antoine Bosselut

arXiv： 2610.14423

2026年10月28日多模态预训练 Scaling Law 数据配比 MoE 跨模态干扰数据重复算力最优分配

1 论文概览

本文是 arXiv:2610.14423（cs.CL / cs.LG；v1 2026-10-10 00:42:37 UTC；Aditi Khandelwal、Ayush K. Tarun、Yixuan Xu、Imanol Schlag、Golnoosh Farnadi、Siva Reddy、Luke Zettlemoyer、Antoine Bosselut，MILA-魁北克 AI 研究所与麦吉尔大学 / EPFL / 苏黎世联邦理工 / 华盛顿大学；NeurIPS 2026 spotlight；268 次 MoE 预训练，6 个参数档 457M–8.3B，单跑最多 150B token，累计约 30 万 GH200 卡时，框架为 Megatron-LM）。本专栏此前五十一期回答的是「挑哪些 token、挑哪些轨迹、信用按哪套口径记账、信号被消费时旧了多少、数据分布离基座多远、整条响应有没有资格参与这次更新、策略容量会不会被优化动力学耗光、教师分布里哪些位置允许比较、事后经验除了改行为还能不能改行动之前的那次预测、参考模型的 KL 该从哪条边进组相对更新、教师的意见从哪条通道进 RL、off-policy 校正的记账区间有多长、裁剪区间那两个端点由什么决定、干预落在流水线的哪一环、逐步信用从哪个模型里来、一个已经报出来的增益该怎么拆账、这些信号最终以什么形状落到参数上、结局空间该分成几档、同一笔优势在响应内部怎么分、教师交出来的那笔位移里哪些前缀有资格进损失、这笔信用在更新里当斜率还是当终点、一次迭代该对齐到任务的哪一格、一份外部语料要进模型，是作为检索出来的文本进上下文，还是作为预测出来的隐状态进解码器、模型内部被拆出来的那批坐标能不能当作可以相加的行为解释单元、思考预算拧大之后，模型换掉的是对一个句子的读法，还是只换掉了答对的比例、一组 token 压成一个向量时，这个压缩动作本身该不该由输入自己解出来」；这一期问的是一份原生多模态预训练预算，该在三个模态之间怎么切成参数、token 与重复次数，而这个切法有没有一条能外推的定律——前五十一期改的都是「哪些信号进损失」，本篇动的是损失之前那一层：进训练的那批 token 本身，按什么比例配。

一句话总结：把 Chinchilla 形式里的参数量 $N$ 与数据量 $D_m$ 分别换成「有效参数」与「有效数据」，前者按目标模态在混合里的份额做指数衰减以刻画 MoE 容量稀释，后者按重复次数的指数饱和与跨模态的定向迁移各打一次折；在 268 次 MoE 预训练上联合拟合后，定律在三个留出跑（12.6B-A3.8B 从头训练 200B token、以及两个 8.3B-A2.6B 持续预训练）上做到 9 个模态级预测里 8 个落在观测损失 2.6% 以内、Pearson $r=0.999$ 。本文按格重算后发现，头条的「跨模态迁移高度不对称」这一族结论，恰是三条建模分支里唯一一条被消融打平的：抽掉全部 6 个迁移系数，平均 $\mathrm{RMSE}_{\log}$ 反而降 0.7%，只在最激进的外推档上才把最坏误差从 2.61% 拉回 2.16%。

核心问题：多模态预训练的配方长期是行业机密，公开可查的 scaling 配方又大多只覆盖文本。论文把这件事写成一句可检验的话：

“However, the scientific understanding of the multimodal data mixtures used to pretrain these systems --- how much of each modality to mix, and at what potential interference cost to the others --- is largely absent or gatekept.”（§1 Introduction）

以及它给自己划的三条建模边界——跨模态的方向性迁移、MoE 里参数与路由预算的容量竞争、稀缺非文本数据在重复下的收益饱和：

“First, we model directional cross-modal transfer… Second, we model mixture-dependent capacity sharing… Third, we model repetition saturation, capturing the diminishing utility of repeated passes over scarce non-text data.”（§1 Introduction）

主要贡献：

一个统一的 scaling 形式，在 $h_m=1$ 、其它模态份额为 0、 $r_m=1$ 的极限下退化为标准 Chinchilla，并把 Aghajanyan 等 2023 年的双模态交互律推广到定向、不平衡、带重复的三模态混合。
三个可解释的系数族：定向迁移 $v_{k\to m}$ （6 个）、容量稀释 $c_m$ （3 个）、重复尺度 $R^\star_m$ （2 个），共 11 个跨模态交互参数，加 15 个单模态参数，合计 26 个自由参数。
一张规模空前的受控网格：268 次 MoE 预训练，六档参数（ $d_{\text{model}}$ 384–2048，32 层，16 路由专家取 2、1 共享专家），单跑到 150B token，全部跑在 64 张 GH200 上。
三条可立即落地的配比结论：音频偏模型密集（ $N_{\text{opt}}\propto C^{0.62}$ ），视觉与文本近似均衡；重复超过约两个 fresh epoch 后收益陡降；视觉是最贵的混入模态（ $v_{V\to A}=-0.795$ ）。
一个可用的规划器：给定总预算与三模态的 unique token 数，用 SLSQP + multistart 求三模态残差之和的最小值，直接输出「用多少文本、视觉重复几遍、音频重复几遍」。

2 方法详解

2.1 起手式：把 Chinchilla 的两个自变量换掉

起点是标准幂律：

$L_{m}(N,D_{m})=E_{m}+\frac{A_{m}}{N^{\alpha_{m}}}+\frac{B_{m}}{D_{m}^{\beta_{m}}}\qquad(1)$

论文的改动只有两步，把 $N\to N_{\mathrm{eff}}^{(m)}$ 、 $D_m\to D_{\mathrm{eff}}^{(m)}$ ，得到

$L_{m}=E_{m}+\frac{A_{m}}{\left[N\exp(c_{m}(1-h_{m}))\right]^{\alpha_{m}}}+\frac{B_{m}}{\left[D_{\mathrm{unq}}^{(m)}\phi_{m}(r_{m})\exp\!\left(\sum_{k\neq m}v_{k\to m}h_{k}\right)\right]^{\beta_{m}}}\qquad(10)$

其中 $h_m=D_m/\sum_\ell D_\ell$ 是目标模态的 token 份额， $r_m=D_m/D_{\mathrm{unq}}^{(m)}\ge 1$ 是重复倍率。三个新机制各占一个位置：容量稀释在参数项里，重复饱和与定向迁移在数据项里。

2.2 容量稀释：一个指数形式的三系数模型

$N_{\mathrm{eff}}^{(m)}=N\exp\!\left(c_{m}(1-h_{m})\right)\qquad(2)$

$c_m<0$ 表示非目标模态的数据在侵蚀目标模态的有效容量。指数形式的理由是「在 log 容量尺度上每单位非目标份额带来恒定分数变化」，展开到一阶就是 $\frac{A_m}{N^{\alpha_m}}\left[1-\alpha_m c_m(1-h_m)\right]$ ——一个干净的一阶交互项。

作者在这里做了一个主动放弃的选择：他们本来可以写方向性版本 $N_{\mathrm{eff}}^{(m)}=N\exp(\sum_{k\neq m}c_{k\to m}h_k)$ （6 个系数），但附录 G 的表 8、表 9 显示定向版在四个外推档上并不占优（最坏误差 R1 7.91% 对 8.27%、R2 6.54% 对 6.91%，但 R3 4.84% 对 4.06%、R4 2.54% 对 2.46%），于是保留了 3 系数版。论文自己给的解释是：

“We use the scalar $c_{m}(1-h_{m})$ , instead of the directional capacity matrix $\sum_{k\neq m}u_{k\to m}h_{k}$ , as the formulation with bidirectional capacity overfits on our limited-scale data.”（§2.1）

2.3 重复饱和：一个带渐近上界的指数衰减

$\phi_{m}(r_{m})=1+R_{m}^{\star}\left(1-\exp\!\left(-\frac{r_{m}-1}{R_{m}^{\star}}\right)\right)\qquad(4)$

$\phi_m(1)=1$ 、 $\phi_m'>0$ 、 $\phi_m''<0$ ，且 $r_m\to\infty$ 时 $\phi_m\to 1+R_m^\star$ 。这个上界的解释很直白： $R_m^\star$ 就是「靠重复最多还能榨出几个 fresh-data 等价 epoch」。

2.4 定向迁移：在 log 尺度上做加法

自然的写法是加性有效数据 $D_m^t=D_m+\sum_{k\neq m}\tau_{k\to m}D_k$ ，问题在于强负迁移下右边会变负。作者改到 log 尺度：

$D_{m}^{t}=D_{m}\exp\!\left(\sum_{k\neq m}v_{k\to m}h_{k}\right)\qquad(6)$

一阶展开回到加性形式，局部系数为 $\tau_{k\to m}^{\mathrm{local}}=v_{k\to m}h_m$ （无重复、总 token 固定时）。

2.5 与基线方法的区别

三条对照线值得一并摆出来。其一是 Chinchilla / Kaplan 的单模态律：本形式在单模态极限下退化回它，所以这篇不是推翻，是加了一层混合修正。其二是 Aghajanyan 等 2023 的双模态交互律：那条律把跨模态影响写成加性的、且是对称（或至少不带方向）的；本篇把它推广成定向的、不平衡的、重复感知的——附录 B 专门论证了在小交互近似下本形式如何复原前者的加性写法。其三是视觉/音频各自的单模态 scaling 律（NMM、SODA）：它们给出单模态的指数，但不处理混合。

真正的区别在于因果变量的位置：既往工作问「这个模态自己怎么 scale」，本篇问「这个模态在别人在场时怎么 scale」。后者多出来的三个机制——别人抢容量、别人的数据帮或害、自己的数据被重复了几遍——恰好是工业界配方里最花钱试错、又最不能被单点实验回答的三件事。

2.6 一处被藏起来的口径依赖

§3 有一句很容易滑过去的话：

“Moreover, note that the vision and audio losses include the loss on text tokens from their respective validation sets.”（§3 Datasets and Evaluations）

这带来一个后果： $E_{\text{vision}}=5.67$ 这个「不可约损失」里混进了文本 token 的成分，而所有 $v_{k\to\text{vision}}$ 都拟合在这个混合指标上。作者在脚注 2 里其实已经给出了分裂的证据——把视觉侧单独重拟合到图像理解（图文对的文本 token 损失）与图像生成（图生文的图像 token 损失）上， $v_{T\to V}$ 分别是 $+0.400$ 与 $-0.716$ ， $v_{A\to V}$ 是 $+0.346$ 与 $+0.052$ ：

“Thus, both text and audio transfer positively to image understanding, and the negative joint text $\to$ vision transfer is driven primarily by image generation.”（脚注 2）

也就是说，头条里那句「文本与视觉互相干扰」（ $v_{T\to V}=-0.583$ ）是把一个 $+0.400$ 的效应与一个 $-0.716$ 的效应按数据配比加权后的净结果。迁移系数的符号，取决于你这一炉视觉数据里理解与生成各占多少。 论文在摘要与结论里都只报了净值。

3 实验结果

3.1 单模态指数：音频偏模型密集

表 1 给出三模态的拟合指数与诱导出的算力最优分配（ $a=\beta_m/(\alpha_m+\beta_m)$ ， $b=\alpha_m/(\alpha_m+\beta_m)$ ）：

模态	$E_m$	$\alpha_m$	$\beta_m$	$N_{\text{opt}}\propto C^{a}$	$D_{\text{opt}}\propto C^{b}$
Text	`1.91`	`0.34`	`0.34`	`0.50`	`0.50`
Vision	`5.67`	`0.50`	`0.51`	`0.50`	`0.50`
Audio	`4.36`	`0.32`	`0.52`	`0.62`	`0.38`
Chinchilla（text-dense）	`1.69`	`0.34`	`0.28`	`0.46`	`0.54`
SODA（audio-dense）	–	–	–	`0.37`	`0.58`

音频的 $a=0.62$ 是全文最硬的一条结论：它的 $\beta$ （0.52）比 $\alpha$ （0.32）大得多，数据项掉得比模型项快，于是同等算力下应该优先堆参数。作为对照，SODA 在 dense 音频模型上给的是 $a=0.37$ （偏数据密集），方向正好相反。作者把差异归因于 dense→MoE 的架构迁移与语料质量，这个归因后面还会再碰到。

一处内部不一致：表 1 的 $\alpha_{\text{vis}}=0.50$ ，而附录表 4、表 5 的 joint-fit 列都是 0.568（leave-one-scale-out 0.598±0.037，随机子集重拟合 0.535±0.067）。 $E_{\text{vision}}$ 、0.508 的 $\beta$ 两处完全一致，只有 $\alpha$ 对不上。正文那句「both about 50% above the corresponding text values（都比文本高约 50%）」是按 0.50 写的；按 0.568 算，涨幅是 67%，且诱导出的最优分配是 $a=0.508/1.076=0.472$ 、 $b=0.528$ ，「balanced（0.50/0.50）」这句在两位小数上就不再成立。结论方向不受影响，但两处数字至少要对齐一处。

3.2 迁移矩阵：一条自己承认不稳的头条

联合拟合给出的六个定向系数（表 4(a) joint-fit 列，括号内为 leave-one-scale-out 的均值±标准差）：

$v_{k\to m}$	joint-fit	leave-one-scale-out
$v_{V\to T}$	`-0.558`	`-0.635 ± 0.245`
$v_{T\to V}$	`-0.583`	`-0.651 ± 0.088`
$v_{A\to T}$	`+0.146`	`0.009 ± 0.366`
$v_{T\to A}$	`-0.102`	`-0.411 ± 0.327`
$v_{A\to V}$	`+0.130`	`0.104 ± 0.231`
$v_{V\to A}$	`-0.795`	`-0.798 ± 0.093`

三个观察。第一，「audio 是惰性模态」这个结论是从拟合不稳定性推出来的，不是从系数接近零推出来的—— $v_{A\to T}$ 的点估计是 $+0.146$ ，fold 均值是 $0.009$ ，但标准差 0.366 是均值的 40 倍； $v_{A\to V}$ 的点估计 +0.130、fold 均值 0.104、标准差 0.231。论文据此判定：

“We therefore view audio as an inert modality for the other two modalities.”（§5）

这个判定本身是审慎的，可它和摘要里「audio’s interference with learning text and vision is negligible」不是一回事：前者说「测不出来」，后者说「没有」。点估计还是正的。

第二， $v_{T\to A}$ 在正文与附录里的图景差了 4 倍。正文用 -0.102 说文本对音频的干扰「relatively mild」，附录的 leave-one-scale-out 均值是 -0.411（标准差 0.327）。正文挑了点估计，附录给的是折叠均值，两者不该被当成同一个数读。

第三， $v_{V\to A}=-0.795$ 是六个数里最稳的（-0.798 ± 0.093，标准差只有均值的 12%），这才是全文站得最住的跨模态结论：视觉是最贵的混入模态。作者给了一个很有画面感的换算：

“This means, for a mixture containing 1T text tokens and 100B vision tokens, the 100B vision tokens effectively cancel the effect of 50.72B text tokens.”（§5）

按式 (6) 精确算一遍， $h_V=100/1100=0.0909$ ， $\exp(-0.558\times0.0909)=0.9506$ ，1T 文本的有效数据掉到 950.6B，损失 49.4B——一阶近似给 50.72B，两者差 1.3B，论文用的是一阶值。

3.3 重复饱和：把逐 epoch 的边际价值自己算一遍

拟合给出 $R^\star_{\text{vision}}=0.998$ 、 $R^\star_{\text{audio}}=1.758$ 。代入式 (4) 逐 epoch 作差，可以完全复现正文与图 3 报的数字：

epoch	vision	audio
第 2 遍	`63.2%`	`56.7%`
第 3 遍	`23.3%`	`43.2%`
第 5 遍	`3.2%`	`13.8%`

正文报的是 63%/23%/3%（视觉）与 43%/14%（音频），逐格对得上。视觉侧 decay 极快—— $R^\star$ 几乎正好是 1，意味着无穷次重复也只值 2 个 fresh epoch；音频侧是 2.76 个。

作者在这里做了一件很诚实的事：他们没有把这个发现写成视觉与音频的本质属性，而是引了一篇同期工作（Jha 等 2026，共同作者含 Zettlemoyer）指出 MoE 本身就比 dense 更容易在重复数据上过拟合：

“recent work [22] finds that MoEs overfit more rapidly than dense models even when repeating text data, suggesting that the low repetition utility we observe may partly reflect model sparsity rather than being inherent to vision and audio.”（§5）

这句话的分量很重：低重复收益部分是架构假象，不是模态属性。 换个 dense 架构重跑， $R^\star$ 会往上走。

3.4 容量稀释：0.19 N 那个例子其实是保守的

联合拟合给 $c_{\text{text}}=-0.457$ 、 $c_{\text{vision}}=-0.846$ 、 $c_{\text{audio}}=-1.873$ 。正文举的例子是目标模态占 10% token（ $1-h_m=0.9$ ）时 $N_{\text{eff}}/N$ 分别为 0.66、0.47、0.19——代入式 (2) 复核： $\exp(-0.457\times0.9)=0.663$ 、 $\exp(-0.846\times0.9)=0.467$ 、 $\exp(-1.873\times0.9)=0.185$ ，全对。

但 0.19 不是最坏情况。在论文自己最强的那个留出验证里（12.6B-A3.8B，185B 文本 + 7.5B 视觉 + 7.5B 音频），音频份额只有 $7.5/200=3.75\%$ ， $1-h=0.9625$ ， $\exp(-1.873\times0.9625)=0.165$ 。也就是说，在最贴近真实工业配比（文本压倒性多数）的那一档上，音频的有效参数只有名义值的 16.5%，比正文举的 19% 还低。音频偏模型密集这条结论，与音频最怕容量稀释这条结论，指向的是同一件事的两面，而论文把它们放在两节里分别叙述，没有合并成一个机制陈述。

3.5 消融：全篇最锋利的一格在表 7

表 7 在完整训练集上逐个抽掉一个建模分支（ $k$ 为自由参数个数）：

变体	$k$	$\mathrm{RMSE}_{\log}$	Δ vs Full	Text	Vision	Audio	最坏相对误差
Full law	`26`	`0.0064`	–	`0.0066`	`0.0053`	`0.0073`	`2.16%`
No repetition	`24`	`0.0096`	`+49.4%`	`0.0062`	`0.0112`	`0.0107`	`3.62%`
No transfer	`20`	`0.0064`	`-0.7%`	`0.0061`	`0.0061`	`0.0070`	`2.61%`
No capacity	`23`	`0.0089`	`+38.4%`	`0.0077`	`0.0074`	`0.0111`	`5.24%`

两处必须挑明。

其一，抽掉全部 6 个迁移系数，平均 $\mathrm{RMSE}_{\log}$ 反而降了 0.7%。 花费 6 个自由参数换来的，是最坏相对误差从 2.61% 降到 2.16%，以及分模态 RMSE 里只有视觉一侧变好（0.0061→0.0053，改善 13%），文本（0.0066→0.0061）与音频（0.0073→0.0070）两侧反而变差。这组 6 个系数主要在为视觉那一行服务。

其二，把表 9 的外推结果并排看，全律的优势只存在于最激进的两档。 表 9 在四个「用小尺度拟合、外推到 M6」的档位上比较五个变体：

变体	R1 RMSE	R2	R3	R4	R1 最坏误差	R2	R3	R4
Full law	`0.0430`	`0.0349`	`0.0217`	`0.0094`	`8.27%`	`6.91%`	`4.06%`	`2.46%`
No transfer	`0.0469`	`0.0379`	`0.0138`	`0.0095`	`10.55%`	`7.94%`	`3.71%`	`2.22%`
No capacity	`0.0436`	`0.0355`	`0.0212`	`0.0139`	`9.96%`	`7.76%`	`5.58%`	`5.38%`
No repetition	`0.0456`	`0.0362`	`0.0218`	`0.0127`	`9.30%`	`6.74%`	`4.28%`	`2.70%`

在 R3（用 M1–M4 拟合、外推到 M6）上，去掉迁移项的 $\mathrm{RMSE}_{\log}$ 是 0.0138，比全律的 0.0217 低 36%；在 R4 上它的最坏误差 2.22% 也优于全律的 2.46%。全律对「无迁移」的净优势，几乎全部来自 R1 与 R2 这两档（最坏误差 8.27% 对 10.55%、6.91% 对 7.94%）——也就是「只见过最小的两三个模型、要外推 4–5 档」这种最刻薄的设置。

这构成一个可以复用的判据：一个建模分支值不值它的自由度，要看它是在哪一档外推上挣来的。 平均 RMSE 说不清这件事，最坏误差在近端档位也说不清。本文的头条结论（迁移不对称）恰好挂在这样一条分支上，而另两条分支（重复、容量）在四档上都是稳定兑现的。

3.6 留出验证：2.6% 与 2.51% 与「六个 1.1%」

表 10 报了三个留出跑的九个模态级预测。全部九个数：

跑	模态	观测	预测	相对误差
12.6B-A3.8B 从头 200B	Text	`2.4264`	`2.4874`	`+2.51%`
	Vision	`6.4240`	`6.4185`	`-0.09%`
	Audio	`5.2589`	`5.1470`	`-2.13%`
CPT 非文本重（10B 文 + 20B 视 + 20B 音）	Text	`2.7840`	`2.5967`	`-6.73%`
	Vision	`6.2183`	`6.2249`	`+0.11%`
	Audio	`5.0230`	`5.0178`	`-0.10%`
CPT 文本重（40B 文 + 5B 视 + 5B 音）	Text	`2.5897`	`2.5627`	`-1.04%`
	Vision	`6.4872`	`6.5974`	`+1.70%`
	Audio	`5.3068`	`5.3016`	`-0.10%`

正文说「8 of nine within 2.6%」「six within 1.1%」，表 10 的标题写的是「8/9 losses are predicted to within 2.51%」。按上表重数一遍：排除 -6.73% 那格后，剩下八格最大是 2.51%，所以「8/9」✓，阈值取 2.51% ✓（正文的 2.6% 是向上取整）。但 ≤1.1% 的只有五格（0.09、0.10、0.10、0.11、1.04），第六格是 1.70%，跨过了门槛。正文的「six within 1.1%」多算了一格。

再有一条不该被平均数盖掉的事实：九格里六个是视觉或音频，其中五格的误差都在 2.2% 以内，而三个文本格贡献了 +2.51%、-6.73%、-1.04%——误差几乎全集中在文本侧，且最差的那一格正是作者自己在 §6 与附录 H 里点名的非文本重 CPT 跑（文本 token 不够、损失没稳）。这条定律对非文本模态的预测，比它对文本模态的预测准得多。

4 个人分析

4.1 亮点

把「配方」变成了「可拟合的对象」。 这一步的意义超出论文本身。多模态配比此前只能靠跑一堆模型试错，本文把它转成 26 个参数的一次 L-BFGS 拟合（Huber 损失、对 log 损失拟合）。一旦配比进入这个形式，就可以被外推、被求导、被写进规划器——§6 那个 120B-A29B / 15T token 的例子（输出：用 9.7T 文本、1T unique 视觉重复 2.6 次、500B unique 音频重复 5.3 次）就是这个能力的演示。

三个机制被拆成了三个可独立开关的项。 这使得 §3.5 那种「哪个分支真正挣钱」的追问成为可能。很多 scaling 论文把混合效应糊成一个交互项，本篇没有。

诚实地把两条负面证据写进了正文：一是「audio 惰性」其实源自系数不稳定而非系数为零；二是重复收益低有一部分出自 MoE 稀疏性这个假象。这两条都削弱了自己的头条，但它们被放在了 §5 而不是藏进附录。

路由分析给了一个干净的排除性证据。 附录 I 用 Jensen–Shannon 散度测各模态的专家分配分布，M6 档上 $\mathrm{JSD}(\text{text},\text{vision})=0.003$ 、 $\mathrm{JSD}(\text{text},\text{audio})=0.003$ – $0.004$ ，全表不超过 0.03 且随模型变大而下降。结论是：

“Thus, in our setting, capacity dilution does not appear to arise from modalities partitioning the expert pool, but rather from their sharing of the same experts.”（附录 I）

4.2 局限性

其一，头条分支是三条里唯一被消融打平的。 §3.5 已经展开：6 个迁移系数换来的是「最激进外推档上最坏误差少 0.45 个点」，代价是平均 RMSE 略升、文本与音频两侧的分模态 RMSE 变差。摘要里排在第一梯队的「cross-modal interactions are highly asymmetric」，其统计支撑弱于排在第二梯队的「重复饱和」与排在第三梯队的「容量稀释」。

其二，「惰性」与「无害」被并成了一句话。 §3.2 已述，此处不重复。补一句判据：点估计的符号与置信区间的跨度是两件不同的事，把「测不出来」写进摘要时应当写成「测不出来」。

其三，视觉损失是一个混合指标。 §2.6 已述：视觉/音频验证损失含文本 token 损失，而理解与生成两个方向的迁移系数符号相反（ $+0.400$ / $-0.716$ ）。报出来的 $v_{T\to V}=-0.583$ 是配比的净结果，不是模态间的作用常数。 换个理解/生成配比，这个数会动。

其四，路由分析的因果链只走了一半。 JSD 测的是「各模态分配到各专家的比例」，不是「同一专家内部不同模态占用的子空间是否正交」。两模态共享同一批专家、且在其中使用近似正交的方向，就不产生容量竞争。作者排除了「分割」，但「共享导致竞争」这一步是推测而非测量——原文用的是 “suggesting” 与 “We hypothesize”。这条证据只否定了一种可能，没有确立另一种。

其五，规划器把总预算当成外生输入。 §6 的例子里 15T 是写死的，于是 9.7T + 1T×2.6 + 0.5T×5.3 = 14.95T ≈ 15T，重复倍数是被预算逼出来的而不是被收益选出来的。这与 §5「超过两个 epoch 不值得」并不矛盾，但它意味着：如果总预算本身可变，按 $R^\star$ 的结论应当砍掉重复并缩小总 token 数，而规划器不会给出这个建议，因为它只在一个固定的 15T 内部做分配。 使用者若误以为 5.3 次重复是「最优重复次数」，就把一个约束的影子读成了结论。

其六，三个模态的残差被等权相加。 §6 的目标函数是 $\frac{1}{|\mathcal{M}|}\sum_m (L_m-E_m)$ 。三个 $E_m$ 是 1.91、5.67、4.36，分别来自词表 131K 的 Mistral-Nemo 文本 tokenizer、词表 131K 的 Emu3.5 图像 tokenizer、词表 4K 且 40 token/秒的 WavTokenizer——三个损失的单位不是同一个 token 的同一个东西。等权相加等于假定「每 token 损失下降 0.01 纳特」在三个模态间等价。「三模态同等重要」这个操作化承担了不小的构念负担，而论文没有讨论加权方案。

其七，外推范围。 拟合上限是 8.3B 总参数 / 150B token，最强留出验证是 12.6B-A3.8B / 200B token——参数 1.5 倍、token 1.33 倍。§9 自己点明了「 $\gg\!10$ B active parameters、 $>\!1$ T tokens」未验证。对 120B-A29B / 15T 那个演示而言，这是 15 倍参数、100 倍 token 的外推。

4.3 对大模型领域的影响

最直接的影响是把「多模态配比」从经验条目变成可证伪的命题。此前讨论配比只能引「某家模型据说用了 X%」，现在可以问「你这个配比在我的 mixture 权重下预测的音频损失是多少」，并且这个预测是可以被一次留出跑否证的。

第二条影响在数据工程侧： $R^\star_{\text{vision}}\approx 1$ 这条如果站得住，意味着视觉数据「不够就多跑几遍」这条常规做法的上限非常低，采集 unique 数据的边际价值远高于工程上的重复调度。考虑到同期工作提示其中有一部分出自 MoE 稀疏性，稳妥的读法是：在 MoE 上不要指望用重复补视觉数据的缺口。

第三条影响在模态优先级： $v_{V\to A}=-0.795$ 加上 $c_{\text{audio}}=-1.873$ ，合起来给出一个很具体的工程判断——若音频是评测目标，视觉的混入量要单独定价，不能按「视觉数据多所以多放」的自然配比走。

5 实践启示

5.1 可以借鉴的技术

「有效参数 / 有效数据」这个替换手法本身。 任何已经存在的 scaling 律，都可以用同样的两步改造接上混合效应： $N\to N_{\mathrm{eff}}$ 、 $D\to D_{\mathrm{eff}}$ ，并保留单模态极限的退化性质作为 sanity check。这个套路可以直接搬到「多语言配比」「多任务配比」「多来源语料配比」上——后三者的结构（份额竞争 + 重复饱和 + 定向迁移）与本文完全同构。
给「重复」一个带渐近上界的参数化。 式 (4) 的 $R^\star$ 有明确语义（最多还能榨出几个 fresh epoch），比一个无界幂律好用得多，也更容易向非技术决策者解释。做数据预算时可以直接套。
用分模态 RMSE 而不是总体 RMSE 做消融。 表 7 若只看总 RMSE，「No transfer」的 -0.7% 会被读成「迁移项没用」；看分模态才知道它是「视觉侧有用、文本与音频侧有害」。消融表一定要拆到被预测的那一层。
外推档位要分层报。 R1→R4 的四个档把「近端插值」与「远端外推」分开了，这是本篇表 9 的设计，值得照抄。
路由 JSD 作为一条便宜的诊断。 只需要在验证集上累计每个专家的分配计数，就能判断「模态是否分化出专属专家」。这条成本极低，可以放进任何 MoE 多模态训练的常规体检。

5.2 潜在应用场景

多模态预训练预算规划：给定算力与三模态的 unique token 存量，直接跑 SLSQP + multistart 求配比——但要记住总 token 预算是外生输入，重复倍数是约束的产物。
数据采集的优先级排序： $R^\star$ 给出了「再采一批 unique 视觉数据」与「把现有视觉数据多跑两遍」之间的兑换率，可以直接换算成采集预算。
持续预训练的配比诊断：两个 CPT 跑的文本侧误差（-6.73% 与 -1.04%）说明，文本 token 占比掉到 20% 以下时，本定律对文本损失的预测会失稳。这本身就是一条可用的工程预警线。
MoE 架构的模态隔离设计：路由分析显示专家没有按模态分化（JSD ≤ 0.03）。若容量稀释确实来自共享，那么 MoMa、MoE-with-modality-aware-experts 一类显式隔离方案的价值，可以用「重拟合后 $c_m$ 是否向 0 移动」来量化——这是本篇留下的一个很自然的后续实验。
合规与开放科学：全部语料走 CC BY 4.0 及同类许可（文本按 Apertus、视觉按 Chameleon、音频按 Voxtral 的配方组织），268 次跑的配置、超参、数据集拆分都进了附录。这套「可复现的多模态配比实验」骨架，对没有工业级数据管道的团队尤其有用。

参考文献

A. Khandelwal, et al. “Scaling Laws for Multimodal Data Mixtures.” 2026.（本文，arXiv:2610.14423，NeurIPS 2026 spotlight）
J. Hoffmann, et al. “Training Compute-Optimal Large Language Models.” 2022.（Chinchilla）
J. Kaplan, et al. “Scaling Laws for Neural Language Models.” 2020.
A. Aghajanyan, et al. “Scaling Laws for Generative Mixed-Modal Language Models.” 2023.（双模态交互律，本文的直接前作）
S. Longpre, et al. “ATLAS: Adaptive Transfer Scaling Laws for Multilingual Pretraining.” 2025.（加性有效数据形式）
M. Muennighoff, et al. 2023.（文本数据最多可重复 4 次）
A. Jha, et al. “Data scarcity and model sparsity: mixtures-of-experts overfit more to repeated data.” 2026.（MoE 更易在重复数据上过拟合）
P. Manakul, et al. “Scaling Open Discrete Audio Foundation Models…” 2026.（SODA，音频 dense scaling）
Shukor, et al. 2026.（NMM，视觉 dense scaling）
H. Li, et al. “Predictable Scale: Part I, Step Law.” 2025.（学习率与 batch size 的选取）
X. V. Lin, et al. “MoMa: Efficient Early-Fusion Pre-training with Mixture of Modality-Aware Experts.” 2024.
A. Hernández-Cano, et al. “Apertus.” 2025; Chameleon Team 2024; A. H. Liu, et al. “Voxtral.” 2025.（三模态语料组织配方）
Y. Cui, et al. “Emu3.5.” 2025; S. Ji, et al. “WavTokenizer.” 2024; M. AI. “Mistral NeMo.” 2024.（三个 tokenizer）
D. Kraft. “A software package for sequential quadratic programming.” 1988.（SLSQP）