从代理群拟合优度到目标侧证据：回归式数据混合的域归属可辨识性账本

背景与动机

回归式数据混合把「语料怎么配」变成两阶段优化：先训一批小代理模型，再用代理指标对域权重做回归，最后在回归面上找最优配比。LinMix（arXiv:2610.37390，v1 2026-10-27）把这条路线重述为域归属问题——回归系数就是每个域对目标指标的边际贡献。它据此把 Dirichlet 采样换成顶点采样：每次代理运行按随机顺序把若干域灌到各自的 cap，直到预算填满，从而得到一个不带采样超参、可解释的线性模型。论文报告的相对增益是：MBPP +46.1%、GSM8K +14.4%、MATH +31.6%。注意这三个数字全部出自表 1 的 1B OLMo2 设置（.444/.304、.337/.294、.266/.202 对最佳基线）；4B Qwen3.5 侧表 2 的最大相对增益是 +13.8%（40 域设置的 ARC），量级明显小一档——论文摘要把 1B 与 4B 并列后只引大数字，沿用时须注明出处设置。

这套说法的吸引力在于把「调参」换成「实验设计」。把它接回数据工程实践之前，有五处账没有结。

一、代理侧的拟合优度被当成目标侧的证据。论文图 3 报告的 Spearman ρ 是代理群内部的 10 折交叉验证拟合优度，附录图 8 的 ρ≥0.95 是 30M 代理到 60M/100M 代理的迁移，两者都不是「代理指标 → 1B/4B 目标模型」的秩相关。目标侧每格只有 1 次预训练（附录 F 自陈 “single random repetition”）：表 1 背后是 23 次 1B 运行，表 2 背后是 10 次 4B 运行，摊到每个方法×目标只剩 1 次。

二、留出基准里有一列落在一个标准误以内。表 4 给出各基准题数，据此可逐列算二项标准误：HumanEval 164 题上 LinMix .280 对 Olmix .244，Δ=3.6pp，配对 SE=4.85pp，z=0.74；MBPP 500 题 z=4.62；GSM8K 1319 题 z=2.38；MATH 5000 题 z=7.58；HellaSwag 10042 题 z=4.41。MBPP 目标下唯一的真留出基准恰是 z 最低的那一列，而 GSM8K 目标的留出检查（MATH）是稳的。

三、曲率按目标基准逐个挑，未做留出验证。附录 D 自陈线性效用（r=0）在 24 域上把 32B token 全压到 4 个域，“This support is too narrow”。论文对 HellaSwag 换用 lnπ、对 CPile 换用 √π、对 ARC 保留线性。按目标基准逐个选曲率，正是论文指控 Dirichlet 方法 “per-setup heuristic tuning” 的同一件事；“hyperparameter-free” 的限定语只覆盖采样与拟合两段，未覆盖曲率。

四、cap 的语义是「吃掉整个域」，这一点没进配比的解释。cap 取 κ≈n/b_target，于是 u_k = n_k/b_target：顶点采样的每次代理运行等价于「按随机顺序整域吞下，直到预算填满」，最优解同样如此——按 β̂ 降序整域吞下，直到 32B token 用完。语料 195B token，预算 32B，实际只用到 16.4%，83.6% 的域被赋零权重（288 域下约 47 个域留下来）。支撑集大小由 κ 与预算决定，与 β̂ 的零点无关；「只保留正归属域」这条命题依赖「把 β̂ 居中到零均值」这一约定，换一种居中不改变 argmax，只改变「哪些域算正」。

五、摊销口径与实验实际用的口径不同。附录 F 对外的数字是「512×30M 代理 = 目标成本 4%」（0.1k GPU-h 对 4B/120B 的 2.5k）。§4.4 实际用的是 512×100M Qwen3.5 代理，附录 G 记 2.6 GPU-h/个，合计 1.33k GPU-h，对 4B/80B 的 1.7k 是 78%，同口径差约 19 倍。288 域更贵：两个采样器各 1024 个 60M 代理（合计 2048，1.4k GPU-h）外加 2048 个 30M 代理（0.6k），合计约 2.0k GPU-h，是单次 1B 目标运行（233 GPU-h）的 8.8 倍。项目总耗 51k GPU-h 而见刊部分 34k，差额 17k（约三分之一）的预研与失败任务不进方法成本。

顺便记两处口径不一致：表 1 的 24 域五列里有三列 LinMix 的 BPB 劣于最佳基线（−0.6%、−0.5%、−0.6%），正文概括为 “on par or better”；基线的 γ 由本文的条件数准则推到近 prior 区，而定理 1 恰恰说近 prior 区误差被放大。

核心思路

提出 DAL（Domain Attribution Ledger）域归属可辨识性账本：不动 LinMix 的采样器，给回归式数据混合加五本强制刊出的账，把「代理群拟合得好」与「目标模型真的更好」拆成两件分别计量的事。

第一本 设计账：把采样分布与 cap 约束的处理方式解耦。刊出拒绝率 ρ_rej、条件数 κ(ΠᵀΠ)、每次混合的实际支撑大小 |supp(π_i)|、每个域被观测次数 n_k^obs。补一条投影臂——把违反 cap 的 Dirichlet 样本投影回 𝒫_cap（LinMix 自己在 greedy fill 里就用截断），而不是丢弃。论文当前对两个采样器「抽 10⁴ 个设计、留条件数最好的一个」，Dirichlet 的 γ 因拒绝率被推到 [40,4000]，基线退化与采样分布本身混在一起。

第二本 可辨识账：刊出 m/d、设计矩阵秩、SE(β̂_k) 的分布，以及 |β̂_k| < SE 的域占比 π_id。288 域下 m=1024、d=288，比值 3.56，每行约 47–51 个非零；附录 D 已自陈「除以标准误至多提升半个点」，却从未给出标准误本身。

第三本 迁移账：定义 ρ_{P→T} 为「不少于 8 个候选配比上，代理指标与目标模型得分的秩相关」，目标侧每格 3 个种子；另在代理规模阶梯（30M/60M/100M/1B）上报 β̂ 向量的相关性。论文现在只做了代理到代理的一档。

第四本 口径账：归一化准确度的定义与分母、曲率 r 的选择规则与留出验证、BPB 与 accuracy 反向时的报告规则、逐列题数 n 与 z=Δ/SE。

第五本 成本账：swarm GPU-h ÷ 单次目标 run GPU-h、域数变化时的 swarm 需求、被清零域占语料的比例、预研开销占比。

技术路线

第一步，复现与插桩。在 24 域与 288 域两档重跑顶点、Dirichlet 两个采样器，保留每次代理运行的 Π 行与代理指标，输出设计账全部字段，并把「抽 10⁴ 留最优条件数」改为先投影后筛选。

第二步，投影臂与等预算臂。对 Dirichlet 样本做 cap 投影，使低 γ 区可用；再设等 GPU-h 对照，把 288 域的 swarm 预算压到与 24 域相同，看 13.8% 的 ARC 增益还剩多少。域数 d 与代理规模（30M→60M→100M）在当前实验里被一起放大，两个变量必须拆开。

第三步，可辨识性诊断。对 β̂ 做 bootstrap（重抽代理运行）得 SE(β̂_k)，报 |β̂_k|<SE 的域占比；再做居中敏感性测试，把 β̂ 分别从零均值、中位数、prior 加权均值三种原点出发，记录支撑集与最优解的变化量 ∂supp/∂c。

第四步，迁移账落地。在 4B/80B 设置下选 8–10 个配比（含 LinMix 解、prior、随机顶点、投影 Dirichlet 解），各训 3 个种子，算 ρ_{P→T} 与种子内方差 σ_seed，把现有逐格 z 值与 σ_seed 合成后重报。

第五步，成本账与报告模板。按附录 G 的单价把 swarm 与目标 run 折成 GPU-h，输出 swarm/target 比、被清零语料占比、预研占比三项，附一份可直接套用的混合实验报告模板。

预期成果

定量目标：算出 288 域下 SE(β̂) 的完整分布，并判定「正归属域」集合中 |β̂|<SE 的比例是否超过三成——若超过，该支撑集在统计上不可辨别。报出 ρ_{P→T} 的首个实测值，在 MBPP、GSM8K、HellaSwag 三档分别列，把「代理拟合好」与「目标提升」两类结论分开。测出 HumanEval 一栏在 3 种子下的 σ_seed，判定 +15.0% 是否稳定。定出等预算臂下 288 域相对 24 域的净增益，判定细粒度划分的真实边际。补出投影臂下 Dirichlet 的 ρ，判定「只有顶点采样支持线性拟合」在多大程度上来自拒绝策略而非采样分布。

定性产出：一套五本账的报告模板，可直接挂到任何回归式数据混合流水线上；一套口径规则，规定 BPB 与 accuracy 反向时如何报告、曲率如何选、被清零域如何披露。

影响：数据混合的结论目前几乎全部由目标侧单次运行支撑。把迁移账与可辨识账变成强制字段后，「代理指标涨了」不再顶替「目标模型涨了」，配比研究的复现单位从一次预训练变成一次带区间的配比声明。

相关工作

1. LinMix: Data Mixing as Linear Domain Attribution（arXiv:2610.37390，2026-10-27）——本提案审计的种子论文，把回归式数据混合重述为域归属并改用顶点采样。
2. RegMix: Data Mixture as Regression for Language Model Pre-training（arXiv:2407.01492）——回归式路线的代表，用 LightGBM 作非线性代理。
3. Olmix: A Framework for Data Mixing Throughout LM Development（arXiv:2602.12237）——用指数律拟合，并研究域集合演化下的配比复用。
4. DoGE: Domain Reweighting with Generalization Estimation（arXiv:2310.15393）——双层优化求域权重，是回归式路线之外的主要替代。
5. Datamodels: Predicting Predictions from Training Data（arXiv:2202.00622）——样本级线性归属，LinMix 把这一思路搬到域级。