数据论文速递 · 2026年11月10日

本期五篇论文串起一条主线：数据的配比、复用与治理如何逐层写进模型行为。SAE 训练数据的缓冲区缩放律给出存储预算的硬性依据；MoE 负载均衡被重构为反馈控制问题，直面换料场景；一个 300 模型的 GPT-2 动物园证明数据配比在权重空间可编码、可生成；LLM 标注管线与领域微调护栏的两项审计，则把「数据决策的后果」变成了可测量的清单。

Scaling Laws for SAE Training Data

论文信息：Scaling Laws for SAE Training Data，arXiv:2611.07756，链接：https://arxiv.org/abs/2611.07756

核心问题：SAE（稀疏自编码器）训练中，激活存储是常见瓶颈。总训练预算固定时，到底需要多少份不重复的激活样本？缓冲区要不要随预算扩容？

关键发现：质量随缓冲区增长先快后慢，到达平台期后，重放缓冲区的效果与全程喂新激活几乎持平；越过该点，追加新激活对重构与可解释性的收益趋近于零。论文把「多样性对重复」的权衡提炼成一条数据受限下的缩放律，验证覆盖 Llama-3.1 早中晚层、Qwen3 多个规模、BatchTopK/TopK/JumpReLU 三种 SAE 结构，换数学文本与 Python 代码两种激活源再测一遍依然成立，评估指标含 explained variance、重构 MSE、特征吸收、自动可解释性与稀疏探针。落地规则很直接：选到达平台期的最小缓冲区，余下预算全部重放——激活存储省 8–64 倍，质量几乎无损。

实践启示：可解释性基础设施不必随 token 预算线性扩容激活库；数据多样性的收益有明确饱和点，先测出平台期位置，再决定存储预算怎么花。

Rethinking MoE Load Balancing as Feedback Control

论文信息：Rethinking MoE Load Balancing as Feedback Control，arXiv:2611.09252，链接：https://arxiv.org/abs/2611.09252

核心问题：MoE 训练往往不在平稳数据上进行——课程边界切换、继续预训练进入新领域、语料刷新都会改动数据配比。路由是针对当前配比学出来的，配比一变，路由器收敛好的专家负载即被打散，而现有均衡方法只在平稳数据上验证过。

关键发现：论文把负载均衡重构为反馈控制问题：控制误差取专家负载偏离公平份额的幅度，控制输入取逐专家路由偏置，由此定义出 PID-Balancer 控制器族。两个主流方法恰是族内成员——辅助均衡损失等价于比例控制器，loss-free 偏置更新等价于只看误差符号的积分控制器。把路由器视作带一步时滞的静态映射后可以证明：只有积分项既能消除持续性失衡，又能平均掉负载的逐步波动；比例项与微分项反而把波动放大进路由偏置。纯积分成员 PID(I) 在两个设定下接受检验：OLMoE 骨干（每层 16–64 个专家）从零训练并在中段切换配比，以及对已发布的 OLMoE-1B-7B 做新语料继续预训练。换料前它稳住均衡，换料后恢复得比辅助损失与 loss-free 都更紧，困惑度持平。

实践启示：做语料刷新或领域续训的 MoE 团队，负载均衡应按控制器设计选型，而非反复调固定损失系数；单增益的积分控制是第一个值得上手的基线。

A Night at the LLM Zoo: Data Conditioned Flow Matching for Generating Pretrained LLM Weights

论文信息：A Night at the LLM Zoo: Data Conditioned Flow Matching for Generating Pretrained LLM Weights，arXiv:2611.07103，链接：https://arxiv.org/abs/2611.07103

核心问题：权重空间学习（Weight Space Learning）从视觉与任务专用模型扩展到 LLM 时，缺少一个配比可控、经过系统分析的模型种群作为训练素材。

关键发现：作者在 51M、124M、355M 三档 GPT-2 上各训 100 个模型，系统变动 web 文本、书籍、数学、代码、法语五种成分的配比，再用余弦相似度、功能多样性、Leave-One-Mixture-Out 建模与方差分解证明：模型种群的差异由训练配比结构化地决定。把配比嵌入作为条件，训练 Flow Matching 生成 Gram-PCA 压缩空间中的完整预训练权重，在留出配比上实现零样本泛化（CRPS 技能评分验证），生成模型在下游测试困惑度与通用能力基准上的表现与真实训出的 zoo 成员相当。源码与全部产物已开源。

实践启示：配比实验存在廉价代理路径——不实际训练，先在权重空间「查询」某个配比的预期产物；配比信号在权重空间可编码、可泛化，为缩放律框架下的配比搜索提供了新坐标系。

Definitions, Label Names, or Demonstrations? Auditing What Governs LLM Annotation

论文信息：Definitions, Label Names, or Demonstrations? Auditing What Governs LLM Annotation，arXiv:2611.09457，链接：https://arxiv.org/abs/2611.09457

核心问题：用 LLM 给社科文本打标注时，高准确率证明不了模型在执行研究者给出的类别定义——类别标签名称或示例携带的先验联想，同样能撑起高准确率。标注行为到底由谁主导？

关键发现：论文设计了反事实审计：把类别定义在不同输出标签间重新分配，区分「遵循给定定义」与「复现数据集原有映射」。三个政治文本数据集上，模型很少跟随重分配后的定义，标准微调强化的是原有映射，定义遵从度并未可靠上升。检索增强标注一节的结论更扎心：按最近邻取示例整体优于按类别分别取示例，后者用的示例还更多；在增益显著的两个任务上，直接 kNN 分类就能恢复 74–93% 的提升——邻域标签贡献了大部分预测信号。重排固定示例可以改变预测方向，把示例与重分配后的定义对齐，新映射的遵从度明显上升。

实践启示：LLM-as-annotator 管线应把反事实审计纳入验收流程，准确率达标不等于执行了标注规范；示例选择上，最近邻检索是性价比最高的默认项；定义、标签名、示例、检索与训练数据需对齐后联合验证。

Guardrail Erosion in Domain Fine-Tuned Large Language Models

论文信息：Guardrail Erosion in Domain Fine-Tuned Large Language Models: A Paired Audit of Knowledge-Centric Abstention in Biomedical LLMs，arXiv:2611.08780，链接：https://arxiv.org/abs/2611.08780

核心问题：领域微调（以生物医学为样本）会不会侵蚀模型「知道自己不知道」的能力，即知识中心的弃答行为？既有工作集中在价值中心的拒答，跨架构、跨数据配比、跨微调方法的大规模审计一直缺位。

关键发现：作者对 25 个生物医学领域微调模型与 11 个配对基座做成对审计，基准取 MedAbstain 与 ClinDet-Bench。基座的合理弃答率本就不高——MedAbstain 中位数 8.3%；微调后进一步跌至 4.2%，25 对中 21 对下降；变化的方向与幅度在各模型对之间高度不均。

实践启示：领域 SFT 的数据配方应显式加入弃答目标样本，别只堆领域知识；采购或选型领域模型时，把弃答表现列入验收清单，仅看领域基准分远远不够。