单事实率导向的科学发现语料工程：Monofact 计量、组合调控与配方外推

背景与动机

大模型正被推向科学发现的一线：新材料筛选、调控基因组元件识别、实验方案规划，前沿系统的产出已进入实验室验证环节。一个更基础的问题迟迟没有答案——训练语料中的什么成分，塑造了模型的「发现」能力？

arXiv 2611.03617（约翰斯·霍普金斯大学、微软、苹果，2026-11-02 提交）给出一条因果线索。该工作把科学发现能力建模为训练数据的缺失概率质量问题，提出 monofact（训练中恰好出现一次的事实）决定发现容量：在材料科学与调控基因组学两个领域直接操纵训练集的 monofact 率，monofact 越多发现越多；效应在两个开放权重模型家族、多种采样策略与推理预算下保持稳定，无法用数据集多样性解释，配合域内数据还可跨域迁移。

这条结论停留在受控小规模实验，距离预训练工程还有三道沟。

其一，无人计量过真实语料。公开预训练混合语料的 monofact 率如何分布、各数据源差异多大，没有测量工具，也没有基线数字。因果变量无法测量，就无法进入数据管线的决策回路。

其二，工程链条上存在未刻画的耦合。主流管线沿用 Lee 等人 2021 年的结论做激进去重（去重后模型更可靠、更省算力），而去重恰好把重复出现的事实压缩为单次出现——去重强度直接改写事实频率分布。去重、记忆、发现三者之间的定量关系，至今是一页空白。

其三，发现域缺少组合定律。Apple 的 SynthAPI（arXiv 2610.37648）证明工具使用域的数据组成可以拟合出可外推的 scaling law：把应用数、任务数、初始状态数、数据深度拆成独立旋钮，849 个模型训练点拟合后，对 16 倍训练量之外的留出实验预测误差 0.0285，只看任务总量的基线误差 0.1706。科学发现域没有对应工作，数据预算决策仍靠经验拍板。

核心思路

提案 MonoRecipe：一套面向科学发现的单事实率语料工程管线，由三个组件串联。

组件一，Monofact 计量器。从语料中抽取科学事实、规范化、流式计数，估计任意混合语料按域与来源分层的 monofact 率分布，产出公开预训练语料的首张 monofact 率地图。计量是后续一切的前提：有了可复现的测量，因果变量才能变成工程量。

组件二，组合调控器。以材料数据库与调控基因组数据库为知识源，构建 monofact 率、域内配比、去重强度三个旋钮相互独立的受控语料，固定 token 预算下对真实混合语料做再加权。调控器要回答的问题是：同预算下，预算该花在提升单事实覆盖，还是堆叠域内重复？

组件三，配方外推器。跨组成训练 1B-8B 模型，拟合科学发现的组合 scaling law，仿照 SynthAPI 协议留出最高算力实验检验外推精度，再用拟合出的定律做预算重分配实验。

与现有工作的关键区别：JHU 的工作发现因果变量但止步受控实验；SynthAPI 建立组合定律但只覆盖工具使用域且基于全合成环境。MonoRecipe 把两者焊接起来：用计量器把 monofact 率从实验设定变成可优化的语料统计量，用组合定律把单点因果结论外推为预算决策工具，并顺带检验该结论在开放语料尺度是否成立。

技术路线

分五步实施。

第一步，事实抽取与计数。用开放权重抽取模型把文献与数据库记录转为规范化事实三元组，实体链接消歧后，以 count-min sketch 流式统计事实频次，输出带置信区间的 monofact 率估计。抽取器漏检会把多次出现的事实误判为单次，需在人工标注子集上估计召回率并做校正。

第二步，语料地图。对 2-3 个开放预训练混合语料分层计量，与 JHU 论文受控数据集的人工 monofact 率对齐校准，相对误差超过 10% 则回改抽取与规范化规则。

第三步，受控语料构建。从材料与基因组知识源合成语料变体，网格覆盖 monofact 率、域内配比、去重强度三个维度。关键在旋钮解耦：文档级去重会连带改变事实频率分布，需增设事实级去重路径（保留事实首次出现、删除后续重复）把频率轴与冗余轴分开。

第四步，训练与拟合。1B、4B、8B 三档模型，约 120-180 个训练点（规模小于 SynthAPI 的 849 点，以代理指标补位：先测留出 monofact 的补全概率做廉价筛选，再对候选配方跑完整发现评测）。发现评测沿用 JHU 协议，报告发现数、采样策略与推理预算。

第五步，外推与预算实验。留出训练量最高的 25% 实验不参与拟合，检验组合定律在拟合区间之外 4-8 倍训练量上的预测误差；做同预算重分配对照——按定律优化的配方对比均匀混合与单调去重基线。

关键技术挑战有三。monofact 的操作性定义在开放语料上并不平凡，抽取误差直接污染因果变量，计量器的校准是全管线的第一风险点。发现评测回合昂贵（SynthAPI 仅诊断集两个基准 AppWorld 与 SynthAPI-Holdout 的评测就跑了约 180 万个回合），代理指标与最终发现数的相关性需在早期验证。1B 模型的发现信号强度存疑，若 JHU 协议在该档位信噪比不足，实验下限需上移至 4B，训练点数相应压缩。

预期成果

定量目标四项：首张开放语料 monofact 率地图；校准后计量器的相对估计误差不超过 10%；科学发现组合 scaling law 对留出高算力实验的归一化预测误差不超过 0.05；同 token 预算下，按配方优化的混合相对均匀基线提升发现数 15% 以上。

定性影响三条。去重强度从经验参数升级为发现能力的显式权衡项，数据管线拿到一个可调的「发现旋钮」。AI for Science 的数据采购获得预算决策工具，从拍脑袋配比走向有公式、有外推、有误差率的工程学科。若开放语料尺度上 monofact 率效应不复现，这个负结果同样有价值——它划清 2611.03617 结论的适用边界，把后续努力引向域内合成路径。

交付物：计量器与语料地图开源、受控组成数据集、拟合与外推代码、完整实验报告。

相关工作

• Tracing the Scientific Discovery Capacity of LLMs to Their Training Data（约翰斯·霍普金斯大学等，2026）：发现 monofact 率是决定科学发现能力的关键因果变量，本提案的直接锚点。
• Scaling Laws for Tool-Use Agents via Controllable Environment Synthesis（Apple，2026）：数据组成 scaling law 的方法学范本，本提案把其旋钮设计与留出外推协议迁移到科学发现域。
• Meta-memorization and memorization scaling laws in transformers（普林斯顿大学，2026）：单次出现数据的记忆动力学，为 monofact 的记忆机制提供理论参照。
• Deduplicating Training Data Makes Language Models Better（马里兰大学等，2021）：去重利弊的经典依据，与本提案刻画的「去重-发现」张力直接相关。
• Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws（Meta 等，2024）：知识容量约 2 bit/参数的量化结论，为事实存储的容量核算提供基线。