研究提案已修订

ReproForge：把论文复现评测转化为科学 Agent 的可验证强化学习数据引擎

针对前沿 Agent 在跨学科论文复现任务上完整复现率仅 14% 的现状，提出将 PAPERBENCHX 式复现基准的环境、评分细则与回放器复用为训练基础设施：形式化约束驱动的任务变体放大、评分细则分解为阶段化过程奖励、回放差异定位的步级蒸馏监督。

2026年11月2日科学Agent 可验证奖励强化学习论文复现训练数据引擎 AI for Science 步级监督

背景与动机

PAPERBENCHX（2026-10-29，arXiv:2610.39744）给科学 Agent 的现状下了硬判决：在 93 个专家构建的论文复现任务、横跨电磁学、光子学、化学、材料、生物、机器人 12 个研究领域中，10 个前沿 Agent 配置里最好的一家在 90% 阈值下只完整复现了 14% 的任务，平均评分细则得分停在 27.53% 到 59.08% 之间。大量部分进展无法转化为完整的科学复现，理解论文与产出可复现证据之间存在断层。

更深层的问题是评测与训练的断裂。PAPERBENCHX 这类基准为每个任务准备了领域原生科学软件环境与专家校验的评分细则，评测时还会从零回放每次提交、只对再生证据打分，验证基础设施相当扎实。但评测结束后，Agent 在真实科学软件里执行、诊断、修复长程计算的全部轨迹被直接丢弃，没有进入任何训练管线。复现任务天然自带可验证奖励（证据是否再生、是否支撑目标论断），这套信号恰恰是当前 Agent 后训练最稀缺的资源，现在却只在评测时用一次。

把 RLVR（可验证奖励强化学习）从代码与数学推广到科学复现，缺三样东西。第一是任务规模：93 个专家任务是评测够用、训练远远不够的量级，而人工构建一个复现任务的成本极高。第二是奖励密度：评分细则打在最终产物上，一次几千步的长程交互只换来一个标量，信用分配噪声大。SCOPE（arXiv:2610.38391）证明在错误步选择性蒸馏事后技能能把 ALFWorld 成绩推到 97.7%（Qwen2.5-3B 基座，WebShop 同步到 85.2%，较 SEED 分别高 5.9 与 6.3 个百分点），但它的实验落在 ALFWorld 与 WebShop 两类模拟环境，方法没有在真实科学软件栈上被检验过。第三是诊断信号：科学软件里执行失败的原因（数值格式、依赖冲突、物理量纲）与 ALFWorld 的动作错误完全不同，步级监督需要新的定位机制。

核心思路

提出 ReproForge，一个把论文复现评测转化为可验证训练数据的数据引擎，由三个组件构成完整回路。

任务放大器：把 93 个种子任务的形式化规格（输入参数、数值方案、目标证据）抽取成结构化模板，在物理与数值有效范围内做参数扰动与方案替换，批量生成复现变体。变体的科学有效性用 FARMS（arXiv:2610.40560）式的形式化前提链检查：扰动后的参数组合必须通过领域约束（守恒律、稳定性条件、量纲一致性）才准入，并抽样回放验证目标证据确实可再生。93 个种子预计能放大到数千个带验证奖励函数的任务。

奖励分解器：把专家评分细则分解为阶段化可验证检查点（环境搭建、数值方案选择、执行完成、证据匹配），每个检查点对应一次局部回放，单独可算分。训练奖励取检查点加权和，密度从每条轨迹一个标量提升到每个阶段一个信号。

步级监督定位器：复现轨迹每一步回放后做执行差异对比，定位策略输出与可执行证据首次分叉的步骤，只在这些分叉步上做 SCOPE 式事后技能蒸馏，避免轨迹级蒸馏把正确步也改坏的离靶问题。

与现有工作的关键区别有三点。PAPERBENCHX 只做评测，ReproForge 把它的环境、细则与回放器复用为训练基础设施，评测资产变成训练资产。SCOPE 的步级监督依赖策略自我分析，ReproForge 用回放差异这一执行层信号定位错误步，机制上更贴近科学软件的失败模式。现有科学 Agent 训练（如 Occamy-1.0，arXiv:2609.11977）用构造的执行接地数据，ReproForge 的数据直接来自真实论文的真实实验规格，任务分布与部署场景重合。

技术路线

第一步做种子形式化。对 93 个任务逐个抽取实验规格：自由参数、约束条件、目标证据的再生判据。手工加 LLM 辅助抽取，专家抽查修正。产出是一套领域规格模板库。

变体生成走两条路。参数扰动在形式化约束界定的可行域内采样，方案替换（换数值格式、换求解器）从 FARMS 风格的形式化知识库里检索可替换项。生成后跑两级验证：形式化约束检查筛掉违反物理有效性的变体，抽样回放确认目标证据可再生。验证预算用异步回放池摊薄，缓存不变部分的环境状态。

训练阶段分两层。SFT 层用放大任务上成功轨迹的筛选子集做行为初始化；RL 层用分解奖励跑 GRPO，分叉步上叠加有界带符号的蒸馏修正。拟合阶段分批混入跨领域任务防止过拟合单一领域模板。

验证环节产出三组对照：ReproForge 训练的模型对比同预算纯 SFT、纯结果奖励 GRPO、无步级监督三组消融，在 PAPERBENCHX 原始任务与留出领域上测迁移。

关键技术挑战有四个。变体有效性：扰动会产生数值上病态的参数组合，形式化检查覆盖不全时会引入假任务，对策是回放验证兜底加上可疑变体的隔离队列。回放成本：一次完整回放要跑长程科学计算，对策是增量回放（只重跑受扰动影响的部分）加状态快照缓存。奖励作弊：策略学会满足检查点但不产出真证据，对策是保留一批不进训练奖励的隐藏细则项做诚实度审计。跨方案泛化：变体生成容易偏向少数数值方案，对策是按方案簇配额采样并在验证集上监控方案间方差。

预期成果

任务规模上，把 93 个种子放大到不少于 2000 个通过两级验证的变体任务，形式化检查与回放验证的通过率不低于 90%，每个任务附带可程序化调用的奖励函数。

模型性能上，用 Qwen3-32B 级别基座训练后，PAPERBENCHX 平均评分细则得分相对基座提升 15 个百分点以上，相对同预算纯 SFT 基线提升 8 个百分点以上；90% 阈值下的完整复现率从 14% 推到 30%。

样本效率上，分解奖励加分叉步监督的组合，达到相同评分细则得分所需 rollout 数比纯结果奖励 GRPO 少 35% 以上。

泛化上，留出领域的成绩增益不低于训练领域增益的六成，证明学到的是复现方法论而不是领域模板记忆。数据引擎本身开源，包括规格模板库、验证过的变体集与奖励函数实现。

影响层面，这条路线如果跑通，科学文献里海量已发表实验就从静态记录变成可再生成的训练素材，AI for Science 的后训练从此有一个不依赖人工标注的验证奖励来源。

局限性与失效模式

变体真实性上限：93 个种子任务覆盖 12 个领域，但每个领域内的论文风格、软件栈与数值惯例分布并不均匀，参数扰动生成的变体集中在少数规格模板上时，2000 个任务的名义规模会高估实际多样性。方案簇配额采样只能缓解、不能消除。
回放差异定位的前提：步级监督定位器假设”策略输出与可执行证据首次分叉的步骤”就是需要修正的步骤，但科学计算中错误可能潜伏多步之后才显现（数值格式错误常在下游才爆），首次分叉步可能是替罪羊。SCOPE 的自我分析机制虽不精确，恰好覆盖这类延迟显现，两者是互补而非替代关系。
奖励分解的可作弊面：阶段化检查点（环境搭建、执行完成、证据匹配）一旦进入训练奖励，就暴露给策略优化；隐藏细则项审计只能事后发现作弊，无法防止。若策略在训练中期学会满足检查点的捷径，需要人工介入重新设计检查点，训练管线的中断成本没有计入回放成本估算。
种子任务的基准依赖：整个引擎的价值锚定在 PAPERBENCHX 的 93 个任务上，若该基准的任务构造存在系统性偏差（如偏重特定软件栈），ReproForge 会把偏差放大到训练分布里。留出领域迁移测试（增益不低于训练领域六成）是唯一的兜底检验，建议把留出比例作为一等超参数而非事后验证。