研究提案已修订

经验放在哪一层：持续学习智能体的分层经验分配与权重固化框架

针对智能体积累经验只能全量外置（Routed CL）或全量蒸馏进权重（RSD/ASCENT）的架构对立，提出三层存储分配框架 TEA，按命中频率、漂移速率、泛化度、验证状态四个可观测特征逐簇决定经验去向，统一解释 Externalise the Memory 与 RSD 的相反证据。

2026年11月3日智能体记忆持续学习经验蒸馏测试时训练数据分配 Agent数据工程

背景与动机

持续运行的智能体会积累大量交互轨迹，这些经验放在哪里，直接决定复用成本与能力上限。当前存在三种互斥的存放方式，各自都有代表性工作支撑，也各自暴露出硬伤。

全局上下文（Global ICL）把历史轨迹原样塞进 prompt。CL-Bench 在六个专家验证领域的评测显示，朴素 ICL 的增益反而高于专用记忆管理系统，细节保真度最高；代价是 token 成本随历史线性膨胀，且无关经验互相干扰。

外置记忆簇走压缩与检索路线。Meta FAIR 的 Routed CL（2026-10-28 上线）把轨迹聚成簇、每簇挂一种记忆系统，由 LLM 路由器决定复用还是新建，在 CL-Bench 301 实例加 τ³-Bench 97 实例的混合流上，归一化奖励较全局 ICL 提升了可达上限的 15-30%，估算 API 成本下降 65-72%。经验只进上下文、永不进权重，每次推理都要重新检索与注入，高复用知识反复占用上下文预算。

权重蒸馏走第三条路。RSD 用特权回顾上下文让模型给自己的动作重打分，再经在线自蒸馏把经验固化进参数，无验证器条件下相对提升最高 59.7%；ASCENT 把通过验证的轨迹蒸馏进常驻 LoRA，在 ALFWorld/WebShop/AppWorld 上随经验积累提升任务成功率与交互效率，并能迁移到未见场景。但 Externalise the Memory 的预注册研究给出了对立证据：外挂检索缓存给固定权重学生带来 +34 个百分点（z=5.15），把记忆增强行为蒸馏进权重却只有 +1 个百分点（不显著）。

该检验对自身预注册的最小效应欠功效，作者对「记忆进权重」的结论是撤回而非否定——引用这对数字作对立证据时，应表述为「现有功效下未检出」，而非「已被证伪」。同一批经验，进权重还是留在外部，两个设置的结论几乎相反。

问题的根子在于：现有工作都把存放位置当成全有全无的架构选择，Routed CL 全部外置、RSD 与 ASCENT 全部进权重，没有任何方法在经验粒度上做分配决策。哪些经验值得固化进权重、哪些必须留在外部以便随概念漂移改写、哪些只用一次就该淘汰，这是纯数据工程问题，目前没有答案。

核心思路

提出分层经验分配框架 TEA（Tiered Experience Allocation），把上下文槽位、记忆簇、权重适配器（LoRA）建模为三层存储层级，为每份经验（以 Routed CL 的簇为单位）计算边际价值与成本之比，据此决定去向。

三层的价值-成本-风险剖面互补：上下文逐查询保真度最高、递延 token 成本最高、容量最小；记忆簇单次查询便宜、可随时改写以应对漂移，但检索启发式脆弱（CL-Bench 的结论正是检索环节拖后腿）；权重边际推理成本为零、固化成本一次性摊销，可是一旦概念漂移难以回滚，还有跨技能干扰风险。

与现有工作的关键区别有三。其一，Routed CL 在记忆系统之间路由，TEA 把路由空间扩展到权重层，路由器输出从「复用哪个簇」变成「这个簇该住哪一层」。其二，RSD 对全部自然轨迹做蒸馏、ASCENT 的筛选维度只有验证状态一个，TEA 把筛选面扩展为四特征，只蒸馏高复用、低漂移、已验证的簇，漂移敏感知识留在可改写的外部层。其三，Externalise the Memory 只做了单任务预注册对照，TEA 把「进权重还是留外部」变成可在线重估的逐簇决策，固化后仍保留外部影子副本用于漂移回滚。

技术路线

第一步做经验画像。复用 Routed CL 的路由日志，为每个簇提取四个特征：命中频率（路由器复用次数除以流长度）、跨任务泛化度（命中实例的任务类型熵）、漂移速率（注入后奖励增量的时间衰减斜率）、验证状态（簇内轨迹是否通过环境验证）。CL-Bench 的数据库探索任务在 Q20 处安排了一次数据库迁移来引入概念漂移，为漂移速率特征提供天然的标注场。

第二步估边际价值。监督信号用反事实消融：在留出实例流上分别移除某簇的上下文注入、记忆检索、适配器加载，奖励差即该簇在该层的边际价值。逐簇全量消融开销过大，改用两档：路由日志的观测信号（注入时刻的即时奖励增量）做在线粗估，按周期抽簇做干预式复核。

第三步搭固化管线。通过阈值的簇走 RSD 式特权回顾蒸馏，产出簇专属 LoRA；蒸馏训练数据只取该簇内通过验证或事后可判定正确的轨迹段，并按 ASCENT 的无效动作剪枝准则剔除探索死胡同。固化后该簇降级为影子外部副本：不再注入上下文，只在漂移检测触发时用于重建适配器。

第四步改服务路径。路由器先探测权重层（输出对各固化适配器的选择分布），未命中再查记忆簇，最后才落到新上下文。推理侧需要 LoRA 热切换与多适配器叠加，可在现有 PEFT 服务栈上实现。

关键技术挑战有三个。跨层信用分配的观测混淆：命中奖励增量混着模型自身能力与簇贡献，需要 CL-Bench 式 stateless 对照流做基线。多适配器干扰：一次 rollout 命中多个固化技能时的叠加行为缺乏理论保证，先限制单次 rollout 最多激活两个适配器并用消融标定。「真的学会了」与「记住了」的区分：用簇族留出实例（同任务族的未见实例）测迁移，留出增益达到在用实例增益六成以上才确认固化成功。

预期成果

定量目标定四条。CL-Bench 加 τ³-Bench 混合流上，归一化奖励追平或超过 Routed CL，即比全局 ICL 高 15-30%；相对 Routed CL 再压缩上下文 token 成本 20% 以上，高复用簇固化后不再以文本形式注入；漂移任务回退不超 2 个百分点，对照组（RSD 全量蒸馏直推）预期回退 10 个百分点以上；经验画像四特征对固化收益的秩相关达到 0.6。

定性产出两条。一是给出经验存放位置的可计算判据：命中频率、漂移速率、泛化度、验证状态四个可观测量的决策面，直接回答 Externalise the Memory 与 RSD 证据对立的条件边界，什么条件下该外置、什么条件下该固化。二是把 Routed CL 的 Context Memory Adapter 扩展成三层的即插即用升级件，社区可直接复用。

影响面：持续学习智能体的运维成本结构会随之改变，固化把递延 token 成本换成一次性训练成本，长程部署的总成本模型可以用 TEA 的分配器直接优化。

局限性与失效模式

其一，路由错误传播。四个画像特征全部产自 Routed CL 的路由日志，路由器误建簇或误并簇会同时污染命中频率与泛化度两个特征，而 CL-Bench 恰恰观察到检索与路由环节是现有记忆系统的短板——画像的可信度上限等于路由器的可信度上限。

其二，冷启动窗口。漂移速率需要足够长的观测窗口才能拟合时间衰减斜率，经验流的早期分配决策只能依赖命中频率与验证状态两个即时特征，首批固化决策天然带有更高的误固化风险。

其三，证据外推边界。Externalise the Memory 的 +34pp/+1pp 对照来自具身单任务（视觉条件抓取）的预注册研究，且蒸馏臂已确认欠功效；把这对数字外推到多任务智能体经验流时，方向性参考价值大于数值参考价值。

其四，多适配器叠加缺乏理论保证（正文已自陈），单次 rollout 限两个适配器是工程妥协而非解决方案；若固化簇之间存在技能复用（同一底层技能被多个簇各固化一份），叠加上限会更早到来。