大模型前沿动态 · Vol.142

MemT 1.0 把经验焊进模型内部、清华 AKV 让智能体自己决定丢哪些 KV、OpenAI 把 COBOL 迁移从 5.4% 推到 97.9%、Gemma 3 基座版事实召回高出指令版 0.116

记忆张量发布近 300B 规模的记忆原生模型 MemT 1.0，128K 历史下端到端快 1.86 倍；清华 NICS 提出 cache engineering，把 KV 缓存处置权交给智能体，成本降 27.7% 且分数反涨 1.7 分；OpenAI 公开 MultiLangBench，GPT-6 Astra 在 20 种语言上平均通过率 87.4%；AKBC 任务冠军证明指令微调会在事实召回上收税，基座版比指令版高 0.116。

大模型 MemT 记忆原生 KV缓存 智能体 OpenAI COBOL MultiLangBench 清华 指令微调 事实召回 Gated DeltaNet AKV 服务引擎 低资源语言

过去由系统默认决定「留什么、丢什么」的地方，本周四处被改成了明码标价的显式决策：经验该不该焊进模型内部状态、KV 缓存该不该逐项丢弃、后训练该不该削掉事实召回、冷门语言该不该补。

记忆张量 MemT 1.0：把经验焊进模型内部，288B 规模首次跑通记忆原生

事件概述

记忆张量团队 10 月 19 日把 MemT-1.0 的论文挂上 arXiv（编号 2610.26825，19 日 v1、20 日 v2，66 页、15 图、16 表），量子位 10 月 20 日 20:50 做了中文解读。团队一次放出两个型号：MemT-1.0-Nano 总参数 36B、激活 3B，基座是 Qwen3.6-35B-A3B；MemT-1.0-Flash 总参数 288B、激活 17B，基座是经过进一步后训练的 DeepSeek-V4-Flash。按论文说法，这是记忆原生模型第一次在接近 300B 参数规模上完成工程验证，权重、代码与模型都已开放。

技术解析

改动落在选定的 Transformer 模块上：在原有注意力之外，并联一条记忆计算通路。参数被拆成三层——主干权重承载通用能力、训练记忆时保持冻结；超记忆是读写投影与门控这类可训练参数，决定怎样编码、更新和读取；局部记忆是动态矩阵状态，保存交互中新加入的信息。经验不再以文本形式回到上下文，而是编码成内部动态状态，模型生成动作时由专门的记忆分支读取，读出结果与原有注意力输出融合。

更新机制基于 Gated DeltaNet-2 的逐 token 生成并做了稳定化处理，每轮结束时由门控调整已有记忆关联，轮内仍按 token 顺序调整状态。这条设计有消融支撑：把逐 token 更新换成整轮聚合后，Nano 在记忆基准上的平均分从约 47.0 掉到 41.0。容量不够时靠 MoS（Mixture-of-Storage）扩展——把一个记忆原生模块拆成多个记忆专家，各自学习存储与使用路由，采用稠密融合，所有专家都参与计算，路由权重决定贡献，这与基座 MoE 的稀疏专家路由是两种做法。

训练用了 340 亿 token，继续预训练 200 亿、后训练 140 亿。继续预训练格式统一：长文本切成连续片段写入记忆，模型拿着记忆状态回答查询，处理完一个片段就更新状态供下一段使用。后训练数据分三类：记忆原生的语言建模数据、记忆存储与利用数据（摘要、续写、压缩）、强化长程记忆的任务数据。蒸馏环节里，此前冻结的主干充当教师、能看到完整历史，MemT 作为学生只能看到自己的记忆状态，沿 off-policy 蒸馏对齐教师分布。

效果上，500 项 SWE-bench Verified 任务每项独立跑三次，MemT-1.0-Nano 在关键断点的平均成功率 69.73%，无经验基线 66.07%，文本经验组 69.13%；三次全部成功的任务比例从无经验时的 54.00% 升到 62.80%，文本经验组为 61.80%。SWE-bench Multilingual 同一触发设置下，原生记忆组 63.56%，无经验组 60.00%，文本经验组 63.00%。11 项记忆基准综合评估中，Flash 与 Nano 平均得分 50.6 和 47.0，居参数化记忆方法前两名。成本侧，128K 长历史下 Nano 端到端推理速度约为完整上下文方案的 1.86 倍，每条轨迹的持久状态占用是完整上下文 KV Cache 的六十六分之一。

论文对自己的边界写得很直白：文本记忆系统在长历史细节召回上仍有整体优势；精确删除、解释与恢复需要额外机制；当前只验证了初步计算实现，收益能否跨出训练分布还待检验。

行业影响

这条线把「经验怎么表示」变成了可训练、可设计的变量。外部记忆方案里，经验好不好用只能看检索后任务结果有没有改善；记忆原生多了一组旋钮——同样的经历换一种内部表示、更新规则和读取方式，能不能用得更好。团队把它称作 Memory Scaling，即推理增长之外的第三条第性能曲线。

企业侧的含义更直接：长期会话的状态预算更好估算，多个查询能复用已构建的状态，重复工作流里「经过验证的经验能复用多少次」可以和「模型单次表现」一起进选型标准。对 RSI 讨论而言，记忆是三块拼图（记忆、反馈、验证与更新机制）里承接有效结果那一块，MemT 1.0 从模型层面补上了第一块。

相关链接

清华 NICS 把 KV 缓存的处置权交给智能体：成本降 27.7%，分数反涨 1.7 分

事件概述

清华大学与香港中文大学团队 10 月 20 日提交《Cache Engineering for Agents》（arXiv 2610.28577），代码放在 github.com/thu-nics/AKV。论文给出一组反直觉的数字：相比常规的阈值触发式摘要，一个简单的工具响应滚动丢弃策略让平均成本降 27.7%，平均基准分数反而涨 1.7 分。

技术解析

先看账本。论文 Figure 14 统计，KV 缓存读取占到总 API 成本的 82.4%。主流做法是 context engineering——裁剪或摘要历史消息。问题在于改文本就改了轨迹前缀，后续 KV 状态全部失效，触发重预填充；改动位置越靠前，需要重算的保留后缀越长。于是常见 harness 只能等到上下文长度触顶再一次性大幅压缩，中间轮次的有用信息随之丢掉，陷入重预填充成本与任务准确率的两难。

cache engineering 换了下手的地方：不动文本轨迹，只把选定的 KV 条目从未来注意力中排除，保留下来的 KV 状态全部复用、不重算。为此新增两个操作——drop 从未来注意力移除选定 KV 条目，repos 调整保留 key 里编码的位置——与原有的 append 交替执行，由模型和 harness 决定何时、如何施加。

麻烦在于这带来了历史依赖性：标准 KV 缓存下 token 前缀完全决定缓存状态，而 cache engineering 里相同的 token 前缀、相同的保留位置，在不同缓存操作序列下会算出不同的缓存状态。论文图 5 举的例子是轨迹①和②都保留 B、C 的 KV，但只有①里 C 的 KV 是在注意到 A 的前提下算出来的。前缀匹配不再足以保证正确复用。

配套的 AKV 服务引擎因此做了三件事：对外提供与现有 serving API 兼容的无状态接口，智能体照常提交消息、附带缓存操作指令，不必自己追踪服务端还留着哪些 KV；内部用扩展 radix tree 做历史相关状态的正确复用与及时驱逐；用 segment-batch attention 在单次 prefill 中重建缺失状态。底座是 SGLang。

实验覆盖三个模型——MiniMax-M2.7（230B 总 / 10B 激活）、GPT-OSS-120B（5.1B 激活）、MiroThinker-1.7-Mini（30B 总 / 3B 激活）——和四个长程基准：BrowseComp-Plus、GAIA 文本子集（103 题）、SWE-bench Verified（500 题）、xbench-DeepSearch-2510。对照组的 Standard 用较高的模型相关摘要阈值（GPT-OSS-120B 与 MiniMax-M2.7 为 96K，MiroThinker-1.7-Mini 为 192K），Text Engineering 统一用 48K；AKV 的策略是保留最近 12 个工具响应的 KV 状态，repos 阈值与 Standard 的摘要阈值对齐。成本按各模型官方或 Groq 费率计算，并刻意按缓存命中率对每次 repos 收费，属于偏保守的估计。

结果分三层：平均成本相对 Standard 降 27.7%、相对 Text Engineering 降 21.9%，平均分涨 1.7 分（MiniMax-M2.7 上三家分别为 52.4 / 52.8 / 53.7 分，成本 5.0 / 5.7 / 4.4 美分）；AKV 服务端带来 1.18× 的输出吞吐和 P95 请求延迟 1.51× 的加速；让智能体通过递归自我改进去搜索、评估、迭代缓存策略，在留出任务上再降 7.1% 成本。硬件是 8 张 A800-80GB，4 张 prefill、4 张 decode，张量并行 4，权重全设 BF16（A800 无原生 MXFP4 支持）。

行业影响

KV 缓存的管理权第一次从系统侧移交给了智能体。此前不管是量化、低秩压缩还是基于注意力重要性的驱逐，判断权都在服务端，智能体只能被动接受；现在 drop 与 repos 是可编程接口，缓存策略本身成了能被搜索和优化的对象——论文的 RSI 实验正是这条路的第一次量化验证，专家手写的策略被自改进策略再压掉 7.1%。

对 agent 产品来说，这条路的吸引力在于它不牺牲上下文就能省钱：文本轨迹完整保留，只是部分 KV 退出注意力，省下的成本可以换更长的有效轨迹。代价是服务引擎必须变复杂——前缀匹配这一 vLLM、SGLang 赖以提速的基石假设被打破了，历史相关状态需要新的索引结构来追踪。

相关链接

OpenAI 把 COBOL 迁移准确率从 5.4% 推到 97.9%，并公开 MultiLangBench

事件概述

OpenAI 10 月 19 日发布《Advancing coding in low-resource programming languages》，一次给出两套新评测：MultiLangBench 要求模型用 20 种语言从零构建 SQLite 兼容的数据库引擎，COBOL 迁移评测要求把既有 COBOL 程序迁到 C++、Java、Kotlin、Python 或 Rust 并保住原有行为。MultiLangBench 的评测配置与测试套件已开源在 github.com/openai/MultiLangBench。

技术解析

跨语言对比的难点是没有统一接口。MultiLangBench 的解法是用数据库文件当接口：候选程序接收一个初始数据库和一条 SQL 查询，输出修改后的数据库，再用参考 SQLite 实现校验结果内容是否符合预期。测试改编自 SQLite 既有测试套件，这样同一套测试可以不管实现语言直接套用，衡量的是模型在一次长编码会话里能建出多少可工作的功能，一并报测试通过率和 API 成本。

最大推理档下，GPT-6 Astra 在 20 种语言上平均测试通过率 87.4%，GPT-5.6 Sol 为 26.8%，且每种语言都有提升：COBOL 从 10.9% 到 72.1%，OCaml 从 25.6% 到 85.8%，Fortran 从 21.4% 到 83.5%，Visual Basic 从 27.5% 到 89.4%。Astra 在 20 种语言中的 19 种超过 83%，COBOL 以 72% 居末。低成本档的 GPT-6 Luna 平均 40.3%，同样在每种语言上都优于 GPT-5.6 Sol（COBOL 10.9%→17.1%，Fortran 21.4%→31.4%），每样本 API 成本约 0.77 美元，对比 GPT-5.6 Sol 的 3.48 美元低约 78%。

COBOL 迁移评测的判据更硬：隐藏测试要求可观测输出逐字节一致，全部测试通过才算迁移成功。GPT-6.1 Sol 在低推理档拿到 86.6%，同档位的 GPT-5.6 Sol 只有 5.4%，前者的 API 成本是后者的 61%；提高推理档后准确率到 97.9%，评测接近饱和。论文里举的坑是 COBOL 的定点算术——除非显式请求舍入，多余小数位直接丢弃，改写时若换成四舍五入，程序照跑不报错，财务结果却不一样。

行业影响

这批语言的价值不在代码量而在存量系统的不可替代性：按 OpenAI 引用的数据，COBOL 支撑着 40% 以上的在线银行系统、80% 的面对面信用卡交易和 95% 的 ATM 交易，Fortran 用于天气预报与核反应堆安全分析。这类系统的困境是文档不全、原开发者离职、业务规则只存在于代码里， modernization 一直卡在人力和风险上。

OpenAI 把评测开源，等于把「模型能不能维护古董系统」这件事从厂商自证变成可复现的公共标尺，第三方可以按自己的语言和工作流去查缺口。谨慎之处 OpenAI 也写明了：应用到生产软件仍需专家评审，并针对业务规则和依赖做测试。对国内厂商而言，信创与金融核心系统改造是同样的场景，这套评测框架可以直接借来当对照。

相关链接

「指令税」：同一个 Gemma 3 权重，基座版的事实召回比指令版高 0.116

事件概述

贝鲁特美国大学（American University of Beirut）的 Christophe Khalil 与 Aya Mourad 10 月 20 日提交《The Instruction Tax on Factual Recall》（arXiv 2610.28407），记录他们参加 AKBC LM-KBC 2026 共享任务的方案：最终得分 0.6836，任务基线 0.2964，高出基线一倍多。任务规则是给定主谓关系对生成所有可能的宾语，模型参数上限 32B，不许检索、不许微调。

技术解析

核心发现是模型版本和接口的选择比架构更关键。最终系统用基座版 gemma-3-27b-pt 跑 completion，六个关系全部由它承担，得分 0.684；同一个权重的指令版 gemma-3-27b-it 走 chat 接口只有 0.568，差 0.116。作者把这一现象命名为 instruction tax（指令税）。

为确认这不是提示方式的差异，他们拿指令版跑与基座版完全相同的 completion prompt，得分仍停在 0.580，采样上限从 0.950 掉到 0.690——差别来自权重本身，指令微调让模型忘掉了部分事实。之后又补了三对模型（gemma-3-12b、gemma-2-27b、Mistral-Nemo-2407）共八次测试，基座版在两个数值关系上都不低于指令版。

税额随训练批次波动，这一点比税额本身更值得注意：gemma-3-27b 是 0.290，gemma-3-12b 是 0.350，同为 27B 的 gemma-2-27b 只有 0.080，Mistral-Nemo-2407 也是 0.080。差一代训练，代价只剩四分之一。两类情况的机制还不一样——高税时上界大幅塌陷（0.950→0.690、0.840→0.470），答案是直接从采样分布里消失了；低税时上界几乎不动（0.820→0.770、0.900→0.870），答案还在，只是选不对。

方法本身很朴素：用训练数据里的少量示例提示基座模型，每个关系采样 64 到 256 次，只保留重复出现的答案，弃权成为常态而非例外。评分约定帮了这个设计——空答案行弃权得 1.0，猜则得 0，而官方基线从不弃权，每行都拿 0。两个专用方法分别提升大答案集合的召回率（+0.027）和预测死亡地点前先核验当事人是否在世（+0.030），叠加后到 0.6809。采样量的边际收益按关系分：n=8 官方分 0.6218，n=24 到 0.6292，n=64 到 0.6604；集合类关系增益持续到 n=128，company 关系最优在 n=256，数值关系 n=64 已饱和，翻倍到 128 没有帮助。

选型的判断成本被压得很低：作者设计了一个约 1 GPU 小时的探针，同一事实换多种措辞提问，只取每个模型版本最好措辞的分数，排序结果与官方提交完全一致。他们也提醒，挑措辞用的就是打分的同一 100 行，数字偏高，这个表适合排序、不适合预测某个固定 prompt 的得分。

行业影响

对做知识抽取、RAG 离线建库、知识图谱补全的团队，这是一条可以直接改工作流的结论：在这类要求「穷举所有正确答案」的任务上，先花一个 GPU 小时比较基座版与指令版，比换更大的模型更划算。论文的横向数据也显示，同一指令系统下密集模型排在 MoE 之前（0.568 与 0.613 对 Qwen3-30B-A3B 的 0.534），而基座版排在所有指令版之前（0.681）。

对模型厂商，「指令税」提出了一个此前少有人量化的问题：后训练在对齐、安全、指令跟随上收益明确，但它在事实召回上收的费用是多少、随训练批次如何变化，目前没有公开的常规监控。论文给出的是一个可复现的量法——拿同一 completion prompt 分别测两个版本，比较分数与采样上限的落差，就能把这笔税算出来。

相关链接