大模型前沿动态 · Vol.146

RIFT 让草稿模型 KV 缓存边生成边重选保留 96% 接受长度；上下文增强涨分被查出多是无方向扰动；Delta N-gram 前向写入可清零；StateTrack 区分「背出规则」与「照着做」

本期覆盖 arXiv 10 月 23 日批次四项工作：草稿模型 KV 缓存压缩的 decode staleness 与自适应刷新、推理时上下文增强方法的符号随机化检验、写入模型原生 N-gram 表的前向可撤销路径、以及长程对话中约束召回与合规的分离。

大模型 投机解码 KV缓存 NVIDIA 长上下文 上下文工程 RAG 持续学习 记忆机制 N-gram 指令遵循 评测基准 arXiv 可靠性 状态追踪

头部厂商频道本周末集体安静，arXiv 10 月 23 日批次（cs.CL 117 条）接过话筒：草稿模型的 KV 压缩被要求证明自己没偷走接受率，往上下文里插内容被要求证明涨的分不是随机扰动，往模型里写记忆被要求证明可以一键清零，跨轮约束被要求证明不只是背得出规则。

RIFT：草稿模型的 KV 缓存不能只选一次，得边生成边重选

事件概述

2026 年 10 月 22 日，arXiv 计算语言学板块出现编号 2610.31098 的论文《RIFT: KV Cache Compression for Draft Models with Complementary Compressibility Training》，十位作者的阵容与正文中的 NVIDIA 署名一致。论文研究的是投机解码里一个此前被默认处理掉的环节：草稿模型自己的 KV 缓存。

技术解析

投机解码用小模型起草、大模型验证，长输出的场景下草稿侧同样要背一份不断变长的 KV 缓存。既有压缩方法多在 prefill 阶段按注意力分数挑一次，之后不再改。论文把这种做法在生成过程中的失效命名为 decode staleness（解码陈旧），并给出可测量的量：在同一 8K 预算下，SnapKV 与滑动窗口（SWA）的接受长度之差随生成位置不断拉大，作者称之为 staleness gap。

RIFT 给出三个递增复杂度的策略。RIFT-stat 把预算 B 切成两半，比例 ρ 留给最近的生成 token 作为滑动窗口，余下部分交给基于注意力的 prefill 选择；8K 预算下 ρ=0.5 时接受长度 5.614，比 SnapKV 的 4.073 高 37.8%，纯 SWA 是 5.230。RIFT-dyn 更进一步，按间隔 Δ 周期性重打分刷新选择：Δ=128、Qwen3.5-4B 起草、100K 输入长度下保留全缓存接受长度的 95.7%，RIFT-stat 只有 85.6%。RIFT-ada 把固定周期换成信号触发，每 8 步评估一次，输入是接受长度的指数滑动均值、草稿熵和 query drift（当前 query 摘要与上次打分时的余弦偏离）；在同等刷新次数下多拿 0.122 接受长度，同等接受长度下刷新次数少 2.03 倍。

配套的 compressibility training 用稀疏注意力掩码做知识蒸馏，缩小训练与推理的失配：Qwen3.5-4B 最高 +16.19%（RIFT-stat、2K 预算、T=1），Nemotron3.5-Lightning +16.42%。主结果在 SPEED-Bench 上给出：32K 输入、4 倍压缩比下，Qwen3.5-4B 为 Qwen3.5-122B 起草可保留全缓存接受长度的 96%，Nemotron3.5-Lightning 保留 97%，SnapKV 在两组里都只有 63–67%；叠加压缩感知训练后，32K 输入、4K 输出、8K KV 预算下保留 98% 以上。100K 输入那组，RIFT-stat / dyn / ada 分别是 85.6% / 95.5% / 96.0%，SnapKV 59.7%。

论文也留了两个不讨巧的观察。一是混合注意力架构里陈旧化更严重，全注意力的 Llama3.1-8B 在 32K 下 SnapKV（5.19）反而明显好于 SW（2.24），说明结论不能跨架构平移。二是关掉推理后，staleness gap 从 2.11 掉到 0.60，即被淘汰掉的 prompt KV 里相当一部分是推理轨迹——草稿模型要对齐的不是原始 prompt，而是目标模型刚写出来的那段思考。

行业影响

长上下文推理的成本账里，草稿侧的显存长期被当作可以随便砍的一档。RIFT 把这笔账算细了：在 8K 预算下，把「什么时候重选」这件事从静态规则换成运行时信号，就能把 SnapKV 丢掉的三十多个百分点里的绝大部分捡回来。对正在把长输入 + 长输出做成标配的服务商，这等于在同一张卡上多出一档可用配置。更值得注意的是方法论层面的迁移：混合注意力模型（Qwen3.5 的线性注意力、Nemotron 3 的 Mamba 层）在这篇里被明确点名为 KV 压缩文献的盲区，而这类架构恰好是当下新模型的主流选择。

相关链接

往上下文里插点东西，涨的分有多少是无方向扰动

事件概述

10 月 22 日，哥本哈根大学与 Nokia Bell Labs 的四位研究者（Haeun Yu、Geert Heyman、Pepa Atanasova、Isabelle Augenstein）在 arXiv 发布 2610.30983《A Reality Check of Inference-Time Context Augmentation Methods》。论文不给新方法，给的是一套检验既有方法涨分是否可信的框架。

技术解析

框架覆盖五类干预，按插入内容携带信息的多少排列：Blank（等长空白字符，只增加计算时间）、Repeat（重复原句）、Paraphrase（改写）、Self-explanation（模型自生成的解释）、Teacher-explanation（更强模型生成的解释）。干预位置被统一到句子级：一个含 N 句的上下文派生出 N 个干预输入，每个只在某一句之后插入一处，于是不同方法第一次能放在同一组位置上比较。

被测的是七个开源权重模型、四个家族：OLMo-2-0425-1B-Instruct、Olmo-3-7B-Instruct、Llama-3.2-3B-Instruct、Llama-3.1-8B-Instruct、Gemma-3-4b-it、Gemma-3-27b-it、Qwen2.5-72B-Instruct-AWQ。数据集为 MedQA、MMLU（只保留五个问题前带多句 passage 的学科）与 DRUID 事实核查。

关键设计是 sign-randomisation test。干预会把预测从错改对（Corr）也会从对改错（Brk），两者相抵后净值才是准确率变化；一次无方向扰动同样能可复现地抬高准确率，标准显著性检验和随机种子方差都区分不开。该检验以「Corr 超出同规模随机扰动的 95% 区间、且 Brk 没有超」作为拒绝零假设的条件。

结论分成三层。带新信息的方法涨幅最大：Teacher-explanation 在 MedQA 上让七个模型中的六个涨 2.0 到 9.3 个点，Self-explanation 让五个模型涨 0.3 到 3.7 个点。最大的两个涨幅——Gemma-4b 的 +9.3 与 OLMo-7b 的 +7.0——都没通过检验，因为 Brk 显著高于同规模随机扰动应有的水平。在 21 个模型–数据集配对中，Teacher-explanation 只有 8 个拒绝零假设，Self-explanation 6 个，Repeat 4 个，Blank 4 个。不带新内容的三类（Blank、Repeat、Paraphrase）对多数模型的句平均准确率几乎没影响，Corr 与 Brk 大小相近互相抵消，例如 Blank 在 OLMo-7b 上是 +3.2 / −3.0。

只看准确率还会漏掉另一件事：Teacher-explanation 在 OLMo-7b 的 MMLU 上只让句平均准确率动 0.1 个点，却改掉了 19.1% 干预位置上的预测。margin 分析显示 Rescue 与 Break 都集中在决策边界（margin=0）附近，往两个方向移动的幅度相近，远离边界的样本基本不动。位置维度上，一个上下文一旦可被影响，约一半的句子位置能翻转；用十个词汇特征（句长、与问题的 Jaccard 相似度、命名实体数、否定、代词占比、共指链等）做 AUROC 只有 0.48–0.54，等于随机；插在最后一句（紧邻问题，也是常见做法）的准确率与随机抽一个非末位基本重合。

行业影响

「往 prompt 里加点东西就能涨分」是过去两年最廉价的一类技巧，从填充 token 到让模型先复述再回答，报告里几乎只给准确率。这篇的杀伤力在于：它不否认涨幅，而是把涨幅拆成 Corr 与 Brk，再问「纠错的次数是不是超过了同规模随机扰动能达到的」。答案是多数情况下没有。对做 RAG、做 context engineering 的团队，这把验收标准从「平均分涨了没」改成「涨的分是不是朝着正确答案去的」——后者可以直接抄这篇的检验，成本只是多跑一遍分叉探针。附带的一记提醒是：末位插入这个被写进无数教程的默认做法，在论文里并不比随机位置好。

相关链接

Delta N-gram：往模型原生 N-gram 表写记忆，只走前向，清零即还原

事件概述

10 月 22 日，单作者 Hao Wu 在 arXiv 发布 2610.31125。作者上一轮分析得出的前提是：在模型所有可写位置里，原生的哈希 N-gram 表是持续更新对基座扰动最小的地方，但此前的写入路径需要反向传播，会改动预训练好的表。这篇补的就是一条只走前向的写入路径。

技术解析

设计上把预训练表 T⁰ 永久冻结，证据写进一张稀疏补丁 Δ，模型读的是 T⁰+Δ。写入器只有 4,075,681 个参数，对每个（位置, 哈希头）事件产出一个目标向量 v 与一个门控标量 β；块内同址事件先做平均，再用作者称为 D1 的 delta 规则更新，使每行始终是旧值与门控目标的凸组合。这里平均而非求和是硬性要求：求和会让 w_j 远超 1（二十个 β=0.25 的事件给出 1−w_j = −4），反复应用直接发散。写入器离线用与预训练相同的下一 token 预测目标在原始文本上训练，损失沿整条写入链反传；使用阶段只跑前向，清空 Δ 即恢复原模型。

底座是 Qwen3.8-Flash-Next（512 专家、48 层），H=16（bigram 与 trigram 各 8 头），每行 160 维，读出拼接 16 行后注入第 2 层注意力之前的残差流，训练量 100M token。论文比较了两个写入器：plain 用只读 T⁰ 的模型编码证据，delta 用读着当前记忆的模型编码（在 80M token 处分叉，再用 λ=1 续训 20M）。

结果分几条线。0.6B 原型上，第二次写入后记住 16 条事实中的 16 条，而直接在线梯度写入只保住 2–4 条；换成改写过的问题，表现退回空记忆水平——记住的是训练时的形式。原始文本训练下，64 条 2025 年末新闻事件上读自己的记忆比空记忆低 0.068 nats/token，比读另一篇文档的记忆低 0.024；插入 16 篇干扰文章后这两个数字是 0.063 与 0.013。delta 写入器的文档特异性更强（Δ_donor 0.032 对 0.023），16 篇干扰后保留 70% 对 54%，代价是写必须串行。

稳定性数据是本片的重点。两个写入器在两套硬件栈上各做了 35,000 次连续写入没有数值失败；七任务链上，每写完一个任务后其余任务的准确率变化是 −0.26 pp（plain）与 −0.52 pp（delta），同一设置下 Adam 直接更新表格是 −7.29 pp；头部输入的小 k_i 漂移 17.9% / 17.5%，对照 39.2%。作者也把坏消息写在明处：这些任务写入器从未见过，净获取是负的（−12/448），写入样本的回忆率只有 23–25%，LoCoMo 上是失败的。漂移还能追到具体行——通用输入上 drift 达 32.8%（对照 20.75%），被每个样本都读到的格式行涨到预训练范数的 4–12 倍，把八行这类行清零就消掉数学输入上 98% 以上的第 2 层漂移，连同它们的 NLL 收益一起。

行业影响

持续学习落在生产里最大的障碍不是效果，是不可撤销：一次写坏就要回滚整份权重。Delta N-gram 把「可撤销」做成了结构属性——补丁是稀疏的、按行的、与基座分离的，用户的记忆状态可以独立于共享底座存放和清空。这让它和 MemT 1.0 那类做法站在同一侧，差别在于存储位置用模型本来就学会读的 N-gram 表、写入器只有 400 万参数、训练只吃 1 亿 token。另一条更具方法论价值的线索是漂移可归因到行：格式行被读到 4–12 倍范数这一条，说明「哪些行被所有人反复读」本身就是可监控的量。论文自曝的负净获取与 LoCoMo 失败也划清了边界——这条路目前证明的是「写得稳、撤得掉」，还不是「写进去就变成能力」。

相关链接

StateTrack-Bench：能背出规则，和还在照着做，是两件事

事件概述

10 月 22 日，arXiv 2610.31314 提出 State Integrity Collapse（状态完整性崩塌），并给出配套的 StateTrack-Bench，作者为 Yancheng Zhu 与 Yifan Yuan，代码与产物已开源。

技术解析

被定义的对象是 recall–compliance dissociation：模型在探针下能复述一条早先的约束，后续轮次却不再让它支配回答。这与遗忘是两回事——遗忘是取不回来，SIC 是取得回来但不再生效，因而不该指望检索、记忆摘要或更长上下文窗口来解决。

每条测试对话分三段：设定轮给出一条持久约束，干扰轮用主题相关但不复述约束的请求把对话拉长，测试轮要求模型在仍满足旧约束的前提下回答。五类约束是数值、格式、角色/人设、事实记忆绑定、逻辑规则。七个 provider 固定快照参与评测：GPT-5.4、GPT-5.4-mini、Claude-Sonnet-4-6、Gemini-3.1-Pro、DeepSeek-v4-Pro、DeepSeek-v4-Flash、Qwen3.6-Plus；每模型 125 个场景–深度探针（每类 25 个），全库 875 条主评分输出。评分用严格联合保持率：既满足当前请求又满足持久约束才计分。

数字上，严格联合保持率在 62.4% 到 100.0% 之间。DeepSeek-v4-Flash 100.0%，GPT-5.4-mini 98.4%，DeepSeek-v4-Pro 96.0%，Qwen3.6-Plus 95.2%，Gemini-3.1-Pro 62.4% 且从第 3 轮到第 12 轮掉 10 个点。按轮次看，3 / 5 / 7 / 10 / 12 轮的均值是 90.9 / 91.9 / 90.7 / 91.4 / 90.0，不是单调崩塌，而是把稳定模型和一个明显不稳定的模型分开。按类别看，事实记忆绑定 93.7% 最容易，逻辑规则 88.6% 最难，数值与格式都是 91.4%，角色/人设 89.7%。

分叉召回审计是这篇的核心：对同一对话前缀开两条互不打断的分支，合规分支问下一个任务，召回分支要求复述当前约束。88.6% 的失败属于 SIC⁺（说得出但没照做），去掉 Gemini-3.1-Pro 这个离群点后仍是 84.4%。该指标按实例比对后再平均，正向与反向的分离不会互相抵消。可靠性设置上，主裁判用 GPT-5.4 且从不与被评模型相同；分层抽 200 条由 Claude-Sonnet-4-6 与 Gemini-3.1-Pro 重评，三裁判 Fleiss κ 为 0.89，McNemar 检验在全部模型–裁判配对上 p>0.15，无自偏好；裁判对模糊样本一律判不合规，因此保持率是下界。缓解方面，Structured State Anchoring 在不可变约束上最多挽回 24.4 个点；50 轮深度与中文、日文试点同样观察到这一分离。

行业影响

指令遵循评测基本停留在单轮或短程任务型对话，给不出「约束是否还在生效」这件事的答案。StateTrack-Bench 的贡献是把一句话拆成两个可分别测的量——能不能复述、还照不照做——并证明失败集中在后者。这对已经上线记忆模块的助手类产品是直接的风险提示：把规则字符串取回来放在上下文里，不等于生成端还在受它约束；而用户恰恰会用「它明明记得」来判断系统是否可靠。类别维度的结果也给出了优先级：逻辑规则和格式这类硬性结构承诺比事实记忆更容易破，而这两类恰恰是用户最容易当场察觉的。评测规模（每类 25 个）作者自己声明只够做诊断画像、不足以排名次，引用时应当按这个口径用。

相关链接