论文精读

精读：DFM——把检索邻域压成一块记忆，插进解码器的中间层

把语料切成 32 token 的块，离线检索出每个块前文的 16 个邻居块 embedding 当目标记忆，训练一个因果预测器只凭前文把它算出来，再经共享投影器和门控跨注意力并进第 9/16/24/31 层的残差。主干冻结、推理期无检索，Mistral-7B 六项 QA 均值从最强基线 24.14 提到 27.21。拆账后可见：这 3.07 分里 55% 来自一个 125 题的集合，按样本加权重算 RAG 反超 0.26 分；三组消融的最优配置（门偏置 0、两层融合、14 层预测器）都没被采用，合计约 1.1 分；而在唯一要求逐字复现的法条背诵任务上，它只有继续预训练的一半。

论文： Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models

作者： Rubin Wei, Siyuan Sun, Hao Sun, 等

arXiv： 2610.25100

2026年10月24日参数化记忆知识注入 RAG 跨注意力融合记忆架构领域适配 Qwen3

1 论文概览

本文是 arXiv:2610.25100（cs.CL；v1 2026-10-18 08:24:53 UTC；Rubin Wei、Siyuan Sun、Hao Sun、Yuliang Liu、Xiang Shi、Jiarui Wang、Junming Zhang、Zhouhan Lin，LUMIA Lab / 上海交通大学人工智能学院 × 上海人工智能实验室，通讯作者 Zhouhan Lin）。本专栏此前四十七期回答的是「挑哪些 token、挑哪些轨迹、信用按哪套口径记账、信号被消费时旧了多少、数据分布离基座多远、整条响应有没有资格参与这次更新、策略容量会不会被优化动力学耗光、教师分布里哪些位置允许比较、事后经验除了改行为还能不能改行动之前的那次预测、参考模型的 KL 该从哪条边进组相对更新、教师的意见从哪条通道进 RL、off-policy 校正的记账区间有多长、裁剪区间那两个端点由什么决定、干预落在流水线的哪一环、逐步信用从哪个模型里来、一个已经报出来的增益该怎么拆账、这些信号最终以什么形状落到参数上、结局空间该分成几档、同一笔优势在响应内部怎么分、教师交出来的那笔位移里哪些前缀有资格进损失、这笔信用在更新里当斜率还是当终点、一次迭代该对齐到任务的哪一格」；这一期问的是一份外部语料要进模型，是作为检索出来的文本进上下文，还是作为预测出来的隐状态进解码器——前面那些期数改的都是训练信号，本篇改的是知识的入口。

一句话总结：把语料切成 32 token 的块，用上一块的稠密向量离线检索出 16 个邻居块的 embedding 当作「目标记忆」，训练一个因果记忆预测器，让它只凭前文去预测这 16 个向量，再把这些预测出来的向量经共享投影器投到解码器隐空间，在第 9/16/24/31 层用门控跨注意力并进残差；主干全程冻结，推理期不碰 datastore。Mistral-7B-v0.3 上六项 QA 均值从最强基线 xRAG 的 24.14 提到 27.21（绝对 +3.07，相对 +12.71%），Qwen3-8B-Base 上从 MLP Memory 的 23.80 提到 26.46（绝对 +2.66，相对 +11.19%）。

核心问题：知识注入有三条路，各自有一笔还不清的账——继续预训练会遗忘，检索在推理期要付延迟，参数化记忆则要在离线阶段把检索重做一遍。论文把前两条的代价当作已知，专攻第三条：

“External parametric memory avoids online retrieval, but constructing its training data requires extensive offline search, and output-level interpolation provides only shallow fusion.”（Abstract）

一句话点了两处不满：构造目标太贵，融合太浅。DFM 的两处改动正对着这两处——监督粒度从 token 级搬到 chunk 级，融合位置从输出概率搬到中间隐状态。

主要贡献：

提出 chunk 级记忆监督：一份目标记忆一并服务块内 32 个 token 位置的预测，检索查询数降到 1/32，配合 $K=16$ 而非 1024 的邻居数，取回条目数降到 1/2048。
提出深融合：预测出的连续记忆经共享投影器进入解码器第 9/16/24/31 层的残差支路，与自注意力并联，由逐 token、逐头、逐层的 sigmoid 门控缩放，后续层能继续加工它。
端到端联合训练：下一 token 交叉熵与记忆预测 MSE 等权相加， $\mathcal{L}_{\rm LM}$ 的梯度穿过融合模块回传进预测器，主干、检索编码器、目标记忆三者固定。
推理期无检索：查询块由主干输入 embedding 现算，答案生成期间记忆保持不变。
把记忆从文本形态换成连续向量形态之后，给出了参数开销、训练耗时、构造工作量三项的并排账（Fig. 2 与附录 D 的 Table 13）。

2 方法详解

架构与方法概述

序列被切成互不重叠的块 $X_0,\ldots,X_{J-1}$ ，每块 $C=32$ token。对 $j\ge 1$ ，用冻结的 Qwen3-Embedding-0.6B 把 $X_{j-1}$ 编成查询向量，从 FAISS IVF-PQ 索引里取 top-16 邻居块的 1024 维 L2 归一化 embedding，按检索秩排成一摞，得到目标记忆 $V_j\in\mathbb{R}^{K\times d_m}$ 。这份目标只用于监督，不进前向。

记忆预测器是一个 28 层、隐宽 1024、FFN 3072 的因果 Transformer，输入是各块的池化 embedding 序列 $C_{\le j}$ （其中 $C_j$ 是 $X_{j-1}$ 的均值池化），输出头有 $K$ 个，每个头吐一个槽：

$\widehat{V}_j=\operatorname{Predictor}_\phi(C_{\le j})$

投影器 $P_\psi$ 对每个槽独立做 LayerNorm + 两层线性 + GELU，把它送进主干隐空间，得到 $M_j\in\mathbb{R}^{K\times d}$ 。融合层里，查询来自 $z_t=\operatorname{Norm}(h_t)$ ，键值来自 $M_j$ ，每个头在 $K$ 个槽上做 softmax，再由一个标量门缩放：

$g_t=\sigma(W_g z_t+b_g),\qquad u_t=W_O\operatorname{Concat}_{a=1}^{H}\big(g_{t,a}\,o_{t,a}\big)$

记忆支路与因果自注意力并联，共用一次残差更新 $\widetilde{h}_t=h_t+\operatorname{SelfAttn}(z_{\le t})+u_t$ ，之后照常过 FFN。因果性靠一个下标对齐保证：位置 $t$ 的状态预测 $x_{t+1}$ ，用的块号是 $j=\lfloor (t+1)/C\rfloor$ ，而 $\widehat{V}_j$ 只由 $C_1,\ldots,C_j$ 算出，也就是只由 $X_0,\ldots,X_{j-1}$ 算出。

训练目标是 $\mathcal{L}=\mathcal{L}_{\rm LM}+\beta\mathcal{L}_{\rm MSE}$ ， $\beta=1$ ，MSE 直接打在未归一化的预测槽与 L2 归一化目标之间。门权重零初始化、门偏置初始化为 $-2$ ，训练起点上 $\sigma(-2)\approx0.119$ ，新支路几乎不扰动预训练主干。

关键创新点

监督粒度换成了块。 这是全文唯一真正降低成本的改动。token 级参数化记忆要为语料里每个位置查一次，块级只为每 32 个 token 查一次，查询数直接除以 32。代价是一个块内的 32 个位置共用同一份记忆，靠门控和跨注意力让每个位置自己决定取多少。

融合深度从输出层搬到了中间层。 此前的参数化记忆（MLP Memory、Memory Decoder）都在输出概率上做插值：记忆算完之后没有后续层能再加工它。DFM 把记忆注入第 9 层起的残差流，后面还有 22 层可以拿它和不断变化的上下文做组合。消融里这个因素的效果是全篇最大的一处：只在末层注入得 21.11，分布式四层得 27.21，差 6.10 分。

记忆是被预测出来的，不是被检索出来的。 推理期没有 datastore、没有检索文本、没有外部编码器。附录 E.2 的七条离线检索样例显示，检索出的邻居块常常补上了查询块里缺的那半句（Pakenham 一条补上运营商 Metro Trains Melbourne，不丹板球一条补上 2001 年的 ICC 会员资格），预测器学的就是「这类前文通常配这类邻居」这个映射。

与基线方法的区别

方法	推理期检索	目标形态	融合位置	主干
RAG / xRAG	需要	—	上下文 / 单个前缀 token	冻结
RETRO	需要	—	解码器跨注意力	冻结
CPT	不需要	语料本身	—	全量更新
LoRA	不需要	语料本身	—	低秩更新（预算对齐 DFM）
MLP Memory	不需要	token 级 kNN 分布	输出概率插值	冻结
DFM	不需要	chunk 级连续块向量	第 9/16/24/31 层残差	冻结

真正的同源对照只有 MLP Memory 一行：两者同样免检索、同样冻结主干、同样从检索结果里蒸馏，差别只剩粒度（块 vs token）、目标类型（连续向量 vs token 分布）和融合位置（隐状态 vs 输出概率）。这条对照上 DFM 赢 5.12 分（Mistral）与 2.66 分（Qwen3），是全篇最该被读的一格。

3 实验结果

主要指标

六项 QA 的等权均值（0–100）：

方法	Mistral-7B-v0.3	Qwen3-8B-Base	OLMo-3-1025-7B
Base	13.63	22.71	17.99
RAG	23.41	20.86	14.88
xRAG	24.14	23.51	22.75
RETRO	13.73	22.69	23.63
CPT	13.48	15.13	—
LoRA	15.47	14.66	9.93
MLP Memory	22.09	23.80	—
DFM	27.21	26.46	25.49

领域适配（Qwen3-4B/8B-Base，四项等权均值）：4B 上 Base 58.18、RAG 56.91、CPT 62.92、LoRA 60.70、DFM 64.69；8B 上 Base 63.14、RAG 61.85、CPT 65.06、LoRA 66.96、DFM 67.52。

与 SOTA 的对比

摘要的两个百分比是相对最强基线算的：Mistral 上 $(27.21-24.14)/24.14=12.71\%$ ，Qwen3 上 $(26.46-23.80)/23.80=11.19\%$ 。换成绝对分是 3.07 与 2.66；换成相对各自的 Base 是 +13.59 与 +3.75，OLMo 上 +7.50。三个骨干的绝对增益差 3.6 倍，Qwen3-8B-Base 上所有方法的进项都不大（xRAG +0.80、MLP Memory +1.09）。

按样本数加权重算一遍，结论在其中一个骨干上会翻过来。六个评测集的样本量是 NQ 3,610、WebQA 2,032、HotpotQA 7,405、2Wiki 12,576、MuSiQue 2,417、Bamboogle 125，合计 28,165；等权平均给 Bamboogle 的权重是 16.7%，按样本算只有 0.44%，相差 38 倍：

方法	Mistral 等权	Mistral 样本加权	Qwen3 等权	Qwen3 样本加权
RAG	23.41	27.52	20.86	22.94
xRAG	24.14	26.93	23.51	24.34
MLP Memory	22.09	23.43	23.80	25.38
DFM	27.21	27.26	26.46	28.98

Mistral 上样本加权后 RAG 反超 DFM 0.26 分，原因集中在 2Wiki（12,576 题，权重 44.7%）：DFM 25.00 对 xRAG 27.78、对 RAG 31.02。Qwen3 上 2Wiki 反过来成了 DFM 的主要进项（32.38 对 MLP Memory 27.47），那边的加权均值仍是 DFM 领先。换个拆法：DFM 相对 xRAG 那 +3.07 分里，Bamboogle 一个 125 题的集合贡献 +1.69（55%），2Wiki 贡献 −0.46；Qwen3 上换成 NQ 贡献 +1.53（57%）、Bamboogle 只贡献 +0.41（15%）。两个骨干上撑起 headline 的不是同一个任务。

消融实验关键发现

全部消融为单次运行、无误差棒（附录 C 开头写明 “All results are single runs”）。

融合层位置是最大的单因素：末层单独注入 21.11、末四层 22.07、分布式四层 27.21。论文的解读是中后段的语义表示更成熟，与 RETRO 的经验一致。
块大小与槽数几乎不影响均值：16/32/64 得 26.51/27.21/27.07， $K=2/4/8/16$ 得 26.88/27.04/27.09/27.21，极差 0.70 与 0.33。
门偏置的扫描区间比门本身更宽：无门 26.83， $b_g=-6/-4/-2/0$ 得 25.10/26.73/27.21/27.90，极差 2.80 分，接近 headline 那 3.07 分。论文保留 $b_g=-2$ 而不取最优的 $0$ ，理由是「保守」：

“We retain $b_g=-2$ as a conservative default: with zero-initialized gate weights, $\sigma(-2)\approx 0.119$ initially scales down the memory branch to limit its perturbation to the pretrained backbone”（§5.2）

预测器深度减半不亏反赚：14 层 27.31、28 层 27.21、56 层 26.47，论文以「跨实验一致性」为由保留 28 层。

4 个人分析

亮点

训练时间的节省是结构性的，不只是账面上的。 MLP Memory 的 1.5B 参数是一个逐 token 跑的大 MLP，DFM 的预测器每 32 个 token 才跑一次，融合侧每个 token 只多四层小跨注意力。把「每 token 一次 1.5B 参数」换成「每块一次约 350M 参数 + 每 token 四次小注意力」，这是架构层面的替换，不是配置层面的省。24 小时对 64 小时这个数可以信。

同源对照打得干净。 MLP Memory 的插值权重 $\lambda$ 是在每个被报告的评测 split 上从 $\{0,0.05,\ldots,1\}$ 里选最优的（附录 A.1），等于给基线配了 21 选 1 的 oracle。DFM 仍然赢 5.12 分，这一格不靠对手被削弱。

「冻结主干」这张牌打对了，且论文没藏它的代价。 Qwen3-8B-Base 上 CPT 掉 7.58、LoRA 掉 8.04，DFM 涨 3.75。在零样本 QA 模板下，拿 4B token 的维基原文去动一个 base 模型的参数，掉分几乎是必然的；冻住主干、只训新增模块，绕开的就是这个坑。

局限性

第一，报告的默认配置在自己跑过的三组扫描里都不是最优。 门偏置取 $0$ 得 27.90（默认 27.21，差 0.69）；融合层取两层 $[9,31]$ 得 27.54（差 0.33）；预测器取 14 层得 27.31（差 0.10）。三处的理由分别是「保守」「跨实验一致性」「跨实验一致性」。单因素扫描不可加，把三处差值并列起来看，量级在 1.1 分上下，相当于 headline 3.07 的三分之一。读者从 Table 1 拿到的那个数，不是这组实验能达到的最好的数。

第二，六项等权平均把决策权交给了一个 125 题的集合。 按 F1 标准差 0.35 粗估，Bamboogle 单列的抽样标准误约 3.13 分，六项均值的标准误约 0.58 分。前者大于论文任何一个消融差值（最大 0.75），后者大于被反复讨论的 0.10–0.33。附录 C.1 自己也点破了这一点：Top-8 与 Top-16 的差别是「五个任务上差 0.07–0.80，Bamboogle 上差 3.07，而 Bamboogle 只有 125 条」。把 Bamboogle 剔掉重算，学习率那条消融会反过来—— $2\times10^{-5}$ 在其余五项上均值 28.72，对 $1\times10^{-5}$ 那档的 28.12，赢 0.60，主要进项正是样本量最大的 2Wiki（+3.60）。

第三，教师与学生的检索预算不对等。 RAG 基线取 top-1 文档、用冻结基座、一行训练都没有；DFM 的监督来自 top-16 块检索，且在 4B token 上训满一个 epoch、新增 0.75B 参数。「免检索打赢检索」这句话实际测到的是「模仿 top-16 检索打过 top-1 检索」。拆开它需要一条 RAG top-16 的臂，或者一条用 top-1 目标蒸馏出来的 DFM，两臂都没有。

第四，纯记忆任务上翻车，而这一列被 macro 平均盖住了。 LawBench 的 1-1「法条背诵」是整套评测里唯一不需要推理、只要求逐字复现的任务，也正是参数化记忆最该赢的那一格。结果是 4B 上 DFM 22.23 对 CPT 42.46，8B 上 29.71 对 54.57，差一倍。相邻的 2-9「事件检测」4B 上 57.32 对 63.71、8B 上 49.72 对 74.02；3-1「法条预测」8B 上 62.09 对 LoRA 81.09。把 20 个子任务摊开数：4B 上 DFM 赢 CPT 11 个、赢 LoRA 10 个；8B 上赢 CPT 10 个、赢 LoRA 只有 7 个，macro 平均却还高 0.88。这个平均数是靠几场大胜撑起来的（8B 上 2-2 的 36.80 对 9.60、3-6 的 52.60 对 31.80），不是靠普遍领先。

这条与第 2 节的机制描述连起来能解释：预测器从头到尾只见过池化后的块 embedding，从没见过块里的文字，它学到的是检索索引的一个平滑近似，不是语料的副本。近似在「给一段大致相关的上下文」这类需求上够用，在「把第几条第几款原样背出来」上不够用。

第五，推理期的记忆覆盖范围比叙事窄。 附录 A.1 写明：答案生成过程中，新出现的块位置的查询与有效性掩码补零，“these positions receive no direct memory update”，生成出的块也不刷新查询。生成长度一旦越过 prompt 覆盖的那个块，记忆支路就归零。NQ 上限 15 个新 token，问题不大；WebQA 上限 100，正好是 DFM 在 Qwen3 上唯一下降的单跳集合（41.78 → 39.47，MLP Memory 那格是 43.26）。

第六，全篇没有一次「预测记忆准不准」的测量。 附录 E.2 自己写着：

“These examples illustrate the relevance of retrieved supervision targets. They do not directly measure the fidelity of predicted memory or attribute the answer differences above to particular retrieved chunks.”（Appendix E.2）

于是「记忆带来了增益」这条因果链缺了中间一环：没有留出集上的 MSE，没有预测记忆对真实邻居的召回率，没有记忆质量与下游分数的相关性。附录 E.1 的六个 HotpotQA 案例还是按「DFM 对、两个基线都错」挑出来的，论文同样声明这不代表频率。

第七，立论与验证错开一格。 摘要以 “retrieval at inference time can add substantial overhead” 起手，§4.4 的效率分析却只比了新增参数、训练耗时、离线构造量三项，对手是 MLP Memory，全文没有一次推理延迟或吞吐的测量。一个以「省掉推理期检索」为卖点的方法，没有和 RAG 比过推理成本。

第八，2048 这个倍数由两个自选旋钮决定。 附录 D 的算式摊开看： $32$ 来自块大小， $64$ 来自 $1024/16$ 的邻居数之比，两者都是配置选择，不是算法改进。论文自己的消融显示 $K=2$ 只比 $K=16$ 低 0.33 分，照那个配置算，倍数会变成 16384。附录 D 也交代了这个口径：

“It does not count distinct tokens, search candidates examined, stored bytes, or FLOPs: DFM’s continuous vector targets differ from token-level distribution targets.”（Appendix D）

第九，记忆槽里有一个或许就是查询块自己。 附录 A.1 写「including the nearest neighbor」，datastore 又全由训练块构成，而查询块本身就在训练块里；附录 D 明确说 MLP Memory 一侧会 “removes the self neighbor”。两侧的措辞差异指向一个未明说的情形：DFM 的 top-1 槽大概率是查询块自身的 embedding，也就是 1/16 的记忆容量与 1/16 的 MSE 花在「复述输入」上。论文没有直接写清这一点，也没有报 self-match 的比例，这条只能算线索。

对大模型领域的影响

知识注入这条线的竞争维度被挪动了。 此前的问题是「能不能免检索」，现在变成「免检索省下的推理开销，要拿多少离线构造开销和多少参数去换，换来的记忆能细到什么粒度」。DFM 给出的答案是：粒度粗到 32 token 一块、16 个槽，均值几乎不掉；再往下追「逐字复现」，它做不到 CPT 的一半。这个边界比任何一条 headline 都更值得记住。

与 RL 侧的改动是互补的两条路。 前四十七期关心的是梯度上那笔信号怎么造、怎么分、怎么记账；这一篇关心的是完全不经过梯度这条路——把语料压成权重再读出来。两条路共享同一个工程接口：冻结主干 + 新增模块 + 门控残差注入。这个接口在 RL 侧是适配器，在记忆侧是预测器加跨注意力，做法几乎一样。

评测口径需要补一列。 「知识注入」类方法只在推理型、抽取型任务上取平均，就会漏掉它最该赢的那一类任务已经输了。LawBench 的 1-1 是这类方法应该主动单列的一格，论文把它混进了 20 项 macro 平均。

5 实践启示

可以借鉴的技术

块级监督。 凡是要靠离线检索构造训练目标的流水线（知识蒸馏、语料去重后的分布目标、检索增强的 SFT），把监督粒度从 token 换成块是 1/32 的直接节省，且本文消融显示 16 到 64 的块大小在均值上只动 0.70 分。这一条与模型结构无关，能直接搬。
给冻结主干加支路时的门控初始化。 门权重零初始化 + 门偏置取负值，让新支路在训练起点上只贡献 $\sigma(-2)\approx0.119$ ，之后由训练自己放开。DFM 的扫描显示这个偏置从 $-6$ 到 $0$ 造成 2.80 分的落差——加支路的方法里，这个标量值得单独扫一遍，扫完了要敢用扫出来的那个值。
融合位置选中后段而非末层。 分布式四层 27.21 对末层单层 21.11，差 6.10 分，是全篇最大的单因素效应。凡是往冻结主干里注入外部信息的结构，注入点应当前置到还有若干层可以继续加工的深部。
槽位按检索秩对齐。 让预测器的第 $k$ 个输出头固定对应第 $k$ 个检索结果，等于给 $K$ 个连续输出头指派了确定语义。这个技巧对任何「用多个头预测一组无序向量」的任务都成立。
把基线调满再比。 MLP Memory 的 $\lambda$ 在评测 split 上选最优，等于主动抬高对手。这个习惯值得学：赢了之后不必解释对手太弱。

潜在应用场景

base 模型的知识问答。 Mistral-7B-v0.3 的 NQ 从 20.30 到 33.57、WebQA 从 29.28 到 42.47。对没有指令微调、零样本模板下分数很低的基座，这块记忆的边际收益最大。
垂直领域适配。 LawBench 在 4B 上 29.96 → 40.41、8B 上 38.45 → 46.61，HumanEval 在 8B 上 69.36 → 73.02。语料在手、评测偏抽取式理解的领域（法务、合规、内部知识库）是最贴合的一类。
离线与端侧部署。 不需要 datastore，不需要推理期编码器，代价是 0.75B 常驻参数与每块一次预测器前向。
私有语料注入。 语料不必进 prompt，也不必进主干参数，这对「语料可用但不能外传上下文」的场景有吸引力。
不该用的场景：需要逐字复现条款、条文、版本号的任务。1-1 那一列的差距摆在那里，这类需求上继续预训练反而更合适。

参考文献

Rubin Wei, Siyuan Sun, Hao Sun, Yuliang Liu, Xiang Shi, Jiarui Wang, Junming Zhang, Zhouhan Lin. “Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models.” arXiv:2610.25100 (cs.CL), v1, 2026-10-18.
R. Wei et al. “MLP Memory.” arXiv preprint, 2026.（本文主对照的参数化记忆基线）
U. Khandelwal, O. Levy, D. Jurafsky, L. Zettlemoyer, M. Lewis. “Generalization through Memorization: Nearest Neighbor Language Models.” ICLR 2020.
S. Borgeaud et al. “Improving Language Models by Retrieving from Trillions of Tokens.” ICML 2022.（RETRO）
E. J. Hu et al. “LoRA: Low-Rank Adaptation of Large Language Models.” ICLR 2022.