论文精读

精读：LSA——当稀疏注意力的账单从「算」搬到「找」

把稀疏注意力的成本解剖到索引器（10M token 时 98% 的 prefill 时间在挑 key），再用学出来的潜空间语义聚类加层级搜索替换全文扫描：D-LSA 以 352M token 的最小蒸馏贴在 GLM-5.3-Flash 上单层 prefill 提速 22.7 倍、端到端 TTFT 砍 2.2 倍且 10M token 精度贴住基线；本专栏按成本账本重读，发现亚平方的 Tree 版恰是掉点的版本、「反超全注意力」背后是 YaRN 拉伸下基线自己的塌陷。

论文： Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention

作者： Ales Kubicek, Andrea Caciolai, Liangzu Peng, 等

arXiv： 2610.42147

2026年11月5日稀疏注意力超长上下文注意力机制推理加速语义聚类索引器蒸馏 SGLang cs.LG

1 论文概览

一句话总结：先把稀疏注意力的成本账解剖开——10M token 时一个稀疏注意力层 98% 的 prefill 时间花在「给每个 query 挑 key」的索引器上——再用「学出来的潜空间里做语义聚类、query 只跟聚类质心打交道」替换索引器的全文扫描，蒸馏版 D-LSA 贴在 GLM-5.3-Flash 上单层 prefill 提速 22.7 倍、端到端首 token 延迟砍掉 2.2 倍，原生版 N-LSA 在 0.5B 混合架构上以 1.085 的验证 loss 与全注意力打平。

核心问题：前沿模型的上下文窗口已经推到 1M token 以上（Gemini、MiniMax、DeepSeek、Qwen 皆有百万级窗口），稀疏注意力是公认的降本手段，DeepSeek DSA/CSA、Qwen QSA 这类「专用索引器挑 key」的方案已是前沿标配。但索引器自己要给每个 query 扫过全部前文 key：prefill 仍是平方量级、decode 仍随上下文线性涨。上下文拉到 10M token，省下来的注意力算力又被找 key 这件事吃回去了。论文问的是：挑 key 这一步，能不能不按全文长度付费。

“at 10M tokens the indexer takes 98% of the prefill time of traditional sparse attention, and a ‘free’ indexer would make sparse attention a further 58× faster in prefill and 8.9× in decode.” —— 原文 §2（Figure 2 的成本解剖）

主要贡献：

瓶颈定位的量化。逐 token 计时一个全局注意力层从 512k 到 10M 的成本构成，把「索引器吃掉 98% prefill 时间」这个直觉变成硬数字，并给出反事实估算：索引器若免费，稀疏注意力在 10M token 下还能再快 58 倍（prefill）、8.9 倍（decode）。
LSA 机制。key 先投影到学出来的低维潜空间（64 维），按语义做流式 Ward 层次聚类装进 bucket，query 只给聚类质心打分；一层的 flat 搜索把每 query 的打分对象从 T 个压到约三十分之一，Tree 变体沿层级做 beam 搜索，每 query 只打 $\mathcal{O}(\log T)$ 个质心，prefill 降到 $\mathcal{O}(T\log T)$ 。
D-LSA 蒸馏。给预训练模型加一层「索引皮肤」：每层只训两个小投影矩阵加一个温度，352M token、基座全程冻结——是 DeepSeek DSA 稠密 warm-up（2.1B token）零头级别的改造成本。
N-LSA 原生训练。不加参数、不设辅助损失、不需要教师，选择处停梯度，next-token loss 直接训出「会自己找 key」的注意力。
10M token 的完整评测。RULER 13 个任务从 4k 推到 10M，另建 PaperTrail 基准（把虚构事实埋进模型发布日期之后的真实论文里，三级难度递进），代码与 SGLang 集成、H200/B300 内核全部开源。

2 方法详解

2.1 成本解剖：钱花在找，不在算

全注意力 prefill 是 $\mathcal{O}(T^2)$ ，decode 每 token 是 $\mathcal{O}(T)$ 。稀疏注意力把工作拆成索引器与注意力两部分：选好 $k$ 个 key 后注意力本身只要 $\mathcal{O}(Tk)$ 与 $\mathcal{O}(k)$ ，问题在于索引器给每个 query 打分仍要扫全部前文。CSA/QSA/GLM-5.3-Flash 把 4 个 key 压成 1 个再打分，HISA/LongCat 先挑 block 再挑 key，IndexCache/DeepSeek-V4.1 跨层复用选择结果——每一招都只砍常数因子，每 query 的工作量依旧随上下文线性涨。LSA 换的是渐近阶。

2.2 语义聚类：流式 Ward 装桶

索引 key 走一条流水线：L2 归一化，每 4 个连续 key 求和压成 1 个 pool key（与 CSA 同款压缩），再按 512 个 key 一个 cluster block 分段，段内用 Ward 准则自底向上聚类——每个 pool key 自成一桶，每轮把「互为对方最廉价合并」的桶并行合并，直到每段剩 64 个桶、平均每桶 8 个 key，桶内上限 16。质心（桶内 key 之和的归一化）连同 key 位置表一起进 bucket cache，一个质心摊 8 个 key，全文索引只占 KV cache 的一小部分。cluster block 一旦聚好，桶终身不变——这是流式约束下的设计：不回头重排，新来的 key 靠窗口兜底。

2.3 检索：flat 打分与 tree 下降

Query 归一化后给全部桶质心打分（ $s_{i,b}=c_b\cdot q_i^{(\mathrm{idx})}$ ），选 top- $p$ 个桶，按桶内优劣展开到 $k$ 个长程 key（Qwen 上 $k=4096$ ；GLM 上 1M 以下 2048、以上 4096），再加上 4 个 sink key 与 512 个窗口 key（窗口恰等于一个 cluster block，盖住所有还没聚类的 key）。一份索引表 $J_i$ 供该 query 的全部注意力头共用。

Tree 变体把桶再聚成多层「节点桶」，query 每层给候选质心打分、beam 保优下降，每 query 只打 $\mathcal{O}(\log T)$ 个质心——这是 prefill 亚二次的来源。代价是 decode 里 tree 各层只能串行执行，单请求场景反而吃亏，论文单请求评测里 tree 版 decode 退回 flat。

2.4 D-LSA：给冻结基座蒸一件索引皮肤

预训练模型已有自己的 key/query 投影，D-LSA 在每层外挂一对小投影 $W_K^{(\mathrm{idx})}$ 、 $W_Q^{(\mathrm{idx})}$ （64 维），query 侧把各头求和成一条索引 query。Qwen-3.8-27B 的 key 带 RoPE（四分之一维度），投影只读无 RoPE 的部分——聚类按内容不按位置，这一刀切得干净。蒸馏目标是对冻结层注意力的正向 KL：教师是各头 softmax 后按头平均的注意力分布（只保留注意力权重前 2048 的 key 再归一化），学生是索引 query 的 softmax（带逐层校准的温度 $\tau$ ）。基座一个参数都不动。还有一个零训练变体：直接取该层 key 的前 64 个主方向当投影。

“D-LSA adds LSA to a pre-trained model by a short distillation that trains only $W_{Q,K}^{(\mathrm{idx})}$ and a temperature $\tau$ per layer, with the base model frozen.” —— 原文 §3.3

2.5 N-LSA：把选择焊进前向传播

原生训练版连外挂投影都省了：直接拿注意力自己的 key 去聚类，单一 KV 头（一个 key 伺候全部 query 头），桶分按各头相似度的最大值取分（ $s_{i,b}=\max_h \hat{q}_{i,h}\cdot c_b$ ），选择处停梯度，NTP loss 只穿过被选中的 key。无位置编码（与混合架构的新趋势一致）。整层比全注意力多出的参数是零。

“N-LSA therefore adds no parameters to the model and needs no teacher, no index projections and no auxiliary loss.” —— 原文 §3.4

2.6 系统落地

聚类、打分、选择、展开四步都写了 CuTe DSL 内核（H200 与 B300 各一套，另有可跑任意 GPU 的 Triton 版）；注意力复用 FlashAttention-3，把索引表当 page table 读。SGLang 集成支持 TP/EP/PP 与 prefill/decode 双向的 context parallelism。bucket cache 在 CP 各 rank 全量复制——10M token 下每 rank 持有 10 GiB KV cache 的 1.25 GiB 份额外加完整的 246 MiB 桶缓存，作者自己点破这笔账：

“This design choice trades memory for communication.” —— 原文 §3.3

3 实验结果

3.1 单层加速：数字与口径

GLM-5.3-Flash（基线为自家的稀疏注意力）10M token 下，D-LSA 单层 prefill 提速 22.7 倍、decode 4.6 倍；对照全注意力的 Qwen-3.8-27B，两个数字是 72.4 倍与 42.5 倍。加速随上下文增长：1M 处对 GLM 基线只有 3.5 倍，512k 处 2.1 倍——LSA 的收益在后百万段才真正展开，短上下文下索引器扫描本来就便宜。B300 上 10M token 单层 prefill 12.5 倍（对 Qwen 全注意力 42.9 倍）、decode 5.2 倍（18.4 倍）。

3.2 端到端：TTFT 才是产品指标

SGLang 生产配置下单请求：GLM-5.3-Flash CP8 下 10M token 的 TTFT 从 451.5 秒压到约 202 秒（2.24 倍）、TPOT 2.1 倍；TP8 下 TTFT 5.83 倍（基线 1300.9 秒）。Qwen-3.8-27B 对全注意力基线 TTFT 9.21 倍（基线 4582.2 秒——76 分钟的首 token 等待本身就是「不可用」的同义词）、TPOT 2.87 倍。层间加速与端到端加速差一个量级，原因论文说得直白：只有全局注意力层变快，其余层的成本原样站着。

3.3 精度：贴着基线走，10M 处一处分歧

Qwen 上 D-LSA（Flat）到 1M 为止与全注意力保持在 5 分以内；10M 处反超——RULER 63.9 对 59.9，PaperTrail 29.1 对 19.8。GLM 上 1M 以内 3 分以内，2M–5M 段最多落后 8 分，10M 处 RULER 收窄到 4 分以内。这个对照对基线有利：GLM 的稀疏注意力是跟模型一起训的，D-LSA 只是从「已经是稀疏的注意力」上蒸馏出来的索引器，基座没微调过。MultiKey 2/3 与 CWE 是所有方法（含基线）掉得最多的任务。

3.4 消融：Tree 的代价与零训练的底线

Tree vs Flat：Qwen 上 Tree 贴着 Flat 走；GLM 上 1M 之后 Tree 明显掉——10M 处 RULER 55.8 对 66.8，差 11 分。亚二次的那一版恰是精度弱的那一版。
Block Sparse（Tree）基线塌方：无训练的 block 树搜索从 512k 起掉头，1M 处 RULER 只剩约 63，对 D-LSA（Tree）的 78 与 88，论文没把它往 1M 以上评。块越大塌得越早。
零训练版：主方向投影在 Qwen 上贴着蒸馏版，GLM 上有可见差距——蒸馏的价值依基座而定。
N-LSA 对照组：0.5B 混合模型（每四层一个注意力层，其余 Gated DeltaNet）、100B FineWeb-Edu 加 12B 长文档衰减段。128k 衰减段验证 loss：N-LSA 1.085 与全注意力 1.085 完全打平，PISA 1.100、NSA 1.117、SWA 1.154。RULER 128k 处 32.2 对全注意力 34.7，NSA 与 PISA 掉到 19.2 与 14.6。单层前向加反向 128k 处快 1.6 倍，整模型衰减段快 1.24 倍；代价是峰值显存 6.8 GiB 对 5.8 GiB——反向传播要为每个 query 存选中 key 的索引，线性涨。

4 个人分析

4.1 亮点

诊断先于方案。多数效率论文直接上方法，这篇先花一个整节做成本解剖，把「索引器是超长上下文的真瓶颈」用 98% 与 58 倍两个数字钉死。Figure 2 的价值不依附于 LSA 本身成立与否——对任何做稀疏注意力的人都是可直接引用的测量。

老想法的现代工程化复活。按语义聚类 key 不是新想法：Reformer 的哈希分桶（2020）、Routing Transformer 的 k-means 质心（2021）都在这儿等着。它们死在训练不稳定与短上下文时代。LSA 的贡献是把 2020 年的构想在 2026 年的条件下重新做通：蒸馏代替端到端学聚类器、流式 Ward 保证 prefill 单调推进、bucket cache 把索引压到 KV cache 的零头、CuTe 内核与 SGLang 并行策略配齐。方法层的组合谈不上惊艳，工程完备度是前沿水平。

蒸馏成本控制到最小手术。352M token、两个投影矩阵加一个温度、基座冻结——对比 DSA 的 2.1B token 稠密 warm-up 加后续稀疏训练，这是「给已发布模型换注意力皮肤」的最低成本路径，且跳过了 DSA 的稀疏训练段还能贴住精度，说明索引器本身承载的语义信息比预想的稠密。

N-LSA 的克制。不加参数、不设辅助损失、选择处停梯度——用架构本身表达「检索是可以被 NTP 训出来的能力」。0.5B 规模上与全注意力 loss 打平、把 NSA/PISA 甩开 1.5 到 2.7 个 loss 点，这个对照（同为原生稀疏的 NSA 在 128k 掉到 19.2）比 N-LSA 自己的数字更有信息量：按语义组织 key 的归纳偏置，比按位置分块更接近全注意力的行为。

4.2 局限

亚平方主张与交付版本之间有缝。标题里的 subquadratic 依赖 Tree 变体，Tree 在 GLM 上 1M 之后掉 11 分；实测里精度扛得住的是 Flat（二次但常数小），单请求 decode 里 Tree 也退回 Flat。100M token 处「预测快 90 倍」是外推（图上阴影区），没有实测背书。诚实的读法：这篇交付了一个常数因子大幅优化的 Flat 与一个渐近阶更优但精度未稳的 Tree，两者离合体还差一步。

反超全注意力这组读法要按基线状态折价。Qwen 10M 处 RULER 63.9 对 59.9 的反超，背景是全注意力基线靠 YaRN 因子 40 把位置编码硬拉到 10M——基线自己在位置外推下已经失真。这组数字证明的是「LSA 在 10M 还活着」，不是「LSA 比健康的全注意力强」。PaperTrail 29.1 对 19.8 同理。论文正文没有把这层读法写透，读者需要自己补。

N-LSA 的证据链离前沿差三个数量级。0.5B、flat only、混合比 1:3（四分之三的层是 DeltaNet，注意力层的开销本就被稀释）、128k 封顶。「与全注意力打平」的结论在这些约束下成立，外推到 27B 级、10M 级、tree 搜索，每一步都是未验证的跳跃——作者在 §5 自己列了这三条 open question，态度诚实，但距离主张的普适性还远。

统计功效存疑。RULER 在 1M 以上每任务只有 20 个 prompt，2M–5M 段那个最多 8 分的落后，区间宽度没有给出；PaperTrail 同样受限于评测成本做了子采样。超长上下文评测贵是现实，但这意味着本篇的精度结论在 2M–5M 段只能当方向看。

存储问题原封未动。10M token 的 KV cache（单层 10 GiB）才是那堵墙，LSA 只解决「找」不解决「存」，作者明说与 KV 压缩、跨层共享索引、多 token 预测正交可叠加。叠加之后还剩多少水位，是下一篇的事。

多头共用一张索引表。 $J_i$ 全头共享加 query 侧各头求和，等于把多头各自的检索偏好压扁成一条——这是效率与表达力的交换，论文没有单测这刀砍掉了什么。MultiKey 类任务掉得多，一个候选解释与这有关：单个 key 藏在 block 摘要里会被抹掉，是个老问题。

4.3 对大模型领域的影响

索引器成为一级优化对象。从 DSA 到 CSA/QSA 再到这篇，索引器降本的路线图清晰：压缩常数（4:1）→ 跨层复用 → 语义聚类改渐近阶。LSA 把「key 选择本质上是在线检索」这一点挑明了：ANN 检索领域积了二十年的分层聚类、beam 搜索、倒排工具箱，整体可以搬进注意力层。LongCat 的工作（索引器在 1M+ 成为瓶颈）与这篇互为印证，这条线会继续热下去。

内部注意力与外部检索的边界在移动。10M token 上下文把相当一部分原本靠 RAG 的场景变成「库就在 KV cache 里」，TTFT 从 4582 秒到 498 秒的差别是产品可用性的差别。反过来说，当注意力自己长出检索结构，RAG 与长上下文的成本对比要重新算——检索在模型内部走 bucket cache 的层次，在模型外部走向量数据库，两者共享同一套理论骨架。

给混合架构的长上下文路线补了一块。N-LSA 的实验对象是「线性层为主、少量注意力层」的混合模型，这恰是 2026 年主流基座的形态。这类架构里全局注意力层是稀缺资源，把它从平方负担改成对数负担，混合架构的上下文天花板整体上移。

5 实践启示

可借用的索引设计。bucket cache（质心 + 位置表，10M token 单层 246 MiB，对 GLM 基线 331 MiB、QSA 642 MiB）是 KV cache 之上做轻量索引的现成模板；流式 Ward（cluster block 聚完即冻结、窗口兜底新 key）适合一切「文档流式到达、不能回头重排」的聚类场景——日志聚类、会话归档、增量知识库都是同构问题。
最小手术的改造范式。只训外挂投影加温度、教师取头平均注意力前 2048、逐层校准 $\tau$ ——这套「给冻结基座蒸一层皮肤」的配方对其他模块化改造（路由器、门控、压缩器）直接可抄。零训练的主方向投影变体给了快速验证的底线：主方向版能用就不必蒸馏，不能用再上 352M token。
PaperTrail 的构造方法值得囤。虚构事实埋进模型发布日期之后的真实论文、三级难度（单篇回忆/两篇关联/三篇以上追踪）、题目只有走完 trail 才能答——这套防污染协议可以直接搬去造内部评测集。对 DataX/WeData 这类场景，「在 10M token 的日志与血缘里找跨系统关联事实」正是 PaperTrail tier-3 的形状：异常根因分析要在分散的任务日志、调度记录、上下游表变更里串出一条 trail，超长上下文模型加 LSA 这类索引，把「全量灌进去找关联」从不可行变成可用。
工程接入成本已经铺平。SGLang fork（支持 context parallelism）、H200/B300 内核、训练推理细节全部开源（github.com/Prefrontal-AI/latent-sparse-attention）。1M 以下的收益有限（512k 处 2.1 倍），接入决策应该按自己的上下文分布算：百万 token 以下的负载不值得动，agent 长轨迹、全库代码分析、长文档科研这类百万级起步的负载才是目标客户。
评测纪律。超长上下文的精度评测每任务只有 20 个 prompt 是行业现状，自建基准时至少把置信区间报出来；论文没报的那段（2M–5M）恰好是结论最不稳的区间，读这类论文要养成「先找样本量再看分差」的习惯。

参考文献

Kubicek, A., Caciolai, A., Peng, L., Sumant, S., Hoover, B., Greenlee, F., Battleday, R. M., Urban, R., Hoefler, T., Whittington, J. C. R. Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention. arXiv:2610.42147, 2026（本文，Prefrontal AI 与 ETH Zurich）。
DeepSeek-AI. DeepSeek-3 / DSA: Sparse Attention Indexers. 2025（token 级索引器与稠密 warm-up 蒸馏范式的出处，2.1B token 的对照成本）。
Yuan, Y., et al. NSA: Native Sparse Attention. 2025（原生 block 稀疏训练的代表，N-LSA 的对照基线）。
Tang, H., et al. PISA. 2026（block 树搜索的原生训练尝试，N-LSA 的树形对照）。
Zan, D., et al. LongCat LSA. 2026（「索引器在 1M+ 成为瓶颈」的独立证据）。
Hsieh, C., et al. RULER: What’s the Real Context Size of Your Long-Context Language Models? 2024（长上下文评测的标准尺）。