论文精读

精读：把压缩写成一次测试时回归——TTR-Compressor 的 Gram 矩阵与 12.24 点是怎么来的

把序列压缩重写成一次岭回归：块内 token 提供回归键与标量目标，解出的拟合系数直接当压缩表示，闭式解由 T×T Cholesky 给出；块稀疏注意力上把 RULER 检索平均准确率从注意力加权池化的 0.3920 推到 0.5144（+12.24 点），视觉 token 合并上用 3×3 合并拿到 54.85 追平 2×2 MLP 的 54.93、token 少 55.6%；本文按格重算后发现头条的 45.7% 来自 S-NIAH-3 的 4K/8K 两格、69.3% 挣在训练长度以内，且主配置在自己扫过的 λ 网格里在 S-NIAH-1@32K 一格上是最差的之一。

论文： Rethinking Sequence Compression with Test-time Regression

作者： Sihan Yang, Jie Huang, Hanxuan Li, Yifan Guo, Weigao Sun, Yiran Zhong, Weiyang Liu

arXiv： 2610.31574

2026年10月27日序列压缩测试时回归块稀疏注意力长上下文检索视觉 token 合并岭回归高效架构

1 论文概览

本文是 arXiv:2610.31574（cs.LG；v1 2026-10-22 17:14:38 UTC；Sihan Yang、Jie Huang、Hanxuan Li、Yifan Guo、Weigao Sun、Yiran Zhong、Weiyang Liu，香港中文大学 / Independent Researcher / Token Foundry / 阿里巴巴；19 页技术报告，项目页 spherelab.ai/ttr-compressor）。本专栏此前五十期回答的是「挑哪些 token、挑哪些轨迹、信用按哪套口径记账、信号被消费时旧了多少、数据分布离基座多远、整条响应有没有资格参与这次更新、策略容量会不会被优化动力学耗光、教师分布里哪些位置允许比较、事后经验除了改行为还能不能改行动之前的那次预测、参考模型的 KL 该从哪条边进组相对更新、教师的意见从哪条通道进 RL、off-policy 校正的记账区间有多长、裁剪区间那两个端点由什么决定、干预落在流水线的哪一环、逐步信用从哪个模型里来、一个已经报出来的增益该怎么拆账、这些信号最终以什么形状落到参数上、结局空间该分成几档、同一笔优势在响应内部怎么分、教师交出来的那笔位移里哪些前缀有资格进损失、这笔信用在更新里当斜率还是当终点、一次迭代该对齐到任务的哪一格、一份外部语料要进模型，是作为检索出来的文本进上下文，还是作为预测出来的隐状态进解码器、模型内部被拆出来的那批坐标能不能当作可以相加的行为解释单元、思考预算拧大之后，模型换掉的是对一个句子的读法，还是只换掉了答对的比例」；这一期问的是一组 token 压成一个向量时，这个压缩动作本身该不该由输入自己解出来——前面五十期改的都是「哪些信号进损失」，本篇动的是架构里那个从不进损失、却决定信息能不能活到下游的部件。

一句话总结：把序列压缩改写成一次岭回归——块内每个 token 提供一个回归键 $k_t=x_t/\|x_t\|_2$ 与一个标量目标 $v_t=a^\top x_t$ ，解出来的拟合系数 $h^\star\in\mathbb{R}^d$ 直接当作这块 token 的压缩表示；回归问题由任务损失通过外层梯度学会，系数则在每次前向里用 $T\times T$ 的 Cholesky 分解闭式解出。在块稀疏注意力里它把 RULER 检索平均准确率从注意力加权池化的 0.3920 推到 0.5144（+12.24 点），在 Qwen3-VL + Qwen3-4B 的视觉 token 合并里用 $3\times3$ 合并拿到 54.85，追平 $2\times2$ 合并下 MLP 合并器的 54.93，视觉 token 数少 55.6%。

核心问题：压缩器是高效架构里唯一一个「丢了就再也拿不回来」的部件，而它普遍是平均池化、拼接后线性投影或注意力加权池化。论文把这三类做法的共性写成一句可检验的话：

“We argue that these default compressors share a fundamental structural limitation, i.e., they aggregate tokens using weights that do not account for inter-token relationships.”（§1 Introduction）

更尖锐的是它给压缩器定的地位：

“Once information is discarded, it cannot be recovered downstream.”（§1 Introduction）

主要贡献：

把压缩重写为测试时回归。token 不再被加权平均，而是定义出一个岭回归问题，解出的系数当表示。 Gram 矩阵 $KK^\top$ 把 token 间的两两相关性直接放进了压缩规则。
可闭式求解的对偶形式。 $T\ll d$ 时改解 $T\times T$ 系统（ $O(T^2d+T^3)$ ）而不是 $d\times d$ 系统（ $O(Td^2+d^3)$ ），用 Cholesky 分解，不需要迭代式内循环优化。
把岭超参数换成可学习的对角矩阵 $\bm D=\mathrm{diag}(\mathrm{softplus}(\bm\rho))$ ，号称免去大模型预训练里的 $\lambda$ 调参。
两个落点上的实证：块稀疏注意力的检索键、多模态的视觉 token 合并器，均在同等 token 预算下优于各自的主流压缩器。
参数量极小：基础版每压缩器只引入 $2d$ 个可学习参数（附录 C 说明带卷积的语言/视觉版分别为 $7d$ 、 $11d$ ）。

2 方法详解

2.1 压缩即岭回归

给定 $X=[x_1,\dots,x_T]^\top\in\mathbb{R}^{T\times d}$ ，要压成一个向量 $h\in\mathbb{R}^d$ 。TTR 的构造是：

$h^\star=\arg\min_{h}\frac12\sum_{t=1}^T\omega_t\,(k_t^\top h-v_t)^2+\frac12 h^\top D h,\qquad k_t=\frac{x_t}{\|x_t\|_2},\quad v_t=a^\top x_t,\quad \omega_t\equiv 1$

解为 $h^\star=(K^\top K+D)^{-1}K^\top v$ 。这里 $a\in\mathbb{R}^d$ 与 $\bm\rho\in\mathbb{R}^d$ （生成 $D$ ）是全部的可学习量，跨 token、跨序列共享； $h^\star$ 则对每条输入序列各自重解一次。这是一个双层优化：外层是任务损失找「哪个回归问题有用」，内层是闭式解找「这个问题在当前输入上怎么拟合」。

2.2 键归一化与目标非对称：一个隐藏的依赖

§3.2 有一处很讲究的设计。键做归一化、目标不做归一化，作者给的理由是：

“If targets were also normalized ( $v_t=\bm a^\top\bm k_t$ ), the fitting term would reduce to $\frac12\|K(h-a)\|_2^2$ , trivially collapsing $h^\star$ toward the sequence-invariant static vector $a$ .”（§3.2）

把这段话展开，能看到论文没有写出来的那一半。记 $W=\mathrm{diag}(\|x_1\|,\dots,\|x_T\|)$ ，则 $v=WKa$ ，于是

$h^\star=(K^\top K+D)^{-1}K^\top W K a .$

取 SVD $K=U\Sigma V^\top$ （ $U$ 为 $T\times T$ 正交、 $V$ 为 $d\times T$ 正交），在 $D\to 0$ 的极限下：

$h^\star \to V\Sigma^{-1}\big(U^\top W U\big)\Sigma V^\top a .$

若块内 token 范数全等（ $W=cI$ ），则 $U^\top WU=cI_T$ ，上式退化为 $c\,VV^\top a=c\,P_{\mathrm{span}(K)}a$ ——正是 §3.2 自己警告的「塌缩到静态向量」（准确说是塌缩到 $a$ 在该块键张成子空间上的投影）。也就是说，归一化并没有消除塌缩，只是把防塌缩的责任从「目标是否归一化」转移到了「块内 token 范数是否各异」上。 而 $\|x_t\|$ 在一个压缩块内的离散度，全文一次都没有报告过；Transformer 的残差流经过层层归一化，范数是否足够分散本身就是个开放问题。

这不是吹毛求疵。w/o normalize k 那条消融给出 0.2531 对 0.5092（−25.6 点），是全文最大的单点跌幅，说明这套机制确实悬在一根细线上；而悬住它的那根线，论文没量过。

2.3 对偶形式与复杂度会计

$T\ll d$ 时改解对偶：

$\mathrm{TTR}(X)=D^{-1/2}\widetilde K^\top\big(I_T+\widetilde K\widetilde K^\top\big)^{-1}v,\qquad \widetilde K=KD^{-1/2}$

（可用 push-through 恒等式验证它与 $(K^\top K+D)^{-1}K^\top v$ 精确相等，附录 A 给了证明。）注意这里的 $I_T$ 不是 $\lambda$ ，而是重标定后浮现的恒等矩阵——有效岭强度整个落在 $\bm D$ 里。数值上键与目标先转 FP32 再做 Cholesky（附录 C）， $D$ 为对角故重标定只花 $O(Td)$ 。

Table 4 给的会计是：

范式	复杂度	参数量
平均池化	$O(Td)$	$0$
线性投影（拼接后）	$O(Td^2)$	$Td^2$
注意力（复用）	$O(Td)$	$d$
注意力（独立）	$O(Td^2)$	$\sim 4d^2$
TTR-Compressor	$O(T^2d)$	$2d$

在 $T=64,d=1024$ 下， $T^2d=4.19\times10^6$ 对 $Td^2=6.71\times10^7$ ，FLOPs 差约 16 倍，参数差约 $3.3\times10^4$ 倍。这个优势是真的。但它没能换成墙钟：§5.3 自述视觉合并下 TTR 在 $2\times2$ 合并时略慢于 MLP、在 $3\times3$ 时才反超，块稀疏注意力下各压缩器训练耗时「相当」；附录 F 更直接：

“all compression methods exhibit similar prefill and decode latency and substantially outperform full attention for context lengths beyond 16K tokens.”（Appendix F）

$T\times T$ 的 Cholesky 是小矩阵、低并行度、还要 FP32 转换，被 kernel launch 开销吃掉了 FLOPs 上的十几倍。Table 4 的渐进优势只能当参数效率读，不能当速度读。

2.4 与基线方法的区别

三类基线的问题在于权重不含跨 token 关系：平均池化是均匀权重，线性投影是固定的位置权重，注意力加权池化逐 token 独立打分。论文把它们统一描述为「只用了一阶统计量」：

“these methods primarily exploit first-order token statistics while ignoring second-order inter-token correlations, the very structure that reveals which information is redundant and which is distinctive.”（§1 Introduction）

与 TTT 系（TTT、MesaNet、LaCT、DeltaNet 等）的区别有两条：一是压缩在小块上独立进行、无跨块依赖，所以能一次精确闭式解出，不需要迭代内循环或 delta-rule 单步近似；二是回归产物不是输入相关的模型权重或快权重记忆，而是这块 token 的表示本身。这个定位差异是本文最干净的一处贡献。

2.5 去重效应的数学形状

去重效应可以从两 token 完全相同的极端情形读出来。令 $\lambda$ 为等效各向同性岭强度，两个相同的归一化键时 $G=[[1,1],[1,1]]$ ， $(G+\lambda I)^{-1}\mathbf 1$ 的两个分量都是 $1/(2+\lambda)$ ，故 $h^\star$ 的模长相对单个 token 的放大倍数为 $2(1+\lambda)/(2+\lambda)$ ： $\lambda\to0$ 时趋于 1（完全饱和）， $\lambda=1$ 时是 1.333（几乎无饱和）。去重强度是一个由 $\bm D$ 连续调节的量，不是一个开关。 而论文在 Figure 2(b) 的说明里明确鼓励往小的一端走（“a smaller regularizer $\bm D$ further amplifies this deduplication effect”）——那正是 2.2 节里走向静态向量的方向。这是本文内部一处未被点明的张力。

3 实验结果

3.1 块稀疏注意力：+12.24 点是怎么来的

345M 参数模型、FineWeb、30B token、8K 训练长度；64-token 块、每 query 选至多 32 个远块、保留 512-token 局部窗。Table 1 是 4 个 RULER 子任务 × 4 个长度的 16 格平均。

压缩器	平均	4K–8K 内	16K–32K 外
平均池化	0.2971	0.4678	0.1265
拼接+投影	0.3919	0.5398	0.2440
注意力加权池化	0.3920	0.5265	0.2575
TTR	0.5092	0.6895	0.3290
TTR（带卷积）	0.5144	0.6960	0.3328

我按格重算了头条的构成。TTR（带卷积）相对注意力加权池化的 16 格差值合计 1.958 点：

S-NIAH-3 的 4K 与 8K 两格贡献 0.894，占 45.7%（单是 S-NIAH-3@4K 的 +0.494 就占 25.2%）；
训练长度内（4K+8K）贡献 1.356，占 69.3%；16K+32K 只贡献 0.602（30.7%）。

论文的文字强调 “its advantage persists when extrapolating to 16K and 32K”，这句没错，但头条的三分之二挣在 8K 训练长度以内。

这里还有一个口径问题需要点明：远块池随长度增长而每 query 预算不变。4K 时 $4096/64-8=56$ 个远块选 32（57.1%），32K 时 $32768/64-8=504$ 个远块仍选 32（6.3%）——判别难度从 4K 到 32K 提高了 9.1 倍，而论文跨长度直接比原始准确率。所有方法在 32K 上都很低（TTR 0.3328），是预算问题还是压缩问题，现有表格分不开。

还有两处读数：Full Attention 在 16K/32K 全为 0、在训练长度 8K 的 S-NIAH-1 上也只有 0.428（低于平均池化的 0.536），说明这个基线在 HoPE 等配置下被削弱了，它的 0.2632 平均值不宜当上界读。Table 2 的 10 个常识基准上，七个配置全落在 47.58–48.17 这 0.59 点区间内，且论文明说：

“the evaluation context lengths are too short to activate sparse attention, so the compressor is not involved during inference”（Table 2 注）

即 Table 2 测不到推理期的压缩质量，只反映预训练的副作用。把它算作证据偏慷慨。

3.2 视觉 token 合并：追平是平均意义上的

Qwen3-VL 的 ViT + Qwen3-4B-Instruct，两阶段训练。Table 3：

设置	平均	对 MLP 的差
$2\times2$ MLP	54.93	—
$2\times2$ TTR	55.92	+0.99
$2\times2$ TTR（卷积）	56.03	+1.10
$3\times3$ MLP	52.27	—
$3\times3$ TTR	54.30	+2.03
$3\times3$ TTR（卷积）	54.85	+2.58

头条「55.6% 更少的视觉 token 达到相当表现」用的是 $3\times3$ TTR-卷积的 54.85 对 $2\times2$ MLP 的 54.93，差 −0.08。把 10 个基准逐个摊开，有 4 个基准上 $3\times3$ TTR-卷积低于 $2\times2$ MLP：AI2D −0.33、OCRBench −2.80、InfoVQA −2.02、ChartQA −3.48。「追平」是平均意义上的。

再看 $+2.58$ 的构成。三个文档类基准（OCRBench +4.10、InfoVQA +4.54、ChartQA +3.56）贡献 12.20，占 47.3%——论文自己也说增益集中在文本密集型基准。但TTR 并没有解决细节丢失，只是丢得更少：从 $2\times2$ 到 $3\times3$ ，MLP 在这三列上掉 −6.90/−6.56/−7.04，TTR-卷积掉 −3.80/−4.63/−5.36。

把「压缩比敏感性」和「基线优势」拆开，看得更清楚：MLP 从 $2\times2$ 到 $3\times3$ 平均掉 2.66，TTR-卷积只掉 1.18。所以 $3\times3$ 上那 +2.58 里，1.10 是在 $2\times2$ 就已经有的优势，1.48 来自对压缩比更不敏感——超过一半来自后者。

3.3 消融：三个关键发现

（a）键归一化那条消融一次改了两个变量。 论文给了两个理由：① 用原始键时 $k_t^\top a\equiv v_t$ 是平凡精确解；② 大范数 token 支配 Gram。去掉归一化两条一起变。干净的控制是：保留归一化键、把目标也归一化（只触发 ①），或用非线性目标配原始键（只触发 ②）。两条都没跑。

（b） $\lambda$ 消融里，头条配置的 32K 那一格是反常的。 Table 6（7 个配置 × 16 格）：

配置	平均	S-NIAH-1@32K
$\lambda=10^{-4}$	0.4364	0.628
$\lambda=10^{-3}$	0.5023	0.948
$\lambda=10^{-2}$	0.4851	1.000
$\lambda=10^{-1}$	0.4705	0.978
$\lambda=1$	0.4238	0.794
可学习标量	0.4971	0.806
可学习对角（主配置）	0.5092	0.650

可学习对角确实是 argmax，但它比最好的固定 $\lambda=10^{-3}$ 只高 0.69 点，而在 S-NIAH-1@32K 这一格上它是七个配置里最差的之一（0.650），固定 $\lambda=10^{-2}$ 拿到 1.000。我算了它与 $\lambda=10^{-2}$ 的逐格差：16 格里 12 格为正、合计 +0.752，另 4 格合计 −0.366，其中 S-NIAH-1@32K 一格就是 −0.350。这 +2.41 点的平均优势，是用一格 −0.350 换十二格共 +0.752 换来的。 这不意味着 $\lambda=10^{-2}$ 更好（它平均低 2.41 点），但意味着「可学习对角全面更好」的读法不成立。

顺带：可学习标量（0.4971）低于最好的固定标量（0.5023）。所以「免调参」的价值在于不用挑，而不在于学到的值更好；真正带来增益的是从标量到对角的各向异性（+1.21 点）。

（c）值参数化的消融给了最干净的一个分解。 附录 E.2 在 $3\times3$ 下换了 7 种 $v_t$ ：常数 53.56、线性 54.30、MLP 54.30、MLP-dot 54.55、线性+卷积 54.85、MLP+卷积 53.91、MLP-dot+卷积 54.37；MLP 合并器基线 52.27。常数目标（ $v_t\equiv1$ ）已经比 MLP 合并器高 1.29 点，而全部七种变体的极差也只有 1.29 点。也就是说 $+2.58$ 大致对半分：一半来自 Gram 求解这个二阶机制本身，一半来自目标与正则的工程设计。论文的总结是对的：

“value capacity is not the bottleneck; local neighborhood aggregation provides a more effective inductive bias than non-linear projection.”（Appendix E.2）

但要补一句：卷积与头的容量存在交互而非主效应——卷积配线性头 +0.55，配 MLP 头 −0.39，配 MLP-dot 头 −0.18。方向不一致。

3.4 放大与效率

附录 E.1 把语言侧放大到 1B 参数 / 100B token，TTR 0.7996 对注意力加权池化 0.735（+6.46 点）。我按格重算：S-NIAH-3 的四格贡献 0.540，占 52.2%；S-NIAH-1 四格只贡献 0.076（7.4%），因为两者在 S-NIAH-1 上都已 ≥0.978。论文说

“the performance gap widens as the context length increases”（Appendix E.1）

而按长度汇总的实际差值是 4K 0.236、8K 0.148、16K 0.412、32K 0.238——非单调，8K 是谷底，「随长度变宽」只在 8K→16K 这一段成立。另需注明：附录没说这一行用的是基础版还是卷积版 TTR，也没说是否沿用可学习对角；正文与附录出现同一指标时协议未声明，这一格无法与 Table 1 直接对账。

效率方面，附录 C 交代了完整参数量：基础版 $2d$ ，带卷积的语言/视觉版分别为 $7d$ 与 $11d$ 。摘要与主表的两个头条数字（RULER +12.24、视觉追平）都出自带卷积的版本，而不是 §3 里那个 " $2d$ " 的版本。

4 个人分析

4.1 亮点

选了一个所有人都用、没人当方法研究的部件。 压缩器确实是「丢了就拿不回来」的瓶颈，前人却把它当默认配置。选题判断力强。
双层优化的定位很干净。 外层学「问什么问题」，内层闭式解「这个问题怎么拟合」，且内层产物直接是表示而不是权重。与 TTT / 快权重的边界划得清楚。
参数效率是实打实的。 在 $T=64,d=1024$ 下用 $2\times10^3$ 量级的参数替掉 $6.7\times10^7$ 量级的投影，还更好。这一点没有水分。
对偶形式 + Cholesky 的工程判断正确，也确实避开了 $O(d^2)$ 。附录 C 的 FP32 处理说明实现上想清楚了数值问题。
消融诚实：Table 2 主动声明压缩器在推理期不参与、Table 3 主动标出劣势列、§5.3 主动承认 $2\times2$ 下略慢于 MLP。

4.2 局限性

（1）机制链条缺中间一环。 全文没有一次测量「压缩器选块」这件事本身——没有 top-32 块的召回率、没有「块内冗余程度 vs 增益」的相关性、没有学出来的 $\delta_j$ 分布。「Gram 矩阵让冗余证据的影响递减」是一个只由端到端数字支撑的机制主张，而支撑它的唯一消融（去归一化）又一并改掉了两个变量（3.3a）。

（2）头条数字高度集中。 RULER 的 +12.24 里 45.7% 来自 S-NIAH-3 的 4K 与 8K 两格；视觉侧的 +2.58 里 47.3% 来自三个文档类基准；放大实验里 52.2% 来自 S-NIAH-3。每个主结论背后都有一个「最吵的那一列」。

（3）没有误差棒、没有种子、没有配对检验。 30B token 的 345M 模型各跑一次。视觉侧 10 个基准的单列差（如 MMStar +0.27）落在噪声里；按 $n$ 在 500–4000 区间、正确率 0.5–0.8 粗估，单列标准误约 0.8–2.2 点，十列均值约 0.3–0.7 点—— $2\times2$ 上 $+0.99$ 勉强可辨， $2\times2$ TTR-卷积的 8 胜 2 负做符号检验双侧 $p\approx0.11$ ，不构成显著性证据。

（4）防塌缩依赖一个未测量的量。 见 2.2：如果块内 token 范数接近全等，归一化键 + 线性目标的设计会在小 $D$ 极限下退化到静态向量的投影。论文没报 $\|x_t\|$ 的离散度，也没在 Figure 2(b) 里说明「把 $\bm D$ 调小」与 2.2 的塌缩方向相反。

（5）规模与范围都窄。 语言侧只到 1B/100B；视觉侧只有 Qwen3-VL ViT + Qwen3-4B 一种组合；压缩比只测了 $2\times2$ 与 $3\times3$ ，没有 $4\times4$ 或更细的网格来画曲线；块稀疏注意力只挂在 HiLS-Attention 一个框架上。

（6）效率主张与实测不一致。 Table 4 的渐进会计给不出墙钟优势（3.3 节、附录 F）。「 $2d$ 参数」在视觉落点上还漏了下游 MLP——那里的对比是「TTR + MLP」对「MLP」，不是纯压缩器对压缩器。

4.3 对大模型领域的影响

这篇论文真正的价值不在 +12.24 这个数，而在它把「压缩」从一个算子提升为一个推断问题。一旦接受这个视角，压缩器就有了自己的设计空间：回归问题怎么造（键、目标、权重 $\omega_t$ ）、正则怎么学、解怎么求。它和 TTT / MesaNet 的合流也顺理成章——两者都是「在输入上解一个小优化问题」，差别只在解出来的东西是权重还是表示。

对工程侧的现实影响要看两点能否成立。一是闭式解在真实训练栈里的墙钟代价：目前 $2\times2$ 上还略慢于 MLP，只有当压缩比继续推大（ $4\times4$ 、 $8\times8$ ）时 $O(T^2d)$ 对 $O(Td^2)$ 的优势才会兑现。二是范数异质性：如果后续在残差流上测出 $\|x_t\|$ 的离散度很小，2.2 的分析就提示这套设计需要换一个防塌缩机制（例如给目标加一个与 $a^\top x_t$ 正交的分量，或直接把 $\omega_t$ 也学出来）。

5 实践启示

可以借鉴的技术

把压缩器当成可替换的一层来 abl。 Qwen / DeepSeek 的稀疏注意力、各家 VLM 的 merger 都还停在池化或 MLP。本文证明只换这一个部件、不动其他超参就能拿到两位数点数的检索增益，替换成本又只有 $2d$ – $11d$ 参数。
可学习的对角正则。用 $\mathrm{softplus}(\bm\rho)$ 替掉 $\lambda$ 调参这个做法可以直接搬到任何需要岭型求解的地方（LoRA 合并、线性注意力的阻尼项、JEPA 类目标的正则）。结论是各向异性本身值 1.21 点，而「免调参」值在不用挑。
对偶 + Cholesky 的模板。凡是在 $T\ll d$ 的小块上做闭式最小二乘（块内去噪、局部 PCA 式的表示、per-group token 融合），都应该走对偶形式，并在 FP32 下用 Cholesky 而不是显式求逆。
先做常数目标的 sanity check。附录 E.2 的常数目标基线（ $v_t\equiv1$ 拿到 53.56）是一个好习惯：它把「二阶求解器本身的贡献」与「目标工程的贡献」分开了。任何「学出来的目标」类方法都该配这一条臂。
按压缩比画曲线，而不是按配置报数字。本文最扎实的一条结论其实是「TTR 对压缩比更不敏感」（−1.18 对 −2.66）。做 token 削减时值得把「从 $r_1$ 到 $r_2$ 掉多少」当成主指标，而不是某一档上的绝对值。

潜在应用场景

长上下文检索键：agent 轨迹、代码仓库、法律/医疗长文档的分块检索，压缩质量直接决定 top- $k$ 能不能选中。本文显示预算固定、池子变大时压缩器的重要性会放大。
高分辨率与多图/视频输入： $3\times3$ 甚至更强的合并是省 token 的主战场，而本文显示增益最强的正是 OCR / 图表 / 信息图这类「细节密集」输入。
端侧与固化权重芯片： $2d$ 参数、无迭代内循环、闭式可解，对推理预算紧的部署友好（但要记住实测延迟目前是持平的）。
其它需要「一组 token 压成一个向量」的位置：语音帧合并、推荐里的行为序列池化、图节点邻域聚合。只要 $T\ll d$ 且块内存在冗余，这套构造就能直接搬。

落地前需要自己补的三件事：块选择召回率这一列（验证机制而非只看端到端）、多种子误差棒（判断 $+0.99$ 与 $+2.58$ 是否可辨）、 $\|x_t\|$ 的离散度（判断防塌缩是否成立）。

参考文献

S. Yang, J. Huang, H. Li, Y. Guo, W. Sun, Y. Zhong, W. Liu. “Rethinking Sequence Compression with Test-time Regression.” arXiv:2610.31574, 2026.（TTR-Compressor）
J. Hu, et al. “HiLS-Attention.” 2026.（本文采用的块稀疏注意力框架与注意力加权池化基线）
C.-P. Hsieh, et al. “RULER: What’s the Actual Context Size of Your Long-Context Language Models?” 2024.（S-NIAH / MK-NIAH 评测）
A. Hatamizadeh, et al. 2026.（以检索准确率衡量压缩质量的评测口径）
S. Bai, et al. “Qwen3-VL Technical Report.” 2025.（视觉编码器）
A. Yang, et al. “Qwen3 Technical Report.” 2025.（语言骨干 Qwen3-4B-Instruct）
H. Liu, et al. “LLaVA.” 2024; P. Wang, et al. 2025; Qwen Team 2026.（ $2\times2$ MLP 合并器这一工业默认设计）
Y. Sun, et al. “Test-Time Training.” 2020; Y. Sun, et al. “Learning to (Learn at Test Time).” 2024; A. Behrouz, et al. “Titans.” 2026.（测试时训练与快权重）
J. von Oswald, et al. “MesaNet.” 2026; Y. Zhang, et al. “LaCT.” 2026.（把内层优化推到收敛 / 大块快权重）
L. Bertinetto, et al. “Meta-learning with differentiable closed-form solvers.” 2018.（可微闭式求解器）
A. E. Hoerl, R. W. Kennard. “Ridge regression.” 1970; A. N. Tikhonov, V. A. Arsenin. 1977.（岭回归与广义岭回归）
C. Saunders, et al. 1998.（对偶形式）
G. Penedo, et al. “FineWeb.” 2024.（预训练语料）