为什么重要
「读得长」和「记得住里面的状态」是两种能力，而后者才是读代码、读侦探小说、跟进多轮对话的真正底座。StateBench 把「模型能否在长文档中持续追踪实体状态的变化」单独拎出来测，并且第一次按状态更新操作的复杂度分层，而不是只盯着最难的那一档。
对架构研究这尤其关键：Transformer 在长依赖链状态追踪上有理论上限，这正是 Gated DeltaNet 等递归/混合架构被提出的动机。但以往的测试只测 S₅ 换位这类最难问题，业界并不知道各架构分别能应付哪一档、又在什么长度开始崩溃。StateBench 的四层设计让这个问题第一次可以公平比较——四个层级由同一串变量赋值派生，变量数量、取值和赋值位置完全一致，只有赋值类型不同。
四层难度：从「生日」到「三个杯子换位」
用程序员的视角，四层对应四种变量赋值操作：
| 层级 | 赋值类型 | 代码形态 | 生活类比 | 敏感度中位 |
|---|---|---|---|---|
| R-trivial | 不可变赋值 | let x = 4 | 出生日期（不变） | 0.08 |
| Aperiodic | 按值重新赋值 | x = 4 后 x = 2 | 恒温器（看最新一次） | 0.08 |
| Soluble | 自引用更新 | x = x + 5 | 比赛比分（逐次累加） | 0.76 |
| General finite | 按引用赋值/换位 | x = y、swap | 五个杯子反复换位藏球（S₅） | 0.75 |
四层在理论上对应克罗恩-罗兹（Krohn–Rhodes）分解中不同的有限幺半群复杂度类。敏感度（一个输入位能影响最终答案的程度）在 soluble / general finite 两层陡增到 0.75+，这正是「漏一步就全错」的数学刻画——前两层靠检索，后两层必须真正携带状态。
构建方式
- 同源派生：先生成一条 general finite 赋值序列，再把三种更容易的版本从它派生出来，保证四层题目在变量数与赋值位置上严格对齐。
- 长度谱覆盖：赋值次数从 8 到 64,000，提示词 token 中位数约 1.2K、最长接近 981K；soluble / general finite 的最大依赖链长分别达 21.3K / 32.1K。
- 格式对照：同一问题渲染成整数代码、RULER、表格编辑等六种格式，专门用来检验「换个马甲能力就消失」的现象。
- 训练/评测分离：代码库（Apache-2.0）可从规范化的操作轨迹生成任务族，并强制训练/测试分割的语义不相交。
关键发现
- 四个前沿模型（Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol、GPT-6 Luna）在最长的 general finite 问题上全部跌到 13% 或更低——在 r-trivial 与 aperiodic 上它们表现良好，但 soluble / general finite 的准确率随输入变长急剧下滑，在 10K–64K token 区间跌至随机水平。论文将主因归结为敏感度：后两层的绝大多数步骤都能影响最终答案，没有「漏一步还能蒙对」的空间。
- 格式效应大到可以翻转结论：275M 的混合架构与 GDN 小模型在 RULER 格式的 r-trivial 题上接近天花板，同一批题换成表格编辑格式就接近随机。单一格式上的高分不能证明状态追踪能力——这是「换皮就崩」问题在长上下文上的直接证据。
- 直接训练把「架构」和「预训练」分开：Ai2 从零训练了 6 个 275M 模型（两种 Transformer、两种混合、两种 GDN 变体），训练序列最长 256 次赋值、测试拉到 250 倍。GDN 与混合模型在 r-trivial / aperiodic / soluble 上近完美泛化到数万次赋值；Transformer 学得会简单层但出训练分布即退化，且即使在分布内也从未学会 general finite。
- GDN 内部也有分界：允许正负特征值的 GDN± 变体在 general finite 上近完美泛化到训练长度约 10 倍，非负特征值变体一出训练截断立即退化——这为「记忆更新算子的表达力」给出了可操作的刻度。预训练模型全面低于理论预期与直接训练结果，说明预训练语料并没有教会这些架构它们理论上会做的事。
- 理论侧新证明：论文证明固定精度、非负特征值的 GDN 可解所有 aperiodic 任务及部分周期任务（如奇偶性），但它在分层中的确切位置仍开放。
局限
- 变量数固定（2/4/8/16），不建模「对话/文档中不断有新实体加入」的真实场景——完美分数也不能证明新实体出现时依然稳健。
- 数值精度与「GDN+注意力」组合的影响未定；非负特征值 GDN 能否解全部 soluble 任务仍开放。
- 静态评测集每层 2,720 条，横跨六种格式后的单格样本量有限，长长度档的置信区间较宽。
关联基准
宝比长程（Babilong）（长上下文状态追踪的叙事版）、RULER（长上下文综合）、NoLiMa（长上下文浅层匹配）