Jeff Dean给RSI划定物理下限、StateBench把状态跟踪拆成四级考卷、扩散LM并行解码迎来两种定价、HST跨模型交接三种状态
本期四条动态都在给「快」标价：Jeff Dean 在斯坦福对谈给出 RSI 的物理下限与 Discovery Loop 的 20–50 倍专家目标；Allen AI 的 StateBench 量出状态跟踪的架构上界，前沿闭源模型最长链仅 13%；两篇同日论文给扩散 LM 并行解码提供保分布与量耦合两种方案；HST 用 21.66 倍交接提速换 89.88% 的任务保持率。
「快」在这一期有了四种标价：RSI 的迭代速度撞上物理下限，状态跟踪的距离撞上架构上界，扩散模型的并行解码出现保分布与量耦合两种定价法，长对话换模型省下的 prefill 时间折让记在 10.12% 的任务保持率上。
一、Jeff Dean 与李飞飞对谈：RSI 有物理下限，自动改进省的是等待不是过程
事件概述：11 月 7 日，量子位整理发布 Jeff Dean 在斯坦福 HAI 与李飞飞的对谈实录。他对 RSI（递归自我改进）的判断直白：把改进循环跑得无限快，不太现实。对谈披露了新公司 Discovery Loop 的近况——四名创始人为 Jeff Dean、Sanjay Ghemawat、Quoc Le、Oriol Vinyals，注册为公益公司，前三周完成 400 场面试，当前约 20 个自动改进循环在运行，目标把领域专家的生产力提高 20 到 50 倍，首发方向是机器学习研究、机器学习工程与硬件设计。
技术解析：概念区分是对谈的技术骨架。自我改进系统优化一个可测指标，例如给定 MRI 数据自动开发更好的判读模型；RSI 要把同一套改进方法作用到「提出改进方案的系统」本身——Discovery Loop 当前做的是前者。限速论据是流程性的：实验凌晨 2 点结束，研究员 8 点回工位查看，自动化省掉的是这段等待；训练要跑、结果要存、另一个模型要评估再决定下一步，这些环节的物理时间压缩不掉。他认领了两处误判：编程能力对 Gemini 解决各类问题的杠杆被低估；架构演进没有走向预期的「不规则有机形态」，MoE 至今保持规整。谈 AI 数学时，他把 500 页 Lean 机器证明的价值定在「知道可解」——优雅解法才会沉淀为可复用的工具，这条判断与限速立场同构：答案能并行拿到，方法要人来提炼。蒸馏论文 2016 年被 NeurIPS 以「难有影响」拒稿、如今约 4 万次引用的旧事，被他自己放进注脚。
行业影响：RSI 是当前前沿叙事的核心引擎，加速时间表的各类传闻都挂在它上面。Jeff Dean 给出的下限不反对压缩，反对的是把压缩率外推到无穷——来自分布式系统奠基者的保守估计，比投行报告更适合当 agent 产品路线图的时间参照。Discovery Loop 的 20–50 倍专家生产力目标，把「少量专家带大量 agent」从组织实验变成可证伪的工程指标；「迭代快不快」之外，「每轮迭代省在哪一段」（等待省掉、过程省不掉）成了新的尽调问题。
相关链接：https://www.qbitai.com/2026/11/508196.html 、https://www.youtube.com/watch?v=ooGKNwJWdb8
二、StateBench：状态跟踪拆成四级考卷，前沿闭源模型最长链剩 13%
事件概述：11 月 3 日，Allen AI 在 Hugging Face 博客发布长文档状态跟踪基准 StateBench，考语言模型在长文档里追踪实体状态演变的能力。四个前沿闭源模型——Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 与 Luna——在 R-trivial 与 Aperiodic 两级表现良好，Soluble 与 General Finite 两级随输入变长断崖，最长的 General Finite 问题上准确率跌到 13% 以下。
技术解析：四级难度按变量赋值语义切分：R-trivial 是不可变赋值（查出生日期），Aperiodic 允许按值重赋（查恒温器最新设定），Soluble 加自引用更新（x = x + 5 式的比分累加），General Finite 加按引用赋值（x = y、五球换位跟踪），分层依据是 Krohn–Rhodes 理论对有限幺群词问题的分解。同一赋值序列派生四级同位题，变量数、取值数与赋值位置对齐，只换赋值类型。最有信息量的实验在 275M 直接训练组：训练只见 256 步赋值、测试拉到 64,000 步（250 倍外推），Gated DeltaNet 与混合架构在前三级近乎满分外推，两个 transformer 变体学得会易级、长序列退化、General Finite 从未学会；最难的级别上，带灵活记忆更新的 GDN 变体外推到训练长度 10 倍处仍近满分。预训练侧另有格式敏感性发现：275M 混合模型在 RULER 式表述下近满分，同一问题改成表格编辑表述就近乎随机，StateBench 用多种格式考同一底层问题正是为此。新证明给出非负特征值记忆更新的 GDN 在定点算术下可解全部 Aperiodic 与部分周期任务；框架当前假设变量数固定，长对话新实体涌现的设定还没覆盖。
行业影响：百万 token 的上下文参数与状态保持是两种能力，13% 的及格线把差距拉到了明面。对 recurrent 与 hybrid 架构的选型，这份考卷直接可用：transformer 直接训练也学不会最难的级别，说明这是结构问题不是数据问题；GDN 类架构的外推能力第一次有了分级刻度。跟踪状态的下游场景——读代码、多轮工单、合同修订——都不缺长上下文，缺的是漏一步就错的链式更新，这正是四级表里掉分最快的两级。
相关链接：https://huggingface.co/blog/allenai/statebench 、https://github.com/allenai/state-bench
三、扩散 LM 并行解码双论文：SpecCTMC 保分布精确，Measured Coupling 给耦合标价
事件概述：arXiv 11 月 5 日同一批次出现两篇直击扩散语言模型并行解码痛点的工作：2611.08362 的 SpecCTMC（Siva Rajesh Kasa、Yasong Dai、Sumit Negi、Hongdong Li）与 2611.08307 的 Measured Coupling（Tal Oved、Lior Wolf）。并行生成是 Mercury、Clover 一类扩散模型相对自回归的招牌优势（本栏 152、155 期），两篇论文分别处理它的正确性与速度定价。
技术解析：SpecCTMC 走免训练路线。masked 扩散模型的并行采样会破坏 token 间依赖、改变输出分布；精确的连续时间采样每个 token 要一次串行评估。SpecCTMC 不需要单独 draft 模型，用已算出的预测提议连续的 token 更新、并行评估中间状态，再走精确的接受-修正程序；论文证明它保住事件时间、生成顺序与 token 取值的联合分布，时间离散误差与并行分解误差都不引入。LLaDA-8B-Instruct 与 Dream-v0-Instruct-7B、五个基准上，串行评估省 1.73–4.38 倍；85.94% 观测覆盖下，累计串行评估中位数从 8,140 次降到 2,901 次。对照组同样有信息量：τ-leaping 与梯形近似在 K=8 的最粗档也能拿约 55% 的 Pass@8，但那是花钱买误差；确定性解码器重复运行产出同一答案，覆盖不随尝试数增长。作者交代了墙钟的边界——串行评估的减少不等于延迟等比减少，长序列上收益打折，实测墙钟加速最高约 2.2 倍。
Measured Coupling 换掉代理指标。mean-field 解码（Zoabi 等）惩罚「预测分布相似」的位置对，拿分布重叠当耦合的代理；Oved 与 Wolf 直接测真耦合——提交一个 token 后另一位置置信度的实际改变量。探针在主前向内部完成，免训练免额外模型，仍插进同一套 mean-field 更新规则。三个模型、四个基准（GSM8K 1,319 题 5-shot、MATH、HumanEval、MBPP）：GSM8K、HumanEval、MBPP 上同精度所需步数大幅低于 mean-field，GSM8K 上推到 76.7% 精度；价格写在明处——平均让 1.1 个百分点，区间从最低 6.1 点到最高反超 1.8 点，MATH 上两个模型掉分显著。消融干净：打乱耦合矩阵或换成均匀奖励，增益消失；显著性检验用配对 McNemar 与 95% 置信区间。
行业影响：扩散 LM 的部署争论从「能不能并行」进入「并行以什么为准」。SpecCTMC 证明省评估不必花分布保真，服务端采样行为可控；Measured Coupling 把步数换精度的汇率标到个位百分点。两条路线服务不同买家：确定性输出场景（代码生成、可复现评测）走精确路线，吞吐场景按 1.1 点的价目表砍步数。块扩散架构要进生产 API，解码器层这本账就是成本模型的地基。
相关链接：https://arxiv.org/abs/2611.08362 、https://arxiv.org/abs/2611.08307
四、HST：长对话换模型，K/V 缓存之外还有两种状态要搬
事件概述：arXiv 2611.08133（v1 11 月 5 日，Jiacheng Cai、Tao Zhang、Siqi Liang、Yun Dai、Ziqian Zeng）提出 Hybrid State Transfer（HST）。生产系统用级联、路由与中途换模型平衡长对话的成本与质量，每次切换目标模型都要对累计上下文重放 prefill；已有跨模型缓存搬运方法只搬全注意力 K/V 缓存，混合线性注意力模型还持有递归状态（REC）与卷积历史（Conv），三者的交互让搬运变复杂。
技术解析：论文先给出机制层面的反直觉结论：卷积扰动会改变递归层的键值并影响 REC 更新，Conv 历史被覆写后 REC 的变化仍会传导到后续输出；更准的 REC 重构未必改善接续生成——局部误差小不等于整模型接续好。HST 搬全部三种状态：结构化 REC 映射、Conv 对齐时保留历史顺序、用冻结目标模型在接续段的输出校准适配器、FA 缓存映射更新离线合并。Qwen3.5 4B→27B 与 9B→27B、覆盖常识推理、知识问答与数学的五个基准上，平均任务保持率 89.88% 与 94.11%，超过对比里最强的混合基线 CacheLink 约 3 个点；9B→27B 的 MMLU 保持率从 67.93% 提到 88.32%。合成 16K 输入、源缓存就绪时，交接段提速 21.66 与 21.91 倍（64 token 时降到 1.78 倍），个别任务保持率破 100%——高于原生 27B 的表现。
行业影响：与本期第一条同构：换模型省下的 prefill 时间，账面折让记在 10.12% 与 5.89% 的任务保持率上，收益随输入变长放大（64 token 只剩 1.78 倍），意味着它只对长对话场景合算。级联与路由是推理服务商的标准省钱动作，混合架构落地后「切换成本」从纯延迟项变成状态保真项；小模型先答、难题升级到 27B 的管线第一次有了不重放 prefill 的工程路径。保持率破 100% 的个案提示另一个方向——带着上游状态进来的大模型，未必处处不如冷启动的自己。