论文精读

精读：思考预算把 some 读成 ∃——Entertain-then-Cancel 的剂量曲线与读法记账

把 40 个开源与 7 个闭源推理模型的思考长度当成可调剂量，权重、模板、采样参数全不动，只测「说话人说 Some boys play，你愿不愿意推断出 Not all boys play」这类二选一读法；Qwen3-8B 的 some 语用读法随思考从 29.5% 掉到 1.3%，40 个开源模型里 30 个在 some 或 or 上显著转字面，而预设 +22.2 pp、Fig-QA +10.7 pp、Circa +17.5 pp 反向变好；轨迹前缀探针显示早期前缀还站在语用一边、终局站在字面一边，11 条预注册假设里只有现象分离这一条判为 supported。

论文： Entertain, then Cancel: How Thinking Makes Reasoning Models Read Some and Or Literally
作者： Zhizhuo Kou, Jian Yang, Pengfei Hao, Junyu Luo, Jingshu Peng, Sirui Han, Yike Guo
arXiv： 2610.21204
语用学 标量含意 推理模型 测试时计算 思考预算 评测方法 预注册

1 论文概览

本文是 arXiv:2610.21204（cs.AI 主分类、cs.CL；v1 2026-10-15 04:01:59 UTC；Zhizhuo Kou、Jian Yang、Pengfei Hao、Junyu Luo、Jingshu Peng、Sirui Han、Yike Guo，香港科技大学 / 香港科技大学（广州）/ 北京大学；代码与数据在 github.com/kouzhizhuo/entertain-then-cancel）。本专栏此前六十五期回答的是「挑哪些 token、挑哪些轨迹、信用按哪套口径记账、信号被消费时旧了多少、数据分布离基座多远、整条响应有没有资格参与这次更新、策略容量会不会被优化动力学耗光、教师分布里哪些位置允许比较、事后经验除了改行为还能不能改行动之前的那次预测、参考模型的 KL 该从哪条边进组相对更新、教师的意见从哪条通道进 RL、off-policy 校正的记账区间有多长、裁剪区间那两个端点由什么决定、干预落在流水线的哪一环、逐步信用从哪个模型里来、一个已经报出来的增益该怎么拆账、这些信号最终以什么形状落到参数上、结局空间该分成几档、同一笔优势在响应内部怎么分、教师交出来的那笔位移里哪些前缀有资格进损失、这笔信用在更新里当斜率还是当终点、一次迭代该对齐到任务的哪一格、一份外部语料要进模型，是作为检索出来的文本进上下文，还是作为预测出来的隐状态进解码器，模型内部被拆出来的那批坐标能不能当作可以相加的行为解释单元」；这一期问的是思考预算拧大之后，模型换掉的是对一个句子的读法，还是只换掉了答对的比例——前面四十九期改的都是权重这一侧，本篇拧的是一个不改权重的旋钮。

一句话总结：把 40 个开源推理模型与 7 个闭源模型的思考开关当成一个可调剂量，在权重、模板、采样参数全部固定的前提下测「说话人说了 Some boys play，你愿不愿意推断出 Not all boys play」这类二选一读法，再把自然思考的轨迹在第 tt 个 token 处剪断、强行逼问答案，看读法是在轨迹的哪一段翻过去的；结论是 somesome 与 oror 的语用读法随思考变长而塌陷（Qwen3-8B 的核心题集上 −28.2-28.2 pp、完整留出集上 −37.7-37.7 pp），而预设、间接回答、隐喻这些需要上下文的推断反而变好（预设 +22.2+22.2 pp、Fig-QA +10.7+10.7 pp、PUB +10.1+10.1 pp），轨迹探针显示早期的若干前缀还站在语用一边、终局站在字面一边。

核心问题：推理模型把「想多久」做成了用户可控的旋钮，而已有的语用学评测只在一个固定设置上算准确率。论文把这件事写成一句可以直接反驳的话：

“No study yet measures what deliberation does to the reading a model chooses when both readings are allowed.”（§1 Introduction）

两种读法都被句子许可时，「答对」这件事本身分不清模型是换了读法还是丢了能力。人类语用学里还有两个相互竞争的账户给出相反的预测：努力账户说充实（enrichment）要花加工资源，想得越久应该越语用；默认-取消账户说广义含意是默认值，听者一旦把资源拿去核对真值条件就会把它取消掉。

主要贡献：

  1. 固定权重的剂量-反应协议：只拧思考预算这一个旋钮（关闭 / 截断在 B∈{64,…,2048}B\in\{64,\ldots,2048\} token / 自然停止，8,192 token 安全上限），配合两个互为备份的读出——解析出来的读法比例 RR 与不需要解析的答案位置对数几率 LL。
  2. 轨迹前缀诊断：把模型自己的自然思考在第 tt 个 token 处剪断、补上闭合标签与答案前缀，读 R(t)R(t) 与 L(t)L(t)，把「读法在轨迹的哪一段翻转」变成一个可干预的量，而不是对隐状态的解读。
  3. 现象层面的分离：逻辑词（somesome、oror、情态）与词汇等级（good/excellent）、预设、间接回答走向相反，40 个开源模型里 30 个在 somesome 或 oror 上显著转向字面，而上下文驱动的推断在 14 个模型上无一变差。
  4. 训练阶段的定位：沿 base →\rightarrow SFT →\rightarrow DPO →\rightarrow RL 的检查点链打分，字面默认值在 OLMo-3 出现在 thinking-SFT、在 Tülu-3 出现在 DPO，而同基座的 math RL-Zero 把它留在 78.2%。
  5. 一份完整的预注册账本：11 条假设、阈值、证伪条件先于主实验固定，附录 D.2 逐条报告结局，四条预注册补救方案全部未通过开发集闸门。

2 方法详解

读法、剂量与两个读出

每题是一个带触发词的句子加一个关于说话人心思的问题。运行例子里说话人说 “Some boys play”，问模型是否会推断出说话人相信 “Not all boys play”——选「是」是语用读法，选「否」是字面读法。

三个操纵维度分别是：

  • 题面（framing）：主要用「合适性」（felicity）问法，字面答案在这一问法下是一次语用失败；真/假问法作为「逻辑模式」对照，因为在那一问法下字面答案严格正确。
  • 剂量（dose）：不思考（Qwen3 用自带的空思考块开关，对模板之外零改动）、截断在 BB 个 token、自然停止。截断有两种收尾方式：追加 Qwen3 自己的停止短语，或只补闭合标签（前者提到「时间有限」，后者用来排除时间压力线索）。
  • 读出（readout）：Rmk=1∣I∣∑i∈IrimkR_{mk}=\frac{1}{|I|}\sum_{i\in I}r_{imk} 是承诺性答案里取语用读法的占比，思考效应是 ΔR=R\textscnat−R\textscoff\Delta R=R_{\textsc{nat}}-R_{\textsc{off}}；第二个读出不做答案解析，直接在轨迹后面强行接答案前缀比较两选项的对数几率。

轨迹前缀探针

把每条自然轨迹在前 tt 个 token 处剪断（t∈{0,32,…,2048}t\in\{0,32,\ldots,2048\}），闭合后读 RR 与 LL。论文明确声明这是对轨迹的一次干预，不是对内部解读的读取：

“it is an intervention on the trace, not a readout of a hidden interpretation.”（§3 ④Trace）

单条轨迹被打上「先接受后取消」的标签，条件是任意一个被采样的早期前缀给出语用答案且终局答案是字面的；「全程字面」则是没有任何前缀给出语用答案。探针两端都做了锚定：空前缀复现无思考读法（Qwen3-8B 的 somesome 上 35.8% 对 38.8%）。

关键创新点

把思考当剂量而不是当开关，是这篇论文最有价值的动作。已有的三条相关证据——ImplicatureX 里 Qwen3 打开思考后标量含意识别下降、提示式思维链「鼓励字面解读」、更多推理让心智理论准确率下降——都只在固定设置上比一次准确率。固定权重后，思考长度成为一个可扫的自变量，读法成为因变量，于是「换读法」和「丢能力」第一次能被分开。

第二个创新是把「读法」做成了两个互为备份的量：一个依赖答案解析（有 yes-bias 风险），一个只依赖答案位置的对数几率（绕开解析失败的风险）。这个双读出设计是全文里最该被照抄的部分。

与基线方法的区别

维度既有做法本文
自变量思考开 / 关，或单一预算log⁡2(B+1)\log_2(B+1) 上的剂量曲线 + 长度分层
因变量单一答案的准确率被选中的读法 RR + 答案位置对数几率 LL
现象标量含意一个口袋逻辑词 / 词汇等级 / 预设 / 间接回答四路分头记账
机制无轨迹前缀干预 + 检查点链定位
统计单次运行3 个解码种子 + 按题聚类的配对 bootstrap + 预注册阈值

3 实验结果

主表：逻辑词塌向字面，其余反向

表 1（核心题集，每词 26–33 题，3 种子）里，Qwen3-8B 的 somesome 读法变化 −28.2-28.2 pp（95% CI −41.0-41.0 到 −16.7-16.7）、oror 为 −36.4-36.4 pp；Qwen3-32B 是 −51.3-51.3 与 −46.5-46.5 pp；gpt-oss-20b 高低 effort 之间是 −30.8-30.8 与 −24.7-24.7 pp；GPT-5 在 somesome 上 −20.6-20.6 pp、oror 上 −18.8-18.8 pp。同一张表的其余几列走向相反：8B 及以上的 Qwen3 词汇等级略微更语用（8B +5.5+5.5、32B +4.0+4.0 pp），预设准确率 8B 上 +22.2+22.2 pp，Fig-QA +10.7+10.7 pp、PUB 六个任务 +10.1+10.1 pp，Circa +17.5+17.5 pp、NOPE +9.9+9.9 pp，14 个模型在这两个上下文驱动集上无一变差。

40 个开源模型的计数是：30 个在 somesome 或 oror 上显著转向字面并通过格式与极性检查，4 个反向，1 个只在 Yes/No 格式下动，5 个无显著变化。完整留出集（每触发词 300 题）上 48 个 somesome/oror 位移里 47 个在家族内 Holm 校正后存活。

训练阶段：字面默认值是后训练装进去的

OLMo-3-Think 的 somesome 默认读法：base 75.6% →\rightarrow Think-SFT 39.7% →\rightarrow DPO 53.8% →\rightarrow RL 终局 32.1%；同期「思考的代价」从偏好阶段的 −32.1-32.1 pp 缩到终局的 −2.6-2.6 pp。Tülu-3 的转折落在 DPO（46.2% →\rightarrow 14.1%），随后的 RLVR 把它留在原地。同基座的 math RL-Zero 五个奖励域终局都把默认读法留在 66.0%–94.9% 区间，R1-Distill-Qwen-7B 反而从 base 的 41.0% 升到 85.9%。

我的对账：同一个模型、同一个词，四个数字差 3.8 倍

把「Qwen3-8B 的 somesome」在所有表里抄出来，会得到四个数：

出处题集格式ΔR\Delta R（pp）
表 14IMPPRES scalar，留出半集Yes/No−9.9-9.9
表 1 / 表 12核心题集，26–33 题Yes/No−28.2-28.2
表 9完整留出集，300 题Yes/No−37.7-37.7
表 9完整留出集，300 题三选一−34.0-34.0

37.7/9.9=3.837.7/9.9=3.8 倍。这组数字不是矛盾的，它们来自不同题集与不同问法，但摘要与贡献清单引用的是其中偏大的那一档。换一个问法，效应量就换一个量级，这一条在后文会反复出现。

4 个人分析

亮点

协议本身值得照抄。固定权重、单变量剂量、双读出、两端锚定的轨迹探针，四件事合起来把「读法」这个一向被认为无法测量的对象变成了可扫的曲线。附录 D 的预注册账本尤其少见：11 条假设逐条给结局，四条预注册补救方案全部未过开发集闸门也照写，开放答案编码的 κ\kappa 门槛未达标就降级为描述性结果，两名录入者之间的 κ\kappa 只有 0.18 也直接报出来。这种自我审计的强度在近期的语用学论文里不多见。

GCI 与 PCI 的分离（H2 是唯一判为 supported 的假设）是扎实的：Fig-QA 与 PUB 在 4B 到 32B 的每一个 Qwen3 尺寸上都涨，Circa 与 NOPE 在 14 个模型上无一变差。训练阶段的定位也有信息量：字面默认值不是 RLVR 装进去的（H3 判为 mixed），在 OLMo-3 是 thinking-SFT、在 Tülu-3 是 DPO，而同基座的 math RL-Zero 完全不动它。

局限性：七条可以量化的质疑

（一）新鲜题上几乎没有效应，效应全在 2020 年的那份公开题集里。 论文为本研究新写的 Bott–Noveck 式范畴句（每个范畴三元组六种句式，两名 Claude 系列打分员加一名 Qwen3-32B 协同打分员逐题筛过）只在表 14 露面，三元判断上的变化是 4B −2.5-2.5 pp、8B −2.5-2.5 pp、14B −2.5-2.5 pp，基线本身只有 2.5%–5.0%。二值判断下 Qwen3-8B 在不思考时就有 96.7% 的字面率，而人类成年人在同类任务上的拒绝率是 54%–100%。在这批最贴近人类心理语言学文献的题上，模型不开思考就已经贴在字面天花板上，能取消的含意所剩无几；−28.2-28.2 pp 这个头条数字来自 IMPPRES 及其改写题。论文自己在方法里写了公开题集可能已被思考模型见过，所以头条 GCI 数字应当报在新鲜题上；实际执行时头条列用的是 IMPPRES 家族。

（二）预注册的闸门实际没过，而摘要写得像过了。 表 13 的结局栏：H1 努力账户 not supported；H1b 能力交叉 not supported；H1 默认-取消 partly supported，理由写得很清楚——

“Holds for some/or per family; the pre-registered IMPPRES aggregate at 14B is flat (0.5 pp), so the aggregate gate criterion failed”（表 13 H1）

H2c 没跑；H3 mixed（预测 RLVR，实际是 DPO / thinking-SFT）；H4 负载 not supported；H5 人类排序没跑；H6 部分达成但低于 50% 门槛（意图种子只把 Qwen3-8B 的 somesome 从 0.0% 拉回 12.8%，无思考是 29.5%，恢复率 43.4%）；H7 交叉成立但标记顺序不成立——字面标记（technically、strictly speaking）只出现在 20.6% 的发生翻转的轨迹里，在没翻转的轨迹里出现得更频繁（39.1%）。十一条假设里只有一条 supported。摘要那句「thinking makes models read logical words as logic」坐在这个账本顶端，读起来比账本本身硬。

（三）截断预算的符号在 512 与 1024 之间翻转，这直接违反 H1 的判据。 H1 写的是方向要成立，需要「the same sign under capped and length-stratified budgets」。Qwen3-8B 的截断序列是：B=128B=128 时 +37.2+37.2 pp、B=512B=512 时 +5.1+5.1 pp、B=1024B=1024 时 −21.8-21.8 pp、自然停止 −28.2-28.2 pp。换成绝对读法（无思考约 29.5%，表 11）：RR 从 29.5% 升到 128 token 处的 66.7%，再一路降到 1024 处的 7.7% 与终局的 1.3%。这是一条倒 U 曲线，而两个竞争账户都不预测倒 U：努力账户预测单调上升，默认-取消账户预测单调下降。论文用轨迹叙事（先接受后取消）解释了它，但剂量曲线是对同一件事的第二次独立测量，倒 U 这件事没有进任何一条预注册假设的预测集。摘要的「thinking makes models read logical words as logic」在 128–512 token 区间是反的。

（四）闭源模型里支持它的只有 1 个，反向显著的比它多。 表 8 的 7 个闭源模型在 somesome 上的变化：GPT-5 −20.6\*-20.6^\*、GPT-5.4 +2.5+2.5、o4-mini −1.2-1.2、Gemini 2.5 Flash −3.0-3.0、Gemini 2.5 Pro −1.3-1.3、Claude Sonnet 4.6 +21.2\*+21.2^\*、Claude Opus 4.8 +16.7\*+16.7^\*（* 表示按题聚类的 95% CI 不含 0）。显著变字面 1 个、显著变语用 2 个、不显著 4 个；通过代理访问的开源权重 DeepSeek-V4 也在两个版本上显著变语用（Pro +8.9\*+8.9^\*、Flash +16.9\*+16.9^\*）。摘要写「in GPT-5」是准确的，也是选择性的：同一张表里最新的一代 GPT 型号（GPT-5.4）在 somesome 上的点估计是正的。oror 那一列更支持论文（4 个为负、3 个显著），两列的方向并不一致。

（五）「先接受后取消」的 67.4% 是 OR 规则撑起来的。 标签定义是「任意一个被采样的早期前缀给出语用答案」（最多 8 个前缀）。若把 8 次抽取按每前缀概率 pp 近似为独立，67.4% 对应 p≈13.1%p\approx13.1\%；而锚定的单前缀值（t=0t=0）是 35.8%。终局字面率是 98.9%（末位语用 1.1%），所以「随后取消」这一段贡献的乘数只有 0.989——真正驱动这个 67.4% 的是「8 个前缀里有 1 个」这半句，不是「轨迹内部发生过一次翻转」。按单前缀算，同一件事大约是 35.8%×0.989≈35.4%35.8\%\times0.989\approx35.4\%。再看存活率：Qwen3.5-9B 在 somesome 上 1,163 条轨迹因某个前缀无有效答案被丢弃、637 条存活，R1-Distill-Llama-8B 在短截断下有 39%–54% 的答案无效而不入图，这条轨迹层面的主张实际只由「轨迹近乎完整」的那批模型承担。

（六）补救方案的「不损失字面准确率」是按构造成立的。 表 4 里 Qwen3-8B 的 felicity 从 1.2% 提到 20.5%，两模型合并增益 +1.4+1.4 pp（95% CI 1.2 到 1.6）。论文明写：

“literal accuracy is unchanged because routing leaves the literal-gold strata untouched; … by construction the routing leaves those items untouched”（§5）

字面准确率不变，是因为那些题根本不进路由。于是「恢复含意又没伤字面」这条安全性主张不是测出来的，是设计保证的——它恰恰在最需要被检验的地方（一个字面读法才正确、但被误判为语用的句子）从未被检验。felicity 那一列从 1.2% 到 20.5% 是真实的进步，剩下 79.5% 仍然丢着。+1.4+1.4 pp 的置信区间只有 0.4 pp 宽，而路由的权重 w=1w=1 与阈值是在两轮探索之后在开发题上选定的，这个宽度容不下选择本身的不确定性。

（七）尺寸与配方在 Qwen3 阶梯上是混杂的，两对同配方尺寸对互相矛盾。 论文自己承认 0.6B–14B 是强到弱蒸馏、32B 与 235B 走完整四阶段流水线，于是用 OLMo-3-Think 7B/32B 与 gpt-oss 20b/120b 做同配方对照。这两对给出的图景不一致：OLMo-3-7B 的 somesome 是 +2.6+2.6 pp（不显著）、32B 是 −11.5\*-11.5^\*，但 32B 的 IMPPRES 全量是 +19.0\*+19.0^\*；gpt-oss 从 20b 的 −30.8\*-30.8^\* 缩到 120b 的 −6.4-6.4（不显著）。预算与类别的交互项也随尺寸单调变小（4B −0.067-0.067、8B −0.063-0.063、14B −0.049-0.049、32B −0.037-0.037，32B 的 p=.230p=.230）。头条量级最大的那一格（Qwen3-32B 的 −51.3-51.3 pp）恰好落在混杂的那一档。

还有一条值得单独拎出来：唯一会真正使用说话者知识的模型是 gpt-oss-120b（低 effort 下全知与部分知的差距 84.0 pp），而高 effort 把它压到 62.5 pp；Qwen3 与 OLMo 上的知识敏感度约为 0（Qwen3-32B 的差距只有 4.2 pp）。在这篇论文唯一一处「真语用能力」的测量上，思考的作用是把它削掉。

对大模型领域的影响

评测这一侧的提醒最直接：两种读法都被句子许可，单答案准确率分不清「换读法」与「丢能力」。论文的落点也应被接受——

“Evaluations of reasoning models should measure how they interpret, not only how accurate they are.”（§7 Conclusion）

训练这一侧的提醒更实用：字面默认值是后训练某一阶段装进去的（OLMo-3 的 thinking-SFT、Tülu-3 的 DPO），装进去之后思考的边际代价只剩 −2.6-2.6 pp。对把思考模式默认打开的对话产品来说，关掉思考并不能把语用读法找回来——默认值本身已经从 base 的 75.6% 掉到了终局的 32.1%。

5 实践启示

可以借鉴的技术

  1. 固定权重的剂量协议。凡「开/关某个推理期旋钮」的论文，都该把旋钮扫成一条曲线再下结论。本文的倒 U 就是扫出来的：只测开与关，会得到一个稳定但方向错误的结论。
  2. 双读出互校。RR 依赖答案解析（受 yes-bias 威胁），LL 只依赖答案位置的对数几率（绕开解析）。两个量一起报，可以分辨「模型改了主意」与「模型改了答题习惯」。本文的两处不一致（Qwen3.5 词汇等级在采样答案里早期跳升 41.7%–44.1%，而 LL 停在 −2.13-2.13 到 −1.17-1.17 的字面侧）正是靠这个设计抓出来的。
  3. 把「读法」做成一等公民指标。任何存在多个被许可解读的任务——含意、指代、指令遵循里的「照字面还是照意图」、安全分类里的「按哪套定义」——都可以照抄「选了哪一种解读」这个因变量。
  4. 预注册 + 逐条报结局。十一条假设只中一条也全数公开，四条预注册补救方案全败也照写。这套账本比论文的任何单个数字都更值得学。
  5. 轨迹前缀干预当作定位工具。把「哪个阶段改变了行为」从检查点链上读出来，比在终局模型上做消融便宜得多，也更容易指向可改的那一环。

潜在应用场景

  • 对话助手的思考默认值。论文给出的部署建议是：默认开启思考的会话产品，应当评测解读方式而不只是准确率。对客服、医疗咨询、法律问答这类「用户说的是 Some tests failed」句式高频的场景，这一条的成本很低。
  • 后训练配方的审计点。字面默认值在 thinking-SFT 与 DPO 阶段被装上，而 RL-Zero 不动它，想保住语用读法的团队应当在这两个阶段加监控项，而不是等到 RL 之后再补救。
  • 语用评测集的构建。本文新写的范畴句带三名打分员筛查与 24 个说话者知识场景的盲审，外加德语与中文机器翻译切片（并明确标注未经人工核验），「新鲜题 + 公开题做复现」这套双轨结构可以直接复用。
  • 推理预算的自适应调度。§5 的路由思路——按题面模板决定这一题用 128 token 处的答案还是自然终局的答案——是一个便宜的推理期开关，尽管它的安全性主张目前还是构造性的。

参考文献

  1. H. P. Grice. “Logic and Conversation.” In Syntax and Semantics, Vol. 3, 1975.（广义含意与特殊含意的来源）
  2. L. Bott, I. A. Noveck. “Some Utterances Are Underinformative: The Onset and Time Course of Scalar Inferences.” Journal of Memory and Language, 2004.（Bott–Noveck 范式）
  3. S. C. Levinson. Presumptive Meanings: The Theory of Generalized Conversational Implicature. MIT Press, 2000.（默认-取消账户）
  4. D. Sperber, D. Wilson. Relevance: Communication and Cognition. Blackwell, 1986.（努力账户）
  5. A. Noveck. “When Children Are More Logical Than Adults: Experimental Investigations of Scalar Implicatures.” Cognition, 2001.（发展视角）
  6. P. Jeretic, A. Warstadt, S. Bhooshan, A. Williams. “Are Natural Language Inference Models IMPPRESsive? Learning Implicature and Presupposition.” ACL 2020.（IMPPRES，本文 somesome/oror/情态题的来源）
  7. M. Spinoso-Di Piano, et al. “ImplicatureX.” 2026.（本文复现的 prior-work 基线：Qwen3-8B 打开思考后标量含意识别下降）
  8. J. Park, et al. 2024.（提示式思维链「鼓励字面解读」）
  9. L. Ruis, et al. “Large Language Models Are Not Robust Multiple Choice Selectors.” ICLR 2023.（LUDWIG）
  10. J. Hu, et al. “PragMega.” 2023.（特殊含意题集）
  11. B. van Tiel, et al. 2016; S. Gotzner, et al. 2018.（标量多样性题集与人类充实率）
  12. N. Goodman, A. Stuhlmüller. “Knowledge and Implicature: Modeling Language Understanding as Social Cognition.” TopiCS, 2013.（说话者知识操纵）
  13. Qwen Team. “Qwen3 Technical Report.” 2025.（混合思考模式与停止短语）
  14. OpenAI, et al. “gpt-oss Model Card.” 2025.（推理 effort 等级）
  15. OLMo Team, et al. “OLMo 3.” 2025; N. Lambert, et al. “Tülu 3.” 2024.（训练阶段检查点链）

相关精读