大模型前沿动态 · Vol.144

LongZero 让模型自己造长上下文考题、OnQ 把教师监督搬到学生自己的前缀、微软用数据库终态判 RL 奖励、ECHO 指出排序指标看不见的表征塌陷

清华 LongZero 不依赖外部语料与教师模型，让被训练的模型自造长上下文 RL 数据，五基准均分反超两条外部数据基线；OnQ 在 Qwen3 的 2 bit 档上把九基准均分拉高 10.26 分；微软与 Hugging Face 用数据库终态可执行判定作奖励，50 步 GRPO 让 Qwen3.8-27B 的「20 次全通过」任务从 38 个升到 107 个；ECHO 证明偏好优化里排序指标全涨的同时，隐藏表征的共模偏移已在挖词表深井。

大模型 长上下文 强化学习 LongZero 数据合成 低比特量化 OnQ 量化感知训练 微软 ThinkingBox 智能体 偏好优化 DPO 表征塌陷 GRPO

训练信号从哪来，今天被四路重写：长上下文 RL 的题目交给模型自己写、低比特模型的教师监督搬到学生自己的前缀上、智能体的奖励由数据库终态直接判定、而常用排序指标被证明看不见表征层正在积累的塌陷。

LongZero：让模型自己写长上下文考题，不碰外部语料也不用教师模型

事件概述：10 月 21 日，清华大学（THBI Lab、清华-博世联合机器学习中心）的万振南与陈键飞在 arXiv 发布 LongZero（arXiv:2610.30132）。这套流程不需要任何外部语料、人工标注或更强的教师模型，只让被训练的那个模型自己构造长上下文题目，再用 GRPO 训练自己。论文在 Qwen3-4B-Thinking-2507 与 Qwen3-8B（Thinking）两个基座上做验证，对比的两个基线分别是基于外部语料合成的 Enhanced HotpotQA（来自 LoongRL）和由更大规模教师模型出题的 Teacher-synthesized QA。

技术解析：已有的长上下文 RL 数据管线都是从外部资源出发——把短多跳问答加干扰文档、让模型读真实文档出题、用知识图谱拼搜索轨迹，或者直接调更强的教师模型。这些路子有共同的麻烦：真实事实会让模型绕开给定上下文直接靠参数知识作答，公开文本还可能和评测集重叠。LongZero 把顺序倒过来，采用自顶向下生成：先让策略模型写一份紧凑的”世界规格”（严格 JSON），固定实体、事实链、干扰事实、问题与答案；再规划每份文档承载哪些事实，把支撑事实摊到不同文档、把干扰事实放到它模仿的事实之外；最后才把规格展开成 M 篇不同体裁的长文档，打乱顺序组成上下文。展开完还有一道保真闸门——答案或等价别名必须以字面形式出现在成文中，否则题目丢弃。

检索数据同样是自造的：沿用 MRCR 的格式，只借用公开 MRCR 数据集里的一小批格式词与普通名词，让模型对”写一个关于{名词}的{体裁}“这类请求反复作答形成候选池，程序再从中挑 N 条 needle 随机插入其他请求的回答之间，问第 k 条并加上随机前缀。因为第 k 条由程序决定，参考答案在构造上就是正确的，解题难点变成区分模型自己那些近似重复的输出并跟踪顺序。

筛选环节决定了题池的难度分布。论文为凑够 2,560 道”不稳定”推理题，4B 模型尝试了约 3.8K 个世界、8B 约 5.4K 个，最终 69.3%（4B）与 68.3%（8B）的题目总是答对、13.0%（4B）与 18.6%（8B）总是答错，只留下答得时好时坏的那 17.7% 与 13.1%。最终训练集为 2,304 道推理题加 1,152 段检索对话，推理样本 token 中位数 19.4K（4B）/ 14.6K（8B），检索样本 11.4K / 11.1K。

结果上，4B 基座五基准均分从 54.68 升到 57.42，超过 Enhanced HotpotQA 的 56.57 与教师合成的 55.99；8B 从 44.63 升到 45.66，同样超过 45.03 与 44.83。拆分看，4B 在 FRAMES 上从 51.27 到 55.76、LongReason 从 79.66 到 81.30，涨幅集中在需要跨文档找证据的项。消融显示两类数据互补：只用推理数据是 55.38，只用检索数据反而掉到 53.85，2:1 混合才是 57.42，且在五个基准中的四个上最优。

行业影响：这条路线把长上下文 RL 的数据成本从”随教师规模增长”改成”随策略规模增长”。论文特意点出教师合成基线需要 397B 参数模型来写题、答题、校验，LongZero 一次更大的模型调用都不需要。对头部厂商之外、拿不到更强教师模型的团队来说，这是把长上下文能力变成自举问题的能力。不过数字要成对读：8B 的 LBv2 从 32.11 微降到 32.01，4B 的 AA-LCR 39.50 还低于 Enhanced HotpotQA 的 41.50，LongZero 赢在均分而非每个基准。训练上下文最长只到数万 token，LBv2 与 AA-LCR 的输入要长好几倍，提升来自技能迁移而非长度覆盖，这点论文自己写明了。

相关链接：

OnQ：把教师监督搬到学生自己的前缀上，2 bit 推理能力救回来 10 分

事件概述：10 月 21 日的另一篇 arXiv 论文（arXiv:2610.29378）提出 OnQ，一套面向低比特大模型的推理能力恢复流程。作者指出量化感知训练（QAT）的通行配方有个结构性缺陷：用全精度教师在固定回答序列上监督量化学生，训出来的低比特模型在长程推理上还是不行，往往在全精度模型够用的 token 预算内收不了尾。OnQ 在 Qwen3-1.7B、4B、8B 的 2 bit 与 3 bit 权重档上做验证，九基准均分全面超过现有 QAT 基线。

技术解析：论文拆出两个原因。第一，固定回答监督留下训练前缀与学生实际生成前缀之间的错配，回答越长，轨迹发散越大。第二，在学生自己的前缀上，学生对某些候选 token 欠估计、对另一些过估计，这种分布错位在高熵前缀上更频繁。OnQ 的解法是把两块拼起来：先做逐块校准，再让量化学生自己生成回答，由全精度教师在学生自己的前缀上给监督（on-policy distillation）；监督目标换成候选级的 Dynamic KL，按每个候选的师生概率比给前向 KL 与反向 KL 加权，分别纠正欠预测和过预测。

Table 1 的九基准均分（GSM8K、MATH-500、AIME 24–26、HumanEval+、MBPP+、LiveCodeBench、MMLU-Redux、GPQA-Diamond、IFEval）显示，8B 的 W2 档上 OnQ 拿到 70.68，最强基线 BitDistiller 是 60.42，差 10.26 分；4B 的 W2 档 OnQ 64.95 对 BitDistiller 49.49，差 15.46 分；1.7B 的 W2 档 OnQ 45.24 对 ReasoningQAT 40.82。3 bit 档已经贴近全精度：8B 的 OnQ 79.19，全精度 81.82，差 2.63 分。长程推理题是收益最大的地方，8B 的 W2 档 AIME 24–26 从 BitDistiller 的 22.59 提到 44.07。

截断率的变化解释了收益的一部分。8B 的 W2 档上，OnQ 的截断率是 4.39%，ReasoningQAT 11.56%，BitDistiller 16.51%，EfficientQAT 26.57%。恢复阶段拆开看更直观：8B 的 W2 档 RTN 只有 2.08 分，加校准到 50.10，再上 OnQ 才到 70.68。作为参照，GPTQ 在 W2 档基本失效，8B 均分 2.88。

行业影响：端侧与低成本部署一直在压权重位宽，2 bit 是今年各家都在够的档位。OnQ 说明这件事的瓶颈不只是舍入误差，还有监督序列与生成分布之间的错配——把蒸馏改到学生自己的轨迹上，比继续调校准器更有效。这对已经有全精度教师、想把它压到极限位宽的团队是即插即用的改进。校准、蒸馏、动态 KL 三段各自能单独读数，也方便工程上按预算取舍。需要注意的是论文只在 Qwen3 三个尺寸上验证，且 2 bit 档与全精度的绝对差距仍在，AIME 上 44.07 对 71.85 的落差不会因为方法换掉而消失。

相关链接：

微软把数据库终态判成 RL 奖励：50 步 GRPO 让可信任务数翻 2.8 倍

事件概述：微软与 Hugging Face 在 Hugging Face 博客发布联合文章《Turning Database Grading into RL Rewards: Post-Training Agents with ThinkingBox》，配套仓库 microsoft/thinkingbox-training 与论文 arXiv:2608.19741。核心主张是智能体后训练的奖励不该看轨迹，该看任务结束时数据库真实落在什么状态。团队用这套奖励对 Qwen3.8-27B 做了 50 步全参数 GRPO，在 507 个任务的 ThinkingBox-Bench 上把”20 次尝试全通过”的任务数从 38 提到 107。

技术解析：ThinkingBox-Bench 覆盖 Retail、Auto insurance、Travel、Neobank、Consulting 五个域，每个任务起一个真实后端，通过 MCP 工具给智能体，配一个带私有上下文的模拟 LLM 用户，结束时对终态跑确定性检查。奖励就是这条可执行判定的 1 或 0：产生正确终态的任何轨迹都通过，多余的副作用一律失败。少数无法从数据库状态判定的窄要求，交给配置的 LLM judge（GPT-5 Chat）回答一个二元 rubric 问题。

任务筛选是这套流程的关键。训练前先用基座模型对每个候选任务探测 n 次，用 Jeffreys 后验估计成功率（k 次成功 / n 次探测 → Beta(k+½, n−k+½)），按 0.08、0.40、0.60、0.90 四个边界分五桶，丢掉成功率低于 0.08 和高于 0.90 的两桶。理由是 GRPO 组内中心化之后，全成功组 [1,1,1,1,1,1,1,1] 和全失败组 [0,0,0,0,0,0,0,0] 都没有优势差，只有混合组才提供对比信号。最终为 Qwen3.8-27B 筛出 187 个训练任务，论文明确说明基准任务不在训练池内，基准相对训练池是分布外的。

参考运行的配置是 24 张 H100（3 节点 × 8）、token-mean GRPO、50 步、AdamW 学习率 1e-6、每次更新 18 组 × 8 rollout = 144 个 episode，框架为打过补丁的 Verl 0.9.0。结果在三个指标上不同向：pass@1 从 51.70% 升到 60.78%（+9.08 分），Observed 20/20 从 38 个（7.50%）升到 107 个（21.10%），而 pass@20 从 453 个微降到 446 个（−7）。成本侧的变化更大：507×20 的整体开销从 925.80 美元降到 855.58 美元，每次成功尝试 0.177 美元降到 0.139 美元，摊到”可依赖任务”上从 24.36 美元降到 8.00 美元，降 67.2%。论文也写明这些美元数是用于比较的服务指数，不是发票，且不含训练与探测开销。

行业影响：平均成功率和可重复性会把模型排出不同的名次，这张表把这件事摆得很清楚。Claude Opus 5.5 与 Claude Opus 5 的 pass@1 相差 0.66 分，Observed 20/20 都是 241 个，一模一样；GPT-5.6 Sol 的 pass@1（61.91%）高于 RL 微调后的 Qwen3.8-27B（60.78%），但 20/20 只有 82 个，少于后者的 107；Kimi-K3 的 pass@20 有 93.89%，20/20 却只有 68 个。企业采购看的是”每次都对”，不是”至少对过一次”，这个指标一旦进采购标准，模型排序会重排。方法侧的迁移价值在于奖励构造：只要业务系统本来就有可对账的终态（订单表、工单表、账余额），就能不依赖偏好标注直接做 RL。分域结果提醒这类训练不是全面变好——pass@20 在 neobank 和 consulting 上升，在 retail、travel、auto insurance 下降，auto insurance 降了 7.0 分，概率质量被推向可重复的路径，一部分低概率解法随之消失。

相关链接：

ECHO：排序指标全涨的表象下，隐藏表征正在挖一个词表深井

事件概述：10 月 21 日，东京大学与 TIER IV、华为的联合团队在 arXiv 发布 ECHO（arXiv:2610.29410），研究偏好优化里一个反直觉的失效模式：排序指标可以一路向好，模型内部却在积累一个相对损失几乎看不见的共享表征偏移，直到生成彻底塌陷。论文用 17 条基座模型谱系、17 次 UltraFeedback 运行和多组干预实验把这条因果链钉住。

技术解析：作者把这个失效归因于”共模偏移”（common-mode offset）——最终隐藏状态上出现的一个共享方向漂移，跨 token 位置、跨 prompt、跨 chosen 与 rejected 回答都存在。因为 chosen 和 rejected 的表征被它一起推着走，相对排序损失对它的累积几乎没有反应。偏移继续增长，投影到输出层就形成一个”词表深井”（vocabulary well），把某个 token 的概率抬到压过其他候选，解码被它主导，生成塌陷。井不是一上来就有的：偏移带来的增益要先超过基座模型原本的 top token 间隔（base gap），井才成形。

因果性靠三组干预验证。单独取出这个偏移就能重建词表深井；把它注入未训练的基座模型会重现塌陷，而范数匹配的随机方向不会；在主实验设置下，把这一公共分量从损失里屏蔽掉，井就不出现。范围上，论文研究的 per-token 排序损失在 17 条基座模型谱系中的 14 条上复现了同样的塌陷，全参数微调也照样塌。

偏移不是塌陷的副产品。教科书式的 DPO 与 SimPO 运行中，即使没有形成井，偏移已经在那里；给到三倍基础预算，textbook DPO 仍只让它与任一词表方向保持弱对齐。从基座按这个预算训练，全参数 SimPO 却把 Llama-2 和 Llama-3.1 双双推进塌陷；在官方 SimPO 配方下，从公开 SFT checkpoint 出发也会长出不伴生井的同类偏移。外部评测那组数据更直接：17 次 UltraFeedback 运行中，某次运行在留出回答上排得越好，两个公开奖励模型反而越不偏好它的采样（相对基座模型）。追踪 ‖b̄‖、它的幅度和 W·b̄ 的领先分量，能在塌陷前最多 1,200 步给出预警，而这时留出的排序指标早已饱和。

行业影响：DPO、SimPO 这类相对损失是后训练的默认件，留出的排序得分是业内通用的验收口径。ECHO 说明这个口径会把一类致命失效判成”训练良好”——排序全涨、生成已废，而 reward model 打分与外部偏好还都在报告里互相矛盾。工程上的可取之处是它给出了一个便宜的体检项：训练时顺手记录最终隐藏状态的共享漂移范数，就能在塌陷前上千步报警，不需要额外跑评测。对做多轮偏好优化、不断刷新偏好数据的流水线，这个信号的性价比尤其高。局限也得说清：论文只从已完成的训练里读这个信号，尚未做成在线停止准则，结论也限定在它研究的 per-token 排序损失族内。

相关链接：