大模型前沿动态 · Vol.152

四个决策点被逐个重审：Clover-35B 扩散模型拿下 Agent 基准、百度 Multi-View MoE 修路由对齐、批式 LLM 评判 11–22% 决策翻转、OpenAI 安全响应改上下文触发

本期四条：DiffuSpace 把扩散语言模型推到 35B 并在六项 Agent 基准上全面领先同尺寸自回归；百度 ERNIE 团队测出 MoE 单路由与专家效用对齐仅 0.12 并用多路由加视图混合修复；一篇 arXiv 论文证明批量 LLM 评判的决策随分批方式翻转 11–22%；OpenAI 把安全策略改成跨对话上下文触发的事件驱动机制。

大模型 扩散语言模型 Clover DiffuSpace MoE 路由 百度 ERNIE LLM-as-judge 评测方法 OpenAI 安全 青少年保护 arXiv

四条线索各自动了一个长期被默认的「决策点」：DiffuSpace 把生成方式从逐 token 串行换成块扩散并拿下 Agent 基准，百度 ERNIE 团队把 MoE 的专家选择从单票改成多票，一篇 arXiv 论文量化了批量评判里每条判定受同批邻居左右的程度，OpenAI 把安全响应从静态政策表改成跨对话上下文触发。

1. Clover-35B-A3B：扩散语言模型第一次在 Agent 基准上压过同尺寸自回归

事件概述

10 月 29 日，源自港大 NLP 组的创业公司扩散智能（DiffuSpace）开源 Clover-35B-A3B-Preview，35B 总参数、3B 激活的 MoE 扩散语言模型，支持思考模式，Apache 协议，权重与代码在 Hugging Face、ModelScope、GitHub 三处下发，推理适配 SGLang 与 llama.cpp。这个团队的前身是 Dream 7B（累计 270 万次下载），路线脉络从 2022 年的 DiffuSeq 走到 2025 年 4 月的 Dream 7B，再到现在把规模拉到 35B 并把主战场挪到 Agent 任务。

技术解析

架构侧的核心是给块扩散重设计的双向 Gated DeltaNet：已生成的历史上下文压缩进 GDN 的递归状态，当前块内的 token 走细粒度双向 softmax 注意力；历史读出被当作独立的信息单元，与块内 token 一起参与同一次 softmax，由模型自己学何时依赖历史、何时依赖块内信息。配套还有可学习的块大小校准——块变大时补偿历史记忆被稀释的注意力——以及一条零初始化的右侧上下文卷积分支，从预训练的因果卷积行为出发学出左右两侧各自的特征。

分数分两层看。Agent 侧六项基准全部居被评模型之首：SWE-bench Verified 73.6、Terminal-Bench 2.1 51.7、τ³ Overall 65.3、BFCL-v4 67.9，超过同属扩散路线的 LLaDA2.2 flash 与 Mercury 2.5，也超过同尺寸自回归的 Qwen3.6-35B-A3B 与 Qwen3.5-35B-A3B；与同为 35B-A3B 的 MiniCPM-V 4.7 相比，Terminal-Bench 领先 15.7 分、SWE-bench 领先 28.0 分。通用侧 GPQA Diamond 83.8、MMLU-Pro 84.8、ZebraLogic 95.8。速度是扩散架构的看家项：GB300 上 BF16、batch 1 生成 680 tok/s；H200 上 515 tok/s，对照经 DFlash2 加速的同尺寸 Qwen 是 365 tok/s。量子位的实测给了交互延迟视角：WindTunnel 49 个网页 Agent 任务各尝试 3 次，Clover 中位执行 1.52 秒，Jev 加 Mercury 2.5 组合 3.21 秒，尝试成功率 98.6% 对 95.9%。端侧一条：INT4 量化后跑在 RTX 5070 Ti 的 16GB 显存里，MATH-500 生成 101.8 tok/s，对照的 MiniCPM 与 Qwen 是 48.5。

行业影响

扩散语言模型长期被卡在两处：工具调用格式不稳、在同一步骤上反复尝试。Clover 的 WebMCP 演示——开票、课程报名、金额汇总、状态查询、客户信息、发票信息六连任务——直接对着这两个痛点打，展示的改进恰恰是调用工具、读取反馈、继续执行的闭环。效率竞争的主战场正在换位：DFlash2 这类自回归加速方案（365 tok/s）被原生并行生成反超，说明再压串行解码的边际收益已经低于换生成方式本身。 Apache 协议加 16GB 端侧部署把尝试门槛压到单卡水平，端侧实时决策（「快思考」场景）是它比自回归更占便宜的生态位。要保留的怀疑也有两处：Preview 后缀之下官方自认长程任务稳定性待改进，73.6 的 SWE-bench 是官方口径，尚无第三方复测。

相关链接

2. 百度 Multi-View MoE：单路由与专家效用的对齐只有 0.12，多票制加视图混合修复

事件概述

arXiv 2610.40577（v1 提交于 2026 年 10 月 29 日，cs.CL 10 月 30 日批次），百度 ERNIE 团队（Zelin Zhao、Tianchi Ma、Junyuan Shang、Shuohuan Wang、Dianhai Yu）。论文从一个测量出发：把全部专家逐一评估，单路由器的评分排序与专家经验效用的排序之间，Spearman 相关全局只有 0.1245，中深层最弱——第 20 层低至 0.0625。

技术解析

这个弱对齐有一个结构性成因：没被选中的专家从该 token 拿不到任务损失梯度，坏的选择会自我强化。修复分两步。Multi-Router 用 R 个独立初始化的路由头，各自过 sigmoid 再求和、取 TopK；关键设计在于必须在 sigmoid 之后求和——logits 直接相加会坍缩成单一线性打分器（权重矩阵相加仍是一个矩阵）。训练后各路由头高度分化：top-8 专家集合的 Jaccard 平均 0.145，top-1 一致率仅 11.2%。Multi-View 更进一步：每个路由头配一个潜在视图投影，被选中专家的输入按跨路由器归一化的 sigmoid 分数混合多个视图，混合发生在 dispatch 之前——路由偏好既用来选人，也用来改造喂给专家的输入，且每个被选中专家只执行一次前向。成本账很干净：激活专家数、专家 FLOPs、all-to-all 通信量全部不变，参数开销合计约 0.19%。

结果在 24 层 10B-A1B、708B token 的训练上：九任务下游均值从 33.07 提到 34.25（+1.18 个百分点），BBH 涨幅最大（+5.60），Multi-Router 单独贡献 +0.60。对齐侧的改善与收益同源：全局 Spearman ρ 从 0.1245 升到 0.1346（相对 +8.1%），单路由最弱的第 20 层从 0.0625 升到 0.0986（相对 +57.7%）。两组对照实验撑住了因果链：在最后一层固定选择集与输出门、只打乱视图混合比例，NLL 上升 0.0134 nats/token（95% 置信区间 0.01256–0.01435），说明混合比例本身承载信息；R=3 相对 R=2 的增量（损失多降 0.6×10⁻³）小于 run-pair 噪声（±1.2×10⁻³），作者据此停在 R=2。

行业影响

「路由器是中性的分配器」这个默认假设被这篇工作拆掉了。0.12 量级的对齐意味着每个 MoE 层都在做大量无人监督的错误分配，而且没有梯度信号去纠错。修复方案的性价比是行业里少见的：0.19% 参数、零通信增量换 +1.18pp 均值，正在训大 MoE 的团队可以直接抄配置。读这类工作有一个判定法：看到任何 MoE 改进，先问它动的是选择（谁被激活）、计算（激活后怎么算）还是对齐监督（路由分数与效用怎么对上）——本文三件都做了，只有对齐监督那一层是根因治疗，前两件在没有对齐度量时都无从评估。

相关链接

3. 批量 LLM 评判的隐形成本：换个分批方式，11–22% 的判定翻转

事件概述

arXiv 2610.40241（v1 提交于 2026 年 10 月 29 日，cs.CL 10 月 30 日批次，Peng Xie、Amr Alanwar）。工程实践里为省成本，常让语言模型在一个 prompt 里批量给很多独立条目打分，这隐含一个假设：每条判定是可分的，不依赖同批的其他条目与自身位置。论文用实验把这个假设拆了。

技术解析

设计覆盖三个评判任务（社交媒体评论伤害分级、简答题判分、Yelp 星级）、五个 4–9B 开源模型（Qwen3-4B-Instruct-2507、Qwen3-8B、Gemma-4-E4B-it、Granite-3.3-8B、GLM-4-9B），外加四个 14–32B 模型，每个任务 2000 条数据随机重新分成 25 条一批。结果：伤害判定与判分任务上，仅换一批随机分组就翻转 11–22% 的决策（4–9B 组），14–32B 组为 5.9–14.6%；对照组里重命名条目字段、改写指令只动 4.2–8.4%，纯解码噪声 0.5–2.1%。星级这种简单任务只翻 2.9–3.9%。

翻转率被精确分解为邻居顺序（占潜在相异度的 0.42–0.69，最大分量）、槽位、成员主效应（0.11–0.22）与交互项。理论侧给了一条阈值模型下的规律：决策是潜在分数过阈值，翻转概率随上下文贡献方差的平方根增长——潜在方差占比 1% 对应约 4.5% 翻转，10% 对应 14.4%。对分数小的效应，在决策上是大的效应；这解释了 AUROC 悖论：批量与单条评判的 AUROC 只差 −0.033 到 +0.010（部分模型批量后还升了），排序能力没坏，逐条决策却在阈值附近大幅换边——只报告 AUROC 的评测完全看不见这笔成本。排列投票救不回来：排列只重抽槽位与顺序、保形成员，数学上收敛到条件期望后成员主效应原封不动；实测九次排列的多数投票仍留 52–60% 的翻转，成本是单次的九倍。十五条独立批次多数投票与单条评判的不一致率仍有 8.4–17.8%。作者给的工程解法是：模糊条目一条一个 prompt，靠共享前缀缓存回血——缓存读价系数低于 1/25 时隔离反而更便宜；Anthropic 与 OpenAI 的缓存读价 ≤0.1 但要求前缀 512–4096 token 起，自托管 vLLM 类方案近零成本。

行业影响

LLM-as-judge 已是偏好数据生产、基准评测、内容审核的地基，批量打分是省钱的默认操作，这篇论文给它挂上三条硬约束：报告批量评分时必须附与单条评分的一致率；排列投票是错误答案（消不掉成员效应且九倍成本）；用批量结果做个体级决策（封号、给分）在模糊任务上不可靠。与上期 OpenAI 四层失准监控里「L1 模型审查器读同窗口」的设计放在一起看是正面对撞——审查器在同一上下文窗口里逐条下判定，窗口内其他内容的干扰同样适用这套测量，而这笔成本在监控系统的账目里没有被计量过。

相关链接

4. OpenAI 安全响应装上上下文触发器：社区安全报告承诺与青少年新限流

事件概述

10 月 30 日，OpenAI 发布社区安全报告承诺与青少年新保护。硬数字有一枚：2026 年三季度向执法部门做了 200 多次移交。社区安全报告首版定在 2027 年初发布，覆盖 2026 年下半年，此后每半年一版，内容包含伤害如何显现的匿名案例、新缓解措施与配套数据。

技术解析

改动分三层。政策层：对既往大规模袭击的细节重构——武器装备与获取方式、伤害规模对比——收紧限制，不看提问者年龄与动机，即便信息在其他网站公开可得。触发层：今年 5 月上线的「预警信号摘要」机制被延伸为事件驱动——近期对话出现暴力征兆时，后续对话自动进入保守回答模式；系统预测用户未满 18 岁时，即使对话没有暴力迹象也套用更严限制。执行层：当对话显示有人沉迷于暴力或严重伤害他人的想法，ChatGPT 会自动终止聊天以打断模式，多次被终止的账号会被临时暂停。青少年侧的年龄预测系统升级为持续评估新信号，误判进青少年体验的用户经年龄验证合作方 Persona 走快速通道移出；家长控制的安全告警覆盖自残与进食障碍审查、7 月起增加暴力违规封号通知，本轮新增因反复讨论暴力被暂停账号的家长通知。

行业影响

这套机制的架构含义是把安全策略从静态政策表改成事件驱动的状态机：跨对话摘要充当长期记忆，年龄预测充当分流器，自动终止充当执行器。第 3 条论文的测量对它构成一个直接的技术质询——系统内部大量依赖模型判定（是否未成年、是否有暴力征兆、何时收紧），这些判定同样受上下文组成影响，误判成年用户会被限流（有申诉通道兜底），漏判未成年用户则拿到完整权限，两类错误的代价不对称，而年龄预测的错误率不对外公开。200 次移交这个数字缺少分母（多少次预警被触发），透明度承诺全部押在半年后的报告上，可核查的第一批硬数据要等到 2027 年初。

相关链接