百度开源280B文心5.5 Flash Base、Gemini Omni 1.2 Flash降价三成拉长到15秒、SuperCLUE十一月榜Kimi开源第一、arXiv两天五篇on-policy蒸馏算总账
百度把280B-A14B基座按同尺寸SOTA姿态开源并把三篇论文焊进架构;Google视频生成原生拉到15秒每秒降价30%;SuperCLUE十一月榜总分第一Gemini、开源第一Kimi、编程开源冠军DeepSeek;arXiv两天五篇OPD论文给出50倍FLOPs的账本边界。
百度把 280B 参数的基座模型按同尺寸 SOTA 的姿态开源,Google 把视频生成拉长到 15 秒并降价三成,SuperCLUE 十一月榜把「总分第一」拆成五个分类第一,arXiv 两天五篇论文给 on-policy 蒸馏算总账——四件事在回答同一个问题:省下来的成本,记在哪本账上。
一、百度开源文心 5.5 Flash Base:把三篇论文焊进 280B 基座
事件概述:11 月 5 日,百度开源基座模型文心 5.5 Flash Base(ERNIE 5.5 Flash Base),权重与 fp8 版本上传 Hugging Face。模型为 MoE 架构,总参数 280B、每 token 激活 14B,用 33.5 万亿 token 从头预训练,训练上下文 128K,微调与推理阶段支持最长 100 万 token。官方称在知识、推理、数学、代码、多语言与长上下文等基准上取得同尺寸 SOTA,对标 DeepSeek-V4-Flash-Base(284B-A13B)、Hy3-preview-Base(295B-A21B)与 MiMo-V2.5-Base(310B-A15B)。
技术解析:这份模型卡最值得读的部分,是三项架构创新各自对应一篇已发表论文,等于把论文直接焊进了工业基座。注意力侧是 Latent-Gated Sparse Attention:43 层里 37 层用重度压缩注意力(HCA)负责压缩历史信息,6 层用 MLA 加稀疏注意力负责细粒度访问历史位置;低秩门控注意力复用已有低维表示做信息门控,门控投影参数减少 75%;虚拟头注意力(VHA)在推理时融合进注意力算子,几乎不增加开销。专家路由侧是 Multi-Router Latent MoE:42 个 MoE 层各有 512 个路由专家取 top-10,外加 1 个共享专家,由多个独立路由器共同打分——本栏 10 月 31 日写过百度 Multi-View MoE 论文,单一路由器的评分与专家实际效用的相关性只有 0.12,多票制就是修这个偏差,这次直接进了产品。训练目标侧的 ECHO 不再加 MTP 辅助模块,复用主干最后一层让模型自己学预测后续 token,单步训练就能当投机解码的草稿模型,多步外推质量优于辅助 MTP。基准数字按同一 pipeline、同一提示与 few-shot 设置测出:MMLU 93.3(DeepSeek-V4-Flash-Base 89.4)、MMLU-Pro 78.4(69.2)、GPQA 60.2(55.9)、LiveCodeBench 40.1(31.9)、HumanEval+ 82.3(69.5)。数据侧同样有账可查:代码语料带执行落地信号(commits、issues、requirement→PR 轨迹、CI 验证的修复),长上下文用 MRCR 式合成检索与多跳问答数据,训练基建是分布式 Muon 优化器加面向大 head dim 的 FlashMask-4 算子。
行业影响:国内开源竞争的层级在往上挪。此前各家开放的多是后训练完成的应用模型,这次百度放的是预训练刚结束的 Base 权重,把微调与定制空间留给下游,姿态更像 DeepSeek 系的打法。两个细节给这份「SOTA」留了脚注:一是全表并非全胜,HELMET-Rerank 56.2 输给 DeepSeek 的 60.0,FullStackBench 54.6 输给 Hy3-preview-Base 的 56.7,同尺寸第一的分项口径值得逐格看;二是许可证标注为 license:other 的自定义协议,不是 Apache/MIT 一类的宽许可,商用前要读条款。对做数据工程的团队,这张模型卡还有样本价值:它把「什么数据训什么能力」写得很直白——仓库级 agentic 能力来自 PR 全流程数据,长上下文能力来自带干扰项的合成检索,这正是各家基座团队下一步卷的地方。
相关链接:
二、Gemini Omni 1.2 Flash:视频生成原生拉到 15 秒,每秒降价三成
事件概述:11 月 5 日,Google DeepMind 发布 Gemini Omni 1.2 Flash,在 Gemini API 与 Gemini for business 两端全面开放,首次进入 Google Cloud 的企业级基础设施。视频生成长度从 1.1 的 10 秒提到原生 15 秒,可在 3 到 15 秒之间按秒指定;720p 定价降到每秒 0.07 美元,比上一代便宜 30%。
技术解析:这次的升级项集中在「不重新生成」。多轮对话式编辑覆盖完整 15 秒片段:换产品、换背景、改灯光天气、切画幅比例,都在原片段上改,角色表演、盔甲反光与镜头构图保持原样。参考遵循能力允许把人物图、产品图、风格图、最长 3 秒的动作片段与音频线索组合输入,模型保证人脸、服装、包装印刷与品牌色跨镜头一致——官方演示里一张模特照加三套服装的正反面图,直接生成 360 度转身与匹配剪辑的虚拟试穿序列。音频侧支持多角色分别条件化,唇形同步与喜剧节奏可同时保住;镜头运动支持一镜到底的 FPV 穿越与连续变焦,官方对比里 1.1 版做不到的海报级排版细节,1.2 能逐层搭建并锁到最后一帧。成本工作流是「低分辨率草稿、局部修改、最后一公里 upscale」:360p 或 720p 起稿,改到满意再升 1080p 或 4K,避免每次返工都付全额。产物带 SynthID 隐形水印,企业侧提供 Provisioned Throughput。
行业影响:这是本周第二笔「生成的账」。上期本栏写 OpenAI Images 2.6 把图像生成拆成快慢双档、6 秒出图,这次 Google 在视频侧给出结构相同的答案:降价、拉长、编辑不重算。15 秒是一个有意义的门槛——贴纸级 10 秒片段装不下一条完整叙事,15 秒正好是一个广告位或一段产品解说,按秒计价配上秒级指定时长,广告变体生产从「重拍」变成「改参数」。Adobe Firefly、Figma Weave、Google Vids、Google Ads 已接入,绑定生态的动作比单点模型能力更能决定收入。对国内厂商,压力点在编辑一致性:Seedance 2.5 有 30 秒长叙事,但「多轮修改不崩人设」这一项正在成为视频模型新的付费分水岭,谁的参考遵循先做到像素级,谁就拿到品牌客户的预算。
相关链接:
- https://blog.google/innovation-and-ai/technology/developers-tools/introducing-gemini-omni-1-2-flash/
- https://deepmind.google/discover/blog/
三、SuperCLUE 十一月榜:总分第一是 Gemini,开源第一是 Kimi,编程冠军另有其人
事件概述:11 月 5 日,SuperCLUE 发布 2026 年 11 月榜单,19 个模型入榜(12 个开源、7 个闭源)。总分榜第一 Gemini-4-Argon 73.62 分,第二 GPT-6.1-Sol 71.76 分,第三 Kimi-K3.1-Pro 61.46 分——Kimi 是总分最高的开源模型,在榜单的编号排名里位列第一。
技术解析:这张榜的看点不在总分在分类。五个分类的冠军分成两派:GPT-6.1-Sol 拿下智能体编程(69.23)与数理科学推理(76.32),Gemini-4-Argon 拿下幻觉控制(83.19)与超长上下文(95.63),精确指令跟随两家并列(68.97)。开源模型的分类冠军也各归其主:DeepSeek-V4.1-Flash-1017 以 65.38 分拿编程(追平 Gemini-4-Argon 的显示分,距 GPT 3.85 分),Darwin-180B-RSI-R3 以 73.68 分拿数理(全榜第二、仅次于 GPT 的 76.32),Kimi-K3.1-Pro 拿其余三类。几个交叉读法比名次更有信息量:精确指令跟随是闭源与开源差距最大的分类,68.97 对 44.83,差 24.14 分;Spark-X2.6 数理 68.42 与 GPT 只差 8 分,指令跟随却只有 12.07——单科强不迁移;GLM-5.3-Flash 的幻觉控制 48.89 反而高于总分更高的 GLM-5.3 的 43.61,模型命名与总分都不足以指导选型。读这张榜要先读口径:国际模型不参与编号排名是 SuperCLUE 的政策约定(排名列以短横线显示),Gemini 的「第一」按显示分排,Kimi 的「第一」按编号榜排,两个第一不在同一张账页上。
行业影响:榜单本身的营销价值在衰减,分类表的使用价值在上升。选型团队照着这张表能拉出的短名单很具体:编程选型放进 DeepSeek,数理选型放进 Darwin,幻觉、指令、长文档选型放进 Kimi,再按自己的语料重测。榜单方自己的提醒也值得抄下来:幻觉控制分不等于错误率,83.19 不能反推出 16.81% 的错误率;总分不是五个分类的简单平均,聚合公式未公开。对国产模型阵营,11 月这张表传递的信号是分化而非追赶:开源第一梯队(Kimi 61.46、DeepSeek 58.95)与闭源第一梯队(Gemini 73.62、GPT 71.76)之间仍有 10 分级的总分差,但单分类上 DeepSeek 编程追平 Gemini、Darwin 数理压过 Gemini——差距在收窄的地方,恰好是工程价值最高的两个分类。
相关链接:
四、arXiv 两天五篇 on-policy 蒸馏:50 倍 FLOPs 的账,先看分母是什么
事件概述:11 月 5 日至 6 日两个批次的 arXiv cs.CL 里,on-policy 蒸馏(OPD)方向出现五篇新论文:《Learning Dynamics of On-Policy Distillation》(2611.08016)、《Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO》(2611.08453)、《CoRD: Coupled Rollouts Fill the Blind Spot of On-Policy Distillation》(2611.07959)、《O²PD: Overlap-Gated On-Policy Distillation on Reliable Prefix》(2611.07731)、《D²-OPD: Separating Direction and Distance in Extrapolative On-Policy Distillation》(2611.07241)。上期本栏刚写 Hugging Face 把前沿实验室的 MOPD 多教师蒸馏配方做进 TRL,学术界随即在同一周密集跟进同一命题。
技术解析:五篇里信息量最大的是 2611.08453,它的核心结论与工业界叙事相反:用外部后训练教师做 OPD,在单位训练 FLOPs 的准确率上普遍输给 GRPO,还常伴随响应长度膨胀;把教师换成学生自己的 GRPO checkpoint 后局面才反转——OPD 能以 50 倍更少的蒸馏 FLOPs 恢复该 checkpoint 在数学上的准确率,这个结果在更大的学生、代码任务与第二个模型家族上复现。作者自己点破了这笔账的边界:单领域里 GRPO checkpoint 本来就是想要的模型,对它做蒸馏是往总算力上加账,50 倍省的是「再训一遍」的钱,不是训练本身的钱。2611.08016 拆开了 OPD 的反馈回路:蒸馏信号转化为参数更新是一段,更新通过改变前缀预测重塑后续 rollout 分布是另一段,两段合起来解释了两个老现象——教师学生分歧巨大但学生响应有限,以及「提升局部教师一致性」的更新反而提高失败续写的概率、让下一轮 rollout 暴露在不可靠监督下。CoRD 补的是结构性盲区:学生在自己的 rollout 上训练,教师会到达而学生到不了的状态拿不到监督;它用投机解码的 maximal coupling 把训练状态分布向教师方向挪,两分布一致处保留学生 token,干预随学习推进自动消退——Qwen3 与 Qwen3.5 的 0.6B 到 4B 六个基座上,pass@1 提升 0.9 到 2.0 个点,pass@8 提升 1.2 到 3.4 个点,冻结教师状态上的差距收敛,OPD 跑 80 步没走完的,CoRD 16 步走完。
行业影响:MOPD 进 TRL 把配方变成可复用的工程件,这一周的论文潮在做的事是给配方配账本。蒸馏 FLOPs、RL FLOPs、总算力是三个不同的分母,跨实验室的效率主张能不能比,取决于口径是否对齐;「50 倍」成立的前提是教师即自家 checkpoint,跨模型蒸馏的效率收益要按 2611.08453 的反例重新估。对正在把 OPD 写进训练管线的团队,这批论文给了三条可执行的检查项:教师从哪来(外部 or 自家 RL checkpoint)决定方法是否划算;rollout 分布与教师可达状态的差集是监督盲区,CoRD 式耦合是一个修法;响应长度膨胀要在评测里单独记账,否则蒸馏的账面收益会掺水。
相关链接: