大模型前沿动态 · Vol.149

Anthropic 把 40% 政府折扣铺到全部产品面、GPT-6.1 Sol 进 CodeRabbit 安全智能体、LFM3 五模态共用一个 2B 主干

Anthropic 与 GSA 扩大合作,40% 折扣覆盖 Claude 全部产品面并延伸至州与地方政府采购不设最低消费;CodeRabbit 用 GPT-6.1 Sol 作安全智能体主模型,审码从单条 diff 扩到关联仓库并接上漏洞验证与修复起草;Liquid AI 发布 LFM3,六款 2B 级模型共用同一主干覆盖文本视觉音频 omni 与决策;arXiv 两篇论文分别给循环 Transformer 加跨轮持久状态、把递归深度折成并行批以降低 46% 解码延迟。

大模型 Anthropic Claude 政府采购 OpenAI GPT-6.1 代码安全 Liquid AI LFM3 多模态 边缘部署 循环Transformer 开放权重 arXiv

本期四条:Anthropic 把 Claude 的政府折扣从单一采购通道推到全部产品面,并把州、地方、部落与领地政府一并纳入;GPT-6.1 Sol 被 CodeRabbit 选作安全智能体的主模型,审码范围从单条 diff 扩到关联仓库;Liquid AI 把文本、视觉、音频、omni 与决策五类模型收进同一个 2B 主干;两篇出自同一课题组的论文分别给循环 Transformer 补上跨轮持久状态、把递归深度折成并行批。四条分别落在分发通道、能力落地、架构收敛与推理延迟上。

Anthropic 把 40% 折扣铺到全部产品面,政府采购不再有最低消费

事件概述:10 月 27 日,Anthropic 宣布与美国总务管理局(GSA)扩大合作。新协议给政府客户在 Claude Enterprise、Claude for Government 与 Claude API 上 40% 的折扣,覆盖范围首次包括全部产品面——机构今天直接向 Anthropic 采购走这条价,未来几个月通过云厂商采购同样走这条价。折扣延伸到州、地方、部落与领地政府。官方给出的存量数据:约 500 个美国联邦、州、地方政府机构在用 Claude;Claude for Government 的周活跃用户相比 2 月增长约 8 倍;联邦民用机构的用量一年内增长约 20 倍。Anthropic 估算这些折扣为政府节省 10 亿美元,且不设最低消费承诺,机构按实际用量付费。

技术解析:这条公告的技术含量不在折扣率,而在合规等级与交付形态的组合。Claude for Government 于 9 月 30 日正式可用,在 FedRAMP High 授权级别下提供接近商业版的编码与智能体能力。自建工具的机构可以走 Amazon Bedrock 或 Google Cloud Vertex AI:Bedrock 上的 Claude 已获 FedRAMP High,部分模型在 AWS GovCloud 中获准处理 DoD IL4 与 IL5 负载;Vertex AI 上的 Claude 同样处于 FedRAMP High。Claude Enterprise 正在通过 FedRAMP 20x 走 Moderate 授权。授权级别直接划定了能跑什么数据,折扣只把价格变量从这个约束里挪走。官方同时列出几组落地数字:犹他州给 10 个州级机构的 34 名开发者配了 Claude Code,80% 的人在 30 分钟内拿到可用环境,四周试点结束时 71% 的人报告节省 20 小时以上;某州 CIO 称团队把一次勒索软件响应从常规的 2 到 3 天压到 8 分钟;一个联邦安全团队用 Claude Mythos 在约两天内发现并修补了一个能让关键生产系统被接管的漏洞,而一个月前的人工渗透测试漏掉了它;一名州 IT 开发者用两天迁移了近 900 个 API 方法,该项目原定一个月;一名州 IT 主管用 Claude Code 为 12 个遗留代码仓库补文档,标出 467 张数据库表与 27 项风险。

行业影响:政府市场的竞争维度正在从模型评测分数转向合规等级、采购通道与计费方式三件事。无最低消费这一条,对预算周期长、难以预估用量的机构比折扣率更关键——它把采购决策从”先承诺一笔钱”改成”先用起来”。把折扣铺到云厂商通道,意味着 Anthropic 接受经由 Bedrock 与 Vertex AI 成交,等于把 GSA 的 Multiple Award Schedule 变成一条通用价格底线。10 亿美元是 Anthropic 自己的估算,取决于政府实际用量,把它当上限而非承诺更稳妥。另一条值得盯的线索是”约 500 个机构”与”联邦民用用量一年 20 倍”的分母都不大,增长率容易被小基数放大。

相关链接:Anthropic 官方公告(10 月 27 日)

GPT-6.1 Sol 进了 CodeRabbit 的安全智能体,审码从单条 diff 走到关联仓库

事件概述:10 月 26 日,OpenAI 发文称 CodeRabbit 把 GPT-6.1 Sol 用作其安全智能体的主模型。一次 pull request 可能影响共享库、依赖链与应用中其他位置的防护措施,CodeRabbit 用 Sol 把跨文件、跨组件的行为串起来,呈现潜在安全问题。审查由独立于写代码那个智能体的流程执行,与既有扫描器形成互补,CodeRabbit 的系统中也接入了其他前沿模型与安全工具。

技术解析:这套结构分三层。第一层在 PR 审查过程中边写边分析变更;第二层是 Deep Scan,把调查范围扩到整个仓库,覆盖依赖与组件间的交互方式;第三层 CodeRabbit Secure 把调查延伸到关联仓库,例如一个共享的鉴权库,让团队理解某处弱点会怎样传导到更大的系统。CodeRabbit 称用 Sol 在数千个仓库与组织中标记出安全相关问题,这些发现回流到开发者已经在用的 PR 工作流里。闭环上还有两个动作:对用户选定的发现,系统可在隔离沙箱中尝试漏洞验证,不碰生产系统;对支持自动修复的问题,它可以起草一个带修复方案的 PR,交给人审阅批准。

行业影响:AI 生成代码的速度把安全审查推成了瓶颈,现在补上的是对称的另一半——AI 审查 AI 写的代码。这里真正的增量不是又一个扫描器,而是跨组件推理:规则型扫描器擅长已知模式,跨仓库的影响面分析需要把调用关系、依赖版本与鉴权路径一起读进去,这恰好是长上下文推理模型的强项。把发现接到验证再接到起草修复,等于把安全从告警列表改成了可执行的工单。OpenAI 在文中保留了责任划分:人决定哪些改动可以上线。对 CodeRabbit 这类产品,模型层接入多个前沿模型而非单一供应商,本身也说明代码安全这个场景还没到一家能吃下的程度。

相关链接:OpenAI 官方文章(10 月 26 日) | CodeRabbit Secure

Liquid AI 把五类模型收进同一个 2B 主干,专业化被降到单卡微调的量级

事件概述:10 月 27 日,Liquid AI 在 Hugging Face 发布 LFM3,六款 2B 级开放权重模型共用 LFM3-1.7B-Base 这一个主干,覆盖文本、视觉、音频、omni 与决策五类。LFM3-1.7B-Base 为 24 层,在 22T token 上预训练,最后 3.5T token 的中期训练加入更多智能体轨迹与工具调用,并把上下文窗口拉到 256K。文本模型 4-bit 量化后约 1 GB。

技术解析:主干是三混合(tri-hybrid)层结构——13 个门控短卷积,卷积核从 LFM2 的 3 放大到 7;5 层窗口 256 token 的滑动窗口注意力;6 层全局注意力。配套三处细节:head-wise gated attention 用 sigmoid 门控缩放每个注意力头的输出,让用不上的头可以被关掉,顺带抑制激活离群值,这直接服务于量化;Partial RoPE 只在全局注意力层旋转每个头的最高频一半,另一半按内容而非距离匹配,滑动窗口层保留完整 RoPE;每个 block 的输入与输出都做归一化的 sandwich norm 用于稳定激活尺度。多模态侧换成自研编码器:视觉编码器 164M 参数,比前代用的 SigLIP2 少 3 倍计算量,在同一语言主干下与 Qwen3.5-2B 的视觉编码器精度相当而 FLOPs 少 2.2 倍,视频输入把每对采样帧嵌成一个 temporal slice,时序长度减半;音频编码器混合滑动窗口注意力与短卷积且完全因果,可以边听边 prefill,首 token 延迟低至 50 毫秒,配套的 LiquidCodec 在 Apple M4 Max 单 CPU 线程上以约 87 倍实时把 token 转语音。

官方数字里最能说明问题的是三组对比。LFM3-1.7B 以少 35% 的参数超过 LFM2.5-2.6B,WebArena-Verified 从 3.02 跳到 38.42。视觉侧 LFM3-VL-2B 实为 1.9B 参数,62 个视觉基准平均分从 57.6 升到 71.4,与体积 6 倍以上的 Gemma 4 12B 持平。决策侧 d1-2B 在 ImajevBench 上拿到 75.5,被它替代的 d1-3B 是 64.0,参数少三分之一,且在全部四个决策套件上都更高。把 LFM3-VL-2B 微调成机器人编排、导航与操控三类模型后,LIBERO 四个套件平均成功率 96.2%,RoboCasa-GR1 桌面任务 45.7%,在 Jetson AGX Orin 加 TensorRT FP16 上生成一个动作块不到 50 毫秒。音频侧 UTMOSv2 从 3.22 升到 3.83,支持 18 种语言。

行业影响:这条路线和把参数堆上去是反着来的。同一主干上长出五类模型,好处是任何一类的架构改进都能直接回流到其他类,代价是主干的任何妥协也会被所有模态继承。真正改变了门槛的是单张 GPU 上用自己的数据微调,这把专业化从预训练问题降级成后训练问题,术语、工具集与部署环境都能在本地对齐。256K 上下文加 1 GB 的 4-bit 体积,把智能体从云端搬到了手机与树莓派上。需要打折看的也有:WebArena-Verified 的 3.02 到 38.42 跨度过大,更像基座换代的量级差而非单点技术收益;Omni 一侧只给了”击败参数量至多 10.7B 的模型”这类定性表述,未附具体分数;机器人那组数字来自针对具体任务微调后的模型,不代表开箱能力。官方称全部为开放权重,博文未给出许可证名称,商用前需查各模型的模型卡。

相关链接:Hugging Face 博客(10 月 27 日) | LFM3 模型集合

循环 Transformer 连出两篇:一篇补跨轮状态,一篇把递归深度折成并行批

事件概述:arXiv 10 月 26 日提交、进入 10 月 27 日 cs.CL 批次的两篇论文出自同一课题组(Feichen Song、Boyi Zeng、Ziwei He、Zhouhan Lin 等),题为 StateLoop 与 LoopFold,编号分别为 2610.35544 与 2610.35556。两篇都指向同一件事:循环 Transformer 靠重复施加同一个主干来换取每个 token 的更多计算,而这个深度换能力的买卖一直被串行依赖拖着。

技术解析:StateLoop 处理的是信息在轮次间怎么留下来。Vanilla 循环 Transformer 把每轮主干的输出直接作为下一轮输入,某轮输出里可能藏着几轮之后才用得上的信息,但跨轮保留完全依赖那一条隐藏状态。StateLoop 给每个 token 额外维护一个持久状态,每轮用一个学到的门控决定保留多少旧状态、纳入多少主干输出,更新后的状态经投影加回主干输出,供后续轮次与最终预测使用。结果是 Pile 困惑度下降,八个零样本任务的平均准确率高于 Vanilla Looped,且困惑度优势随训练循环深度增加而变大——这一点与递归越深、跨轮记忆越有用的解释一致。

LoopFold 处理的是延迟。每轮依赖上一轮,加深递归深度就等于加大解码延迟。已有的 Parallel Loop Transformers 通过跨 token 位置重叠轮次计算来压延迟,代价是深度越大边际精度收益衰减越快。LoopFold 把同一 token 前缀上多个递归深度的计算折成并行批:一个轻量预测器估计后面几轮的输入,让它们在前面几轮算完之前就启动;一个校正器再用先算完轮次的新结果去修正后几轮的输出。全部组件只用最终的 next-token 预测损失联合训练,没有额外的中间监督。1.4B 模型上,更深的 LoopFold 配置把八个任务的平均零样本准确率从 53.41% 推到 56.38%,同一个深度区间里 vanilla 循环模型与 PLT 的增益都很有限;与九轮 vanilla 相比,LoopFold 用五个串行阶段加额外并行计算,把解码延迟降低 46%。

行业影响:两篇合起来指向一条判断——循环 Transformer 的瓶颈不在参数效率,而在串行深度带来的延迟,以及跨轮缺乏独立的记忆通道。LoopFold 用预测器加校正器把深度与延迟解耦,思路接近投机解码,只不过投机对象不是 token 而是后续递归轮次,且用同一个 next-token 损失端到端训出来,不需要额外标注。StateLoop 的结论更朴素:递归计算里缺的不是层数,是一条能跨轮搬信息的通道。这条路线对推理栈的隐含要求是新的——一批轮次要能并行跑,调度器得按递归阶段而不是按层来组织计算。局限也要说清:实验停在 1.4B 规模,八个零样本任务平均分约 3 个百分点的提升能否外推到更大模型与更长训练,两篇都没给证据;LoopFold 的预测器引入的额外并行计算量在延迟账里怎么算,文中只用五个串行阶段这一口径表述。

相关链接:StateLoop: Persistent State for Looped Transformers | LoopFold: Parallelizing Recurrent Depth in Looped Transformers