OpenAI 三档模型挂进 Google Cloud 账单、NVIDIA 把检索拆成可换三件套、BitMTP 与 Lafa 在同一模型内切出解码档位
本期四条动态：OpenAI 前沿模型进入 Google Cloud Model Garden 并用 GCP 承诺额结算，NVIDIA 发布 Nemotron 3.5 Embed/Rerank/Parse 把智能体取数链路拆成标准件，BitMTP 让低比特主干上的多 token 预测拿到 2.2×，Lafa 用自投机解码把 8B 流模型推到 2.54× 吞吐。
前沿能力的交付单位正在变细：OpenAI 把三档模型挂进 Google Cloud 的账单，NVIDIA 把检索拆成可换的三件套并给同一个解析模型开三个精度档，两篇新论文则在同一个模型内部切出解码档位。
OpenAI 模型进 Google Cloud Model Garden：从独家云伙伴到按账单选型
事件概述
10 月 21 日 OpenAI 官宣与 Google Cloud 合作，把前沿模型和 Codex 的智能体工作流放进 Google Cloud 的 Model Garden。10 月 22 日 Google Cloud 产品管理副总裁 Michael Gerstenhaber 发文给出落地细节：进入 Model Garden 的是 GPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna 三个档位，目前以私有预览形式向部分企业客户开放，正式可用（GA）排在未来几周。OpenAI 在公告里补了一句边界条件——Microsoft 仍是其主要云伙伴。
技术解析
值得看的不是「模型多了一个购买渠道」，而是三件事叠在一起。
其一，选型粒度。Google 把三个模型按用途摆开：Astra 面向编码、计算机操作、专业任务与科研；Sol 定位为接近 Astra 的智能水平、成本更低；Luna 面向大规模日常任务。客户按性能、延迟、成本逐任务切换，不需要改架构，也不需要单独签供应商合同。
其二，计费单位。模型通过 Google Cloud Marketplace 交易，用量出现在同一张 GCP 发票上，可抵扣既有 GCP 承诺额，并计入跨模型供应商的 Flexible Savings Plans。花在 AI 上的钱被并进了原本花在云上的预算池。
其三，治理边界。Google 侧写明的措施包括客户提示词、上下文与输出留在指定数据边界内且不用于训练基座模型（Zero Data Retention 即将提供）、OpenAI 模型跑在专用基础设施上（Confidential Compute 即将提供）、查询经隔离网关转发、每次交互带经过认证的身份并纳入统一审计日志与 VPC Service Controls。企业侧拿到的是「第三方模型 + 第一方治理」的组合。
Google 还把这次上架定义成一个排他性事实：它是唯一一家把三家头部闭源 LLM 都摆上货架的超大规模云，Model Garden 里另有 200 多个第一方、第三方与开源模型。Codex CLI 与桌面工作流可以直接连到 Gemini 平台做推理。
行业影响
闭源前沿模型的分发从「绑定一家云」走向「在同一朵云里并列」。对 OpenAI，这是把 Azure 之外的企业预算接进来的通道；对 Google，等于承认自家 Gemini 无法覆盖全部场景，转而以平台税和治理能力收租。真正被改变的是采购决策的位置——过去选模型是在厂商之间选，现在是在同一张账单内部按任务选，切换成本从合同级降到配置级。代价是模型差异被进一步压平为价格与延迟的差值，评测与路由能力的重要性上升。
相关链接
- OpenAI 公告：OpenAI models are coming to Google Cloud
- Google Cloud 公告：Google Cloud expands model choice and flexibility, bringing OpenAI models to customers
NVIDIA Nemotron 3.5 检索三件套：把智能体的取数环节拆成可换的零件
事件概述
10 月 21 日 NVIDIA 在 Hugging Face 发布 Nemotron 3.5 Embed、Rerank、Parse 一组模型。Embed 有 8B BF16、1B BF16、1B NVFP4 三个版本，Rerank 是 8B 跨编码器，Parse 为 631M 参数。三者分别对应文档向量化、候选重排、页面解析，覆盖智能体在检索链路上原本由通用大模型顺手完成的环节。
技术解析
第一层是精度与速度的档位。Embed 8B BF16 在 ViDoRe v3.1 上拿 61.17 nDCG@10，位居密集检索第一，比 Llama Nemotron Embed VL 1B 的 52.23 高 8.94 点。蒸馏出的 1B BF16 拿 58.38，保留教师的 95.4%。1B NVFP4 在 GB200 上吞吐从 101.3 提到 128.8 文档/秒（+27.1%），ViDoRe v3 上保留 99.85% 的检索精度。MIRACL Vision 上 8B 得 72.6 nDCG@10，超 Qwen3-VL-Embedding-8B 4.3 点。
第二层是把「重排」变成一个能省 token 的独立件。固定大模型、工具、任务集与语料，只换检索配置：配上 Rerank 后，智能体每次查询的 token 成本下降约 14%（配 Embed 8B）与 13%（配 Embed 1B），检索精度反而上升。在相近的 token 成本下，Rerank 比 Qwen3-VL-Reranker-8B 的 nDCG@10 高约 0.9 点，ViDoRe v3.1 重排榜上以 60.49 对 59.17 领先（截至 2026-10-20）。
第三层是同一个模型给三档操作点。Parse 631M 在单张 H100 上跑单遍得 72.74 分、16.1 页/秒，双遍（重看图表的裁剪区域）74.92 分、11.2 页/秒，三遍（再加一轮检测）75.20 分、10.5 页/秒，在 10 亿参数以下模型中排 ParseBench 第一。NVIDIA 明确指出这三种配置在对比范围内都 Pareto 最优。多 token 预测、投机解码、原生分辨率处理与 GRPO 后训练是速度侧的支撑。
剩下的数：NIM 在 RTX PRO 6000 Blackwell Server Edition 上跑出 6,031 请求/秒，约为同等 vLLM 配置 2,099 请求/秒的 2.9 倍。领域微调方面，用 Qwen3.8-Flash-Next 对 8,202 张图表与信息图生成 8,591 条合成查询，1B 模型微调一轮把 nDCG@10 从 37.34 提到 44.12（相对 +18%），8B 从 41.44 提到 42.75（相对 +3%），留出集 1,719 条。外部评测中，Vectorize 用它跑长对话记忆基准，LoCoMo recall@10 93.8%、BEAM 100K 65.9%，在八个嵌入模型里第一；Perplexity 的 72 任务重排基准上 Rerank 8B 均分最高；Turbopuffer 的企业 PDF 搜索上 Recall@20 比次优模型高约 5%。
行业影响
智能体系统的取数链路正在被切成标准件：向量检索、重排、解析各有独立模型、独立榜单、独立的价格与吞吐规格。这让「给智能体塞更多上下文」这条老路有了替代方案——先花几分钱把候选筛干净。NVIDIA 把重排的收益直接换算成 token 成本下降 13%–14%，等于给这个零件标了价。Parse 的三档 Pareto 设计更值得注意：它把「精度换速度」从一个训练期决策变成推理期的一行配置，模型发布不再只交一个工作点。
相关链接
BitMTP：低比特主干上的多 token 预测，靠三种解码策略换档
事件概述
arXiv 2610.28500，10 月 20 日提交，已被 NeurIPS 2026 接收，作者为香港理工大学的五人团队（PolyU-OPPO 联合创新研究中心支持），代码已开源。论文处理的是一个工程上真实存在的冲突：超低比特主干省的是权重存储、显存带宽与线性层开销，多 token 预测省的是串行解码步数，两者直接拼接并没有变快。
技术解析
作者先用实验把问题钉死。把块并行预测机制套到 BitNet b1.58-2B 上得到 Naive BitNet++MTP，在 H20 上用 BF16 执行时吞吐确实提升，换成低比特 W2A8（2 位权重、8 位激活）后，吞吐和质量一起掉。原因是块解码器每次迭代要跑更宽的计算、一并维护因果 KV 状态，而迭代开销摊在被接受的 token 上，不是摊在预测出的 token 上。论文把这类由接受前缀引起的重放输入、KV 工作量与验证器调用变化统称为 accepted-prefix dynamics。
对应的三层设计：训练层用联合的下一 token 预测 + 多 token 预测目标，让同一个模型同时具备自回归路径与 mask 条件下的块因果起草；解码层给出 confidence-only、speculative-only、hybrid 三种策略，不引入独立的 draft–verifier 模型对；运行时层用 accepted-prefix alignment 保证已提交前缀、已物化的因果 KV 边界与 CUDA Graph 重放状态一致，再配合按重放宽度专门化的低比特执行、有限状态 CUDA Graph atlas 在共享 KV 上重放、hybrid 模式下提前准备验证输入三项机制。
H20 上的结果（D=8，hybrid）：BitNet b1.58-2B 五任务平均加速 2.2×，Bonsai-1.7B 2.4×，Bonsai-4B 2.1×。细看数字，BitNet 的吞吐从 AR SFT 的 373.42 token/秒升到 805.57，五任务平均分从 45.95 降到 43.25；Bonsai-1.7B 从 47.36 到 47.91、Bonsai-4B 从 63.55 到 63.43，两个基本持平。作为对照，EAGLE-3 在 Bonsai-1.7B 上只拿到 1.2×。换硬件后，RTX 3090 上五任务平均吞吐最高 2.0×，Jetson Orin 上 MBPP+ 达 3.3×。
行业影响
端侧与低比特部署过去只有「量化到几位」这一个旋钮，BitMTP 加上了第二个：解码策略。三种策略无需额外 draft 模型，意味着同一个权重文件可以在延迟敏感与质量敏感之间现场切换，这对内存受限的设备比再训一个小草稿模型现实得多。论文自陈的边界同样要看到——BitNet 上 2.2× 是拿约 2.7 个平均分换来的，Bonsai 上才是真正的「持平加速」。低比特加速的收益高度依赖骨干与精度组合，不能只看平均倍率。
相关链接
- 论文摘要页：BitMTP: When Multi-Token Prediction Meets Low-Bit Large Language Models
- 全文 HTML：arXiv:2610.28500v1
- 代码：github.com/PolyU-VCLab/BitMTP
Lafa：8B 连续流语言模型用自投机解码跑出 2.54 倍吞吐
事件概述
arXiv 2610.28559，10 月 20 日提交，作者来自 KAIST 与 CMU（含 Aditi Raghunathan）。论文提出 Lafa（Large flow language model），把连续流语言模型做到 8B 规模，训练用量不到 30B token——同等规模的离散扩散适配此前要用到 500B token。代码与权重都已公开。
技术解析
架构上，Lafa 是块级流模型：前缀部分用因果注意力，块内用双向但带左到右偏置的异步流。这个设计让它的归纳偏置贴近自回归模型，可以直接从预训练好的 AR 模型适配，推理时也能复用前缀缓存与块内并行解码。训练目标是块级去噪加上前缀上的 AR 预测。
一个反直觉的发现是流训练没有损害 AR 能力，反而通过多 token 预测效应有所提升。作者据此设计自投机解码：用一步流解码产出的块作为草稿，再由同一模型里保留的 AR 预测器从左到右验证。草稿和验证器共用一个模型，不需要外挂小模型。
7B 规模、块大小 16、单张 H100、batch size 1、在 IFEval/GSM8K/HumanEval 上平均：Lafa 达到 AR SFT 基线的 2.54× 端到端吞吐，平均准确率 58.0 对 58.4。块大小 4 时约 2× 速度且平均准确率更高（60.9 对 58.4）。对照方法里，DeepSeek-MTP 与 MARS 的准确率追平或超过 AR SFT，吞吐最多只到 1.4×；扩散类基线则低于 7B AR SFT 的准确率，且越快的设定掉得越多。8B 规模上，Lafa 用至少少 18× 的训练 token 拿到了与 Efficient-DLM 相当的准确率和每前向提交 token 数。0.5B 上块大小 8 的平均准确率 32.3 对基线 28.7，每前向提交 token 数约 4.0。
行业影响
并行生成这条路上，离散扩散一直卡在训练成本与质量落差，Lafa 给出了一个折中：不改预训练范式，只在块内部换成连续流，把 AR 路径保留下来当验证器。2.54× 的意义不在数字本身，而在于它是在单模型、batch size 1下拿到的——不需要第二个模型，不需要额外的 KV 管理，这对部署侧的吸引力大于榜单分数。另一个可复用的结论是块大小本身成了一个推理期旋钮，4/8/16 对应不同的精度—速度点，和 NVIDIA Parse 的三档设计是同一个思路在不同层上的体现。
相关链接