OpenAI日常任务评测冲上90分、实时助手基准仅4.48%完全正确率、Astra一周造出硬件原型、DeepMind化学Skills把药物设计压缩到一小时
本期四条:OpenAI 发布 LifeVal 日常任务评测(ATUS/MTUS+3995人调查出题,五任务全过90分);arXiv 同日 Omni-Life 基准测实时全模态助手完全正确率最高仅 4.48%,与 LifeVal 相差两个数量级;OpenAI 用 GPT-6 Astra 端到端设计硬件设备(BenchCAD 2.0 内部模型 0.875 vs Astra 0.594),联合 Chip Ganassi Racing 与马自达切入物理工程;DeepMind 为 Antigravity 发布 Cheminformatics Skills,LLM 编排+RDKit 计算的分工把药物设计单轮迭代从数天压到一小时。
OpenAI 的 LifeVal 给日常任务打出 90 分以上的成绩单,同一批次的 arXiv 论文却测出实时全模态助手只有 4.48% 的完全正确率——「AI 能不能帮人过日子」,答案完全取决于评测怎么出题。
1. OpenAI 发布 LifeVal:用时间使用调查给大模型出「过日子」考卷
事件概述
11 月 2 日,OpenAI 发布评测基准 LifeVal,测量模型在日常生活任务上的表现。题目来源不走学术数据集路线:从两份追踪人类时间使用的大型调查出发——美国劳工统计局的 American Time Use Survey 与 Multinational Time Use Study——再补一项 3,995 人的人口代表性调查,定位普通人最想要 AI 帮忙的领域:育儿照护、健康、教育、家庭行政、个人财务、购物、政务办理。OpenAI 称过去一年用这套评测跟踪并驱动模型在生活任务上的改进。
技术解析
LifeVal 的考题形态不是答题,是「把事办完」。官方展示的五个任务全部要求模型调用浏览器、计算机操作与连接器:搬家后对比幼儿园并给出候选名单(93.1%)、为社区洪水备灾组织志愿者(98.0%)、按预算与通勤约束找房子并把地契加入购物车(100%)、给异地的奶奶搭一套远程看球方案(96.3%)、为确诊糖尿病的家长做第一周照护与饮食计划(90.4%)。分数本身是最大的信息量:五个任务全部超过 90 分,找房子拿到满分。OpenAI 把高分归因于过去一年针对 browser use、computer use、connectors 三项能力的专项训练——这正是任务形态与成绩之间的因果链:题目全部长在工具调用上,工具调用练了一年。
行业影响
评测定义竞争方向。LifeVal 把「生活任务完成率」摆上台面,等于给个人助理赛道立了记分规则:光会聊天不算数,能把幼儿园报名、地契过户、日程重排真正做完才算。这套方法论本身门槛不高——时间使用调查各国都有、人口调查谁都能做,难的是把浏览器、连接器、执行环境整套基础设施做到稳定,OpenAI 一年的专项训练换来的正是这部分。对国内厂商,可复制的不是题库,是「调查驱动出题 + 工具执行判分」的评测构造方式。
相关链接
2. Omni-Life 基准给实时助手泼冷水:完全正确率最高 4.48%
事件概述
11 月 2 日提交 arXiv 的 Omni-Life(2611.02835,Mengze Hong 等人)测的是同一个命题——AI 在日常生活中提供帮助的能力——结论与 LifeVal 相差两个数量级:12 个主流实时全模态模型配置中,视频级「完全正确」率最高只有 4.48%,第二名 Gemini 3.8 Live 为 3.79%。
技术解析
差异出在考题的时间结构上。Omni-Life 不发离散任务,而是把模型放进连续视频流里持续值守:400 段视频(277 段合成 + 123 段真实)中 290 段需要干预、共 555 个干预节点(提醒 362、警示 149、反馈 29、应答 15),另外 110 段全程应当沉默——专门考模型在该闭嘴时能否闭嘴。评分维度覆盖事件覆盖、响应内容、时机与多余输出。结果是一张失败解剖图:干预控制失败出现在 68.96% 的已完成会话中,含 1,720 个全程零输出的干预会话;JoyAI 干预召回率最高(20.00%)但 F1 只有 1.67%——该出手时敢出手,不该出手时也乱出手;MOSS-VL 干预 F1 领先(7.06%)但召回仅 5.77%,策略转向保守。两个缓解手段均被量化:周期性提醒把召回拉高 17.12 个百分点,代价是每分钟参考静默多产生约 4.6 次多余发言;响应时限放宽 10 秒,召回最多提升 5.95 个百分点。被测模型覆盖开源侧的 DuplexOmni、AURA、JoyAI、Gander 与 API 侧的 Gemini 3.8 Live、Qwen3.5-omni-flash/plus-realtime。
行业影响
这篇论文要和 LifeVal 对照着读才完整:OpenAI 测的是「给模型一项任务、给它浏览器和连接器、看它办不办得完」,Omni-Life 测的是「模型连续值守、自己决定何时开口」。前者已过 90 分,后者不足 5 分,落差指向的不是模型智力,而是三种没被单独训练过的能力——长时程指令保持、主动干预的时机判断、无需求时的自我克制。全双工实时模型(豆包 SeedRealtime、GPT-Live 这类产品形态)是今年各家共同发力的方向,Omni-Life 提前给出了这类产品的验收标准。方法论上有一条直接可用的教训:静默段必须与干预段同表统计,只报召回率的评测会被「话痨模型」刷分。
相关链接
3. OpenAI 把 Astra 推进物理工程:一周设计出能对讲 Codex 的设备,内部模型 BenchCAD 2.0 拿 0.875
事件概述
11 月 3 日,OpenAI 发布模型在物理工程方向的进展:用 GPT-6 Astra 端到端设计了一台「和 Codex 对话」的硬件设备——外观、外壳结构件、PCB 布局与连接、固件和软件集成全部由模型完成,两名员工作为副项目在一周内做完,合约制造商一个月内产出小批量原型。
技术解析
三个数字值得拆开。其一,OpenAI 硬件团队自 2 月以来以 token 计的模型用量增长 23 倍,覆盖 CAD 建模、制造图纸、仿真设置与设计评审,从机器人延伸到计算基础设施。其二,BenchCAD 2.0 基准(重建 3D 零件与装配体、识别电路板连接)上,一个未发布的内部模型拿到 0.875 平均分,GPT-6 Astra 最高推理档为 0.594——差值是下一代模型在工程任务上的能力储备。其三,OpenAI 直说局限:Astra 不能稳定考虑制造商的生产极限、公差与装配细节,设备进入量产前仍需多轮人工审查迭代。产业合作两条线并进:Chip Ganassi Racing 用模型把现有零件的 3D 扫描转成可编辑 CAD 与 2D 制造图纸,解决原始设计文件缺失的存量场景;与马自达新启动的空气动力学与碰撞安全研究中,Astra 帮工程师批量探索车头造型、仿真气流、筛选方案,把空气动力学性能与造型设计的取舍摆到同一张桌面上谈。
行业影响
这条动态的信号不在设备本身,在能力外溢路径:写代码、读图纸、建 CAD、设仿真,每一步都是「专业工具 + 模型推理」的组合,与 Copilot 时代代码补全的差异在于跨机械、电子、软件三个学科做协同改动。硬件工程是典型的存量专业软件市场,CAD/EDA/CAE 长期由几家巨头把持,OpenAI 选择以合作方姿态切入而非发布产品,与它在企业软件市场的打法一致。对国内厂商,对应的位置在智能座舱、机器人本体、消费硬件的工程团队——同样握有 CAD 与仿真数据,能否复制「内部团队先用起来、用量涨 23 倍」的路径,取决于模型对国产 CAD/CAE 工具链的适配深度。
相关链接
4. DeepMind 给 Antigravity 装上化学 Skills:药物设计单轮迭代从数天压缩到一小时
事件概述
11 月 3 日,DeepMind 发布 Google Antigravity 平台的 Cheminformatics Skills,把药物发现中的数据搬运与建模流程交给 Agent:以肺癌靶向药为案例,Agent 在约一小时内完成化合物检索、匹配分子对分析(MMPA)、药效建模与新刚性大环分子设计——这套流程过去单轮迭代需要数天。
技术解析
架构上是一次明确的分工:底层语言模型负责流程编排、数据库导航与科学推理,确定性的化学计算全部交给 RDKit(积累二十余年的开源化学信息学工具包),数据源接入 ChEMBL 与 PubChem。案例自带教学意图——crizotinib 到 lorlatinib 的刚性化是药物化学的经典成功案例:前者含五个可旋转键、在溶液里形状「松软」,后者成环后可旋转键归零、药效大增,行话叫「提前支付熵代价」。Agent 几分钟内检索数千个化合物、剔除缓冲液与溶剂等无关分子、产出带来源的报告,并主动指出大环化合物大多预测可透过血脑屏障(此类肺癌常发生脑转移);MMPA 证实成环普遍减少可旋转键并提升药效;建模环节优先按时间切分(用老化合物训练、预测新化合物)以贴近真实研发场景;最终产出多个带合成路线的新刚性大环设计,可直接对接 AlphaFold 或分子动力学模拟。DeepMind 在文末写死边界:稀疏数据、实验室间测定噪声、窄动态范围限制预测精度,计算设计是可检验的假设而非成药。配套动作为一万名科学家免费开放六个月最高用量档。
行业影响
这条动态的价值在「Skills + 确定性工具」的模式而非化学本身。LLM 的出错成本在化学里没有上限——改动一个原子就是另一种化合物——DeepMind 的解法是把分子计算全部锁进 RDKit 这类经二十年验证的工具,模型只做编排与推理。这套分工可以直接平移到一切「错一个字符即报废」的领域:法律文书核对、财务报表勾稽、芯片设计规则检查。Anthropic 10 月 22 日刚把 Agent Skills 标准捐给 Agentic AI Foundation(70 余个平台已接入),Google 这边用垂直 Skills 占领专业工作台——Skills 生态正在成为 agent 平台竞争的第二战场,比模型能力本身分出胜负的速度更快。
相关链接