为什么重要
几乎所有主流 Agent 基准都共享一个没人说破的假设：模型思考的时候，世界是暂停的。
SWE-bench、τ-bench、初代 GAIA、OSWorld 都是这样——你给模型一个任务，它想多久都行，想完了再动手，只有最后的结果被打分。在这个设定下，推理延迟是免费的：没有任何事件会在思维链展开到一半时抵达，也没有任何截止期限会在推理过程中到期。
后果是，生产环境里 Agent 最重要的那个性质——它在一段自己无法控制的时间里运行——恰恰是这些基准从来不测的。
GAIA2 做的事就是把这个假设拆掉。它把 agent time 与 environment time 解耦：模型在推理，模拟世界照常运转。定时事件按墙钟触发（“回复在 t=300s 抵达”），随机噪声以默认每分钟约 10 个事件的速率灌入——新邮件、新商品、日历变动——不管 Agent 准备好了没有。
这一改动的直接后果是排行榜的反转：论文里总分最高的 GPT-5（high）拿到 42.1% pass@1，却在 Time 这一项上是 0.0%；把生成延迟从评测中移除之后，它的 Time 分数升到 34.4%。也就是说，那 42.1% 里”想得最久的那个模型，恰好把所有有时限的任务全错过了”。智能与及时性第一次被放进了同一把尺子，而且是直接对抗的。
与初代 GAIA 的关系
本库 GAIA 卡已在 2026-10-15 判为已饱和（Shadow Harness V8.01 94.0%，超过人类 92% 基线）。GAIA2 是它的正式接班人，两者不是同一个量级的考试：
| 维度 | 初代 GAIA | GAIA2 |
|---|---|---|
| 推理期间时钟 | 冻结 | 持续运行，事件照常发生 |
| 延迟的代价 | 无，只评最终答案 | 墙钟被计分，慢 = 错过截止 |
| 事件 | 脚本化、同步轮次 | 异步：定时 + 随机（约 10/分钟） |
| 评分对象 | 最终答案精确匹配 | 写动作的 oracle 事件图比对 |
| 失败暴露的是 | 不会推理，或选错工具 | 推理正确，但动手太晚 |
| 谁排第一 | 能力最强的模型 | 没有人——能力与时性互相拉扯 |
构建方式
GAIA2 建在 Meta 开源的 Agents Research Environments（ARE） 之上。环境是一个模拟手机世界：邮件、日历、联系人、消息、购物、打车、文件系统等 11 个可用应用，共约 101 个工具（加上增强配置约 1,120 个），分布在 10 个各自独立数据和目标的模拟 universe 里。
场景规模：800 条人工撰写场景，按五项核心能力平均分配（Execution、Search、Adaptability、Time、Ambiguity 各 160 条），另有 320 条增强场景专门测 Noise 与 Agent2Agent。
验证器是这套设计里最值得抄的部分。 初代 GAIA 用的是最终答案精确匹配，只能判断”最后这句话对不对”。GAIA2 改成给每个场景配一条 oracle 事件图，然后由 ARE Verifier 逐条检查 Agent 的写动作是否满足四个要素：
- 参数一致性（改的东西对不对）
- 因果顺序（先后的依赖对不对）
- 时序（有没有在时间点之前完成）
- 完整性（该做的都做了没有）
探索性的读操作不进入 oracle 匹配——不会因为多看了两封邮件就扣分。在 450 条人工标注轨迹上，这个验证器达到 0.98 一致率、0.99 精确率、0.95 召回率。这个精度水平意味着它不只是能用来打分，还能直接用于 RLVR（从可验证奖励中做强化学习）。
关键发现
没有一个系统统治这张榜
论文的三条主线结论互相独立：
- GPT-5（high）总分最高 42.1% pass@1，但 Time 是 0.0%。移除生成延迟后 Time 升到 34.4%——也就是说它并非不会做时间任务，而是做得太慢。
- Claude 4 Sonnet 用精度和速度换成本，在效率轴上领先。
- Kimi-K2 以 21% pass@1 领跑开源，与前两者各占一条轴。
推理预算买不到通过率
论文给出的预算-成功曲线会平台化：每条模型曲线在某个成本阈值后不再上升。GPT-5（high）的平台最高，但在更紧的预算下，更便宜的配置反而有竞争力。作者也提醒这条曲线的读法——曲线数的是”低于该成本阈值的成功运行数”，不是”逐步增加推理算力的实验”，平台反映的是该批评测中剩余的失败，不是算力上限。定价数据取自 2025-09-10。
协作的收益取决于模型
Agent2Agent 增强场景下，协作改善了 Llama 4 Maverick 的 token 归一化重复采样性能，但没有改善 Claude 4 Sonnet。精度、延迟、协作三者之间存在模型相关的取舍，没有通用答案。
榜单时点与两条 lane
HF 官方榜（经 agentsdirectory 镜像读取）标注 Updated May 2026，共 13 条、11 个模型。它明确区分了两类行：
- 2026 榜行（本卡 topResults 的六条）：ReAct 基线脚手架，取 5 项核心 split 均值。头名 Claude Opus 4.6 57%。
- 论文基线行：取 7 项 split 均值（另加 Noise 与 Agent2Agent），普遍低几分。GPT-5（high）42.1%、Claude Sonnet 4（thinking）37.8%、Claude Sonnet 4 34.8%、GPT-5（low）34.6%、Gemini 2.5 Pro 25.8%、gpt-oss-120b 13.7%、Llama 4 Maverick 7.4%。
这两条 lane 不可混排。 按 7 项均值排进 topResults 会让 42.1% 落在 50.5% 之后，读起来像”GPT-5 比 GLM 5.1 弱”，实际只是分母多了两个更难的子集。同理，本卡只收了六条而不是凑满八条——凑数会制造假的强弱结论。
统一脚手架这一条值得单独说：每场景跑 3 次、全部用同一套 ReAct 基线，是为了让分数归因于模型而不是各家自研脚手架。这与本库在 OSWorld-Verified 上观察到的”头名是一个框架而不是一个模型”是同一个问题的两种解法。
局限
- 场景与 universe 全部是合成的，由 Llama 3.3 / Llama 4 Maverick 的输出构建。作者把”sim2real 差距”明确列为尚未解决的挑战。
- Meta 自建自维护，数据集在 HF 上需签署受控访问协议（防污染）。跨实验室自报的分数应配合独立验证结果一起读。
- 榜单时点偏旧：HF 榜最新更新在 2026-05，头名仍是 Claude Opus 4.6 一代，与 2026 年 10 月的前沿档位（GPT-6.1 Sol / Claude Opus 5.5 一代）不重叠。这是一张基线卡，不是当前前沿的横切面——引用 57% 这个数字时请带上”截至 2026-05”。
- 论文摘要提到的 Kimi-K2 21% 未出现在上述镜像榜的 13 条中，属论文自报口径，两值并存不判真值。
最新进展
2026-02-12 提交 arXiv（arXiv:2602.11964），ICLR 2026 收录为 Oral。ARE 平台、gaia2 数据集与 HF 榜全部开源。
截至 2026-10-22 建卡时，未见 2026 年下半年前沿模型（Opus 5.5 / GPT-6.1 Sol / Gemini 4 Argon 一代）在 GAIA2 上的公开成绩。考虑到本库 GAIA 已判已饱和、而 GAIA2 头名仍只有 57%，这张榜是当下最值得被补跑的 Agent 基准之一。