GAIA

为什么重要

GAIA 揭示了一个残酷事实：人类觉得简单的任务，LLM 完成得很差。人类准确率 92%，GPT-4 仅 15%。差距不在知识，而在工具使用和多步操作。这使 GAIA 成为衡量”通用 AI 助手”实用性的核心基准。

构建方式

1. 由 Meta FAIR 和 HuggingFace 的研究员设计 466 个任务
2. 每个任务都有一个精确的、无歧义的答案
3. 分三级难度：Level 1（1-5 步）、Level 2（5-10 步）、Level 3（10+ 步）
4. 任务可能需要：搜索网页、读取文件（PDF/Excel）、执行代码、多步推理

任务示例

Level 1：“2023 年诺贝尔化学奖得主的大学本科毕业于哪所学校？“（需要搜索→找到人→找到教育背景） Level 2：“下载这个 Excel 文件，找出第三列中最大的数，然后计算它的平方根保留两位小数”（需要下载→解析→计算） Level 3：“根据这篇 PDF 论文中的实验数据，重新计算 Table 3 的最后一列，看是否与论文一致”（需要 PDF 解析→理解实验→重新计算→比对）

最新进展

• 2026-10-12：GAIA 测试集首次被超过人类基线。官方 HuggingFace 测试集榜的最新提交 Shadow Harness V8.01 达到 94.0%，高于本基准自己发布的人类基线 92%；第二名 Ops-Agentic-Search-2.0 为 93.7%。至此本基准测试集正式判定已饱和——这与 OSWorld-Verified（头名 90.19% vs 人类 72.36%）走完了同一条路：当最好的系统越过人类线，区分前沿系统的任务就交给了长程套件。GAIA 自己的后继者 GAIA2（Meta，ICLR 2026，800 个场景 / 模拟智能手机环境 / 时间压力与歧义）正是对这一饱和的直接回应，其头名 Claude Opus 4.6 只有 57%
• 2026-10：三条 lane 的当前值互不通约，读榜前先认 lane：官方全系统测试集榜 94.0%（多模型集成、自报提交）、Princeton HAL 标准化框架榜 74.55%（HAL Generalist Agent + Claude Sonnet 4.5，验证集）、裸模型榜约 52.3%（BenchLM，Claude Mythos 5 / Fable 5）。同一基准三个数字跨度 42pp，差的是”包在模型外面那层东西”
• 2026-05：GAIA 三层评测体系成熟——全系统排行（OPS-Agentic-Search/openJiuwen 92.4%）、标准化框架排行（HAL + Claude Sonnet 4.5 74.6%）、裸模型排行（Claude Mythos Preview 52.3%），三层差距达 30-40pp
• 2026-05：NVIDIA Nemotron-ToolOrchestra 以 90.4% 进入全系统排行 Top 3，多模型编排成为标配
• 2026-05：Princeton HAL 排行榜暂停新增模型，聚焦可靠性评测而非原始精度追踪
• 2026-05：Leni Agent 以 77.6% (128/165) 创 GAIA validation 新高，超越 Genspark (75.4%) 和 Manus (73.4%)，其架构创新包括：planner-executor 分离 (+10pp)、跨厂商模型路由 (+4pp)、逐步验证 (+3.6pp)
• 2026-05：Level 3 (10+工具调用) 领域差距明显：Leni 61.5%，Genspark 58.8%，Manus 57.7%，OpenAI Deep Research 47.6%
• 2026-06：aiwiki.ai 综合分析 GAIA 排行，指出验证集数据污染严重，约 5% 的标准答案存在错误或歧义；全系统排行中多模型编排（GPT-5 + Gemini + Claude + DeepSeek 动态路由）成为 Top 系统标配
• 2026-06：RapidClaw.dev 发布 GAIA 深度分析，确认三层评测体系是理解 GAIA 排行榜的关键——同基准、三套数字、一个重要教训：脚手架效应比模型差异更大（30pp vs 5pp）
• 2026-06：BenchLM 镜像 GAIA 快照至 26 模型（截至 5 月 27 日），裸模型排行 Claude Mythos Preview 52.3% 领先，GLM-5 33.8%、Llama 4 Behemoth 34.2%
• 2026-06：OpAgent (Qwen3-VL-32B + RL) 在 WebArena 相关评测中达 71.6%，GAIA + WebArena 共同推动 Web Agent 能力评估进步
• 关键发现：框架效应 30pp——同一模型在 HAL 框架下 vs 裸调用差距巨大；跨厂商模型路由成为新范式；openJiuwen 开源项目推动 Agent 民主化；验证集已广泛泄漏到训练数据中；Level 3 是区分 Agent 框架优劣的关键维度
• 2026-04：RapidClaw.dev 综合数据：Princeton HAL 排行榜中 Claude Sonnet 4.5 (74.6%) 领先，Anthropic 占据 Top 6 全部席位（Opus 4.5 73.2%、OWL 开源 69.1% 排名 #3 是 HAL 唯一非 Claude 模型）
• 2026-07-09：BenchLM 更新 GAIA 追踪数据至 27 模型——Claude Mythos 5 / Fable 5 并列 52.3%（裸模型排行榜#1），GPT-5.4 Pro 50.5% 第三，Claude Opus 4.6 47.8% 第四；Mythos/Fable 5 vs GPT-5.4 Pro 差距仅 1.8pp，裸模型 Top 3 高度压缩
• 2026-07-09：GPT-5.6 Sol/Terra/Luna 全面 GA——OpenAI 未公布 GAIA 成绩，但 Price Per Token 裸模型排行中 GPT-5 Mini 44.8% 居首（裸模型），Gemini 2.5 Pro 33.3% 紧随；GPT-5.6 是否参与 GAIA 待确认
• 关键趋势：GAIA”3 套数字”框架（全系统 92.4% / 标准化 HAL 74.6% / 裸模型 52.3%）已成为 Agent 评测的教科书案例——同一基准因”模型 vs 系统”视角产生 40pp 差距；BenchLM 裸模型排行显示 Anthropic 仍占据 Top 2（Mythos 5 / Fable 5 52.3%），但 Top 3 差距已压缩至 1.8pp；GAIA 评估范式正从”模型排名”彻底转向”系统编排能力评测”
• 2026-07：Dreaming Press 发表 GAIA 深度分析——“The Benchmark That Stopped Measuring Your Model”成为经典标题；核心论点：GAIA 排行榜上的 ~47pp 差距（裸模型 52.3% vs 全系统 92.4%）不是模型的进步，是脚手架的贡献；“选模型看裸模型排行，选 Agent 看全系统排行”
• 2026-07-09：GPT-5.6 Sol 以 53.6% 的 Agents Last Exam（跨 55 行业长程 Agent 工作流）成绩展示了 OpenAI 的新 Agent 评测策略——放弃 GAIA 转向行业专用长程评测；OpenAI 选择”逃离 GAIA 拥挤赛道”是值得关注的信号
• 2026-07：rapidclaw.dev 整理的”3 套数字”框架成为社区共识——同基准 3 套数字（HAL scaffolded 74.6% / BenchLM 52.3% / Price Per Token bare 44.8%）显示脚手架效应比模型差异大 6 倍，30pp 框架加成 vs 5pp 模型差异
• 2026-07：GAIA 评估范式正从”模型评测”转向”系统评测”——9 成 Top 10 系统是多模型编排（GPT-5 + Gemini + Claude + DeepSeek 动态路由），单纯模型排名已不能反映生产可用性
• 关键趋势：GAIA 已成为多模型 Agent 系统编排的”展示窗口”，单模型能力的边界已被框架/工具/路由抹平；下一步 GAIA 评估的关键不是 SOTA 多高，而是如何设计能区分系统范式（如 planner-executor 分离 vs 端到端 multi-agent）的子基准
• 2026-07-16：Kimi K3 (2.8T MoE) 发布，在 Agent 评测上全面领先——GDPval-AA 1687 Elo（超越 Claude Opus 4.8 Max 1600）、AA-Briefcase 1527（K2.6 811 的近 2 倍）、BrowseComp 91.2%（仅次于 GPT-5.6 Sol 92.2%），但月之暗面未公布 GAIA 专项成绩；K3 的”从回答问题到完成任务”定位与 GAIA 评测目标高度一致，猜测其在全系统排行中有望进入 90%+ 区间
• 2026-07-21：Gemini 3.6 Flash 发布，OSWorld-Verified 83.0%（从 3.5 Flash ~40% 翻倍）、MLE-Bench 63.9%、DeepSWE v1.1 49%，Agent 能力大幅跃升；但 Gemini 3.6 Pro/Flash 均沿用谷歌”不公开 GAIA 成绩”策略——GAIA 作为谷歌系模型的最弱项继续被回避
• 关键趋势：GAIA 的”3 套数字”框架（全系统 92.4% / HAL 74.6% / 裸模型 52.3%）已成为 Agent 评测方法论的核心贡献——Dreaming Press 将其归纳为”GAIA 不再评测模型，它评测的是你包在模型外面的东西”；随着 OSWorld / MLE-Bench / Terminal-Bench / BrowseComp 等专业化 Agent 基准涌现，GAIA 作为”通用助手评测”的角色正被分流；但 GAIA 揭示的”脚手架效应比模型差异大 6 倍”这一洞见，将长期影响 Agent 系统的工程实践

关键发现

• 人类 92% vs GPT-4(无工具) 15% vs GPT-5(有工具) 56.8%
• 工具使用是关键差距：同一模型有无工具差距可达 3-4 倍
• Level 3 任务最能区分 Agent 框架的优劣

关联基准

• BrowseComp：GAIA 搜索维度的深化
• AssistantBench：类似的通用助手评测
• AgentBench：多环境交互
• MLE-bench：专注 ML 领域的端到端任务

不足与展望

• 466 题偏少，细分到每个难度级别更少
• 任务更新频率低，存在数据污染风险
• 没有评测任务失败后的恢复能力（模型卡住后怎么办）

2026-10-24 更新：出现 95.1% 的自报条目，与一张停在 2025 年的陈旧榜

本榜的名称在 2026-10 被至少四个来源同时使用，而它们给的数字从 44.8% 跨到 95.1%，跨度 50.3pp。本轮把新增的两条 lane 记在这里，并说明为什么不进 topResults。

新增 lane A：BenchLM 的两条 95.1%（厂商自报，不进榜）

BenchLM 2026-10-20 快照在 GAIA 下列出两条 95.1%：Sage-A1.5 与 Agents-A1-4B，均出自 InternScience，均为开源权重。BenchLM 自己在该页写明：“0 of 2 rows come from the benchmark owner or an independent run”，且整张表标注为 display-only、不参与排名。

不适合作数的三条理由：

1. 两条都是厂商自报，没有官方榜或独立复现背书；
2. 两条数值完全相同（都是 95.1%）且同属一家机构，更像同一套自报数据的两个变体，而不是两次独立测量；
3. 它们高于官方测试集榜头名 Shadow Harness V8.01 的 94.0%，而后者是 2026-10-12 刚提交、跑在公开测试集上的条目。

按本站既有判据处理：开源权重模型自报超过官方榜头名时，第一假设是数据源或口径问题，不是能力跃迁。因此只记正文，不进 topResults。

新增 lane B：一张最新模型停在 GPT-5 Mini 的陈旧快照

pricepertoken（数据源标注 LayerLens / Artificial Analysis）2026-10-22 的 GAIA 榜给出头名 GPT-5 Mini 44.8%，榜上只有 8 个模型、均值 22.1、标准差 11.7。榜上最新的模型是 GPT-5 Mini 一代——按本站”先看榜上最新模型是哪一代；如果它不是当前代，这个’最新’就是伪的”这条判据，这是一张 2025 年的快照，不能用来描述当前 GAIA 水平。

五条 lane 汇总

一条反向证据：GAIA 高不代表 HLE 高

2026-10-13 提交的 HybridAgent-8B（Stanford / UIUC / Together AI，开源权重、部分推理在隐状态中完成）自报 GAIA 43.7，高于 GPT-5.6 Luna 的 37.9 与 Kimi K3 的 41.7；但同一模型在 HLE 上只有 14.4，不到 Luna 的一半。

这个组合比任何单条数字都更能说明 GAIA 在测什么：它主要测浏览、检索与工具编排，几乎不测参数化知识。附带的一条对照也更值得记：同为 8B、纯文本 RL、无隐状态推理的 ARPO 已经拿到 GAIA 38.8——隐状态推理只贡献了 +4.9pp，而同期它在 WebWalker 上贡献了 +10.5pp。同一套技术在不同基准上的增益可以差一倍，跨基准外推仍然不安全。

⚠️ HybridAgent 的 43.7 与官方测试集榜的 94.0 显然不是同一子集/同一脚手架，本卡未把它并入任何 lane，仅作为”GAIA 与 HLE 分离”的证据记录。