返回评测
Agent Agent-工具调用 接近饱和 模态 · 文本 任务 · 执行验证

MCP-Atlas v3 (2026-05 更新)

评估模型通过 MCP 协议自主发现并编排 36 个真实服务器 220 个工具的能力，SOTA 89.2%（Muse Spark Open，Meta 2026-10-15，xhigh）

Scale AI & NUS ·

考察能力

MCP协议 工具发现 多工具编排 错误恢复 跨服务器协调

构建信息

数据规模
1,000 tasks (500 public + 500 private)
构建方式
人类专家编写并验证，覆盖 36 个真实 MCP 服务器和 220 个工具
评测方式
Claim-level 评分（原子事实声明验证），0.75 claim coverage 阈值
核心指标
Pass Rate (%)。⚠️ 官方榜自 2026-04-08 起统一按 v3 方法论重评（升级 Judge、增加重试、100 次工具调用预算替代 20 轮限制），重评前的历史值不可与新值直接比较；引用前先确认该分数是否经过 v3 重评

资源链接

论文: arXiv:2602.00933 代码: github.com/scale-ai/mcp-atlas 官网

模型效果排行

🥇 Muse Spark Open (Meta, xhigh, 2026-10-15 发布, 816B总/42B激活 MoE 开源权重; Meta 官方对照表 89.2%; lane 判定依据——该表同时给出 Qwen3.8-2.4T-A95B 84.5 / GLM 5.3 84.2 / Gemini 3.5 Flash 83.6 / Fable 5 83.3，与 Scale 官方榜逐字吻合 ≥4 条，判定同 lane; 截至 2026-10 官方榜尚未收录此条目，属厂商自报)
89.2% 2026-10
🥈 Muse Spark 1.1 (Meta, thinking + tools, 2026-07-09 发布; 官方榜 88.10±1.95)
88.1% 2026-07
🥉 Claude Fable 5.1 (Anthropic, 官方榜标注 NEW, 87.20±2.05)
87.2% 2026-07
4. Claude Opus 5 (Anthropic, xhigh, 官方榜 85.80±2.10)
85.8% 2026-07
5. Qwen3.8-2.4T-A95B (xHigh, 官方榜 84.50±2.25)
84.5% 2026-07
6. GLM 5.3 (Z.AI, 官方榜 84.20±2.15)
84.2% 2026-07
7. Kimi K3 (Moonshot AI, thinking max + tools, 2026-07-16 发布; ⚠️ 两值并存不判真值——发布值 84.2% 与 Scale 官方榜 kimi-k3 (max) 的 82.30±2.35 差 1.9pp，疑为发布值未经 v3 方法论重评; 官方榜上 84.20 那条标的是 GLM 5.3)
84.2% (发布值) / 82.3% (官方榜) 2026-07
8. Gemini 3.5 Flash (Google, high, 官方榜 83.60±2.30)
83.6% 2026-06

为什么重要

MCP-Atlas 是首个大规模评估模型在真实 MCP（Model Context Protocol）生态中工具使用能力的基准。与 BFCL 等简单函数调用评测不同，MCP-Atlas 要求模型自主发现工具、跨服务器编排工作流、从错误中恢复——这正是生产级 Agent 的核心能力缺口。

MCP-Atlas 的独特价值在于：模型可以很强在推理和对话上，但仍然在可靠的端到端工具使用上失败。诊断数据显示 63.3% 的失败源于认知层面（任务理解、过早停止、错误合成），而非工具调用本身——这暴露了当前 Agent 在认知连贯性上的薄弱环节。

构建方式

  1. 1,000 个人类专家编写并验证的任务，覆盖 36 个真实 MCP 服务器和 220 个工具
  2. 跨服务器编排：绝大多数任务需要跨多个服务器协调调用 3-6 个工具
  3. 条件分支：约 1/3 的任务包含条件分支，后续操作依赖前序工具输出
  4. 噪声工具暴露：每任务暴露 10-25 个工具（3-7 个必需 + 5-10 个语义相似干扰项）
  5. 任务提示不指定服务器、工具或参数——Agent 必须完全自主识别并调用
  6. 时间不变性：有状态工具使用固定种子数据，确保可复现

MCP 服务器分布

类别代表服务器描述
ENV-BASICbrave_search, ddg_search, google-maps, weather搜索、地图、天气
ENV-ANALYTICSmongodb, airtable, calculator结构化数据查询与聚合
ENV-PRODUCTIVITYfilesystem, notion, slack, google-workspace, arxiv文件、笔记、邮件、文档
ENV-FINANCIALtwelvedata, alchemy金融数据操作
ENV-CODINGgit, github, mcp-code-executor, cli-mcp-server, e2b-server仓库管理与代码执行

评测方法

  • Claim-level 评分：最终答案按原子事实声明逐条评分（1.0 完全正确 / 0.5 部分正确 / 0 不正确）
  • Pass Rate：claim coverage ≥ 0.75 视为通过
  • 替代路径得分：只要通过有效替代工具路径得到正确答案即可获满分
  • 11 类诊断分类：区分工具调用失败与认知失败（任务理解、合成、解析、过早停止等）
  • 2026 年 4 月更新：升级评分 Judge，增加重试处理，取消 20 轮限制改为 100 工具调用预算

关键发现

  • Muse Spark 1.1 以 88.1% 登顶：Meta 的 thinking + tools 策略在 MCP 工具编排上展现范式级提升，较 1.0 版提升 5.9pp
  • Kimi K3 成为首个突破 84% 的开源模型：2.8T MoE 以 84.2% 超越 Claude Fable 5 (83.3%)，仅落后 SOTA 3.9pp
  • 63.3% 失败源于认知层面：不是工具调用问题，而是任务理解错误、过早停止或错误合成
  • 高性能模型在工具执行成功后仍失败：部分模型成功调用工具但无法正确合成输出
  • 三层性能结构：顶级模型（75%+）、中间层（55-70%）、底层（<50%）
  • 干扰项有效区分工具发现能力：语义相似干扰项防止暴力调用

最新进展

  • 2026-10-15：Meta 发布 Muse Spark Open（816B 总 / 42B 激活 MoE 开源权重，1M 上下文，Muse Model License），官方对照表在 xhigh 档报 MCP-Atlas 89.2%，接替 Muse Spark 1.1 的 88.1% 成为新 SOTA。lane 判定依据：同一张 Meta 对照表还给出了 Qwen3.8-2.4T-A95B 84.5、GLM 5.3 84.2、Gemini 3.5 Flash 83.6、Claude Fable 5 83.3，与 Scale 官方榜逐字吻合四条以上，因此判定为同一 lane；但截至 2026-10 官方榜尚未收录该条目，仍属厂商自报。同一张表里 Muse Spark Open 还在 JobBench（61.8，六模型第一）与 AA-Omniscience（25，八模型第一）上领先，但在 GDPval-AA v2（1401）、Terminal-Bench 2.1（76.4）、DeepSWE 1.1（60）、SciCode（58.5）、GPQA Diamond（89）上落后 GLM 5.3 与 Kimi K3——“工具编排强”与”综合推理强”在这张表上是两件事
  • 2026-10-22 更正（张冠李戴）：本卡原把 84.2% 记在 Kimi K3 名下并称其为”首个突破 84% 的开源模型”。核对 Scale 官方榜后发现，官方榜上 84.20±2.15 那条标的是 GLM 5.3，而 kimi-k3 (max) 是 82.30±2.35。两个值差 1.9pp，且官方榜自 2026-04-08 起换了 v3 方法论（升级 Judge、增加重试、100 次工具调用预算替代 20 轮限制）并重评所有模型，发布值很可能未经重评。按”两值并存不判真值”处理，不做二选一。这也解释了为什么本卡 Top 8 里同时出现两条 84.2
  • 2026-07-09：Meta 发布 Muse Spark 1.1，MCP-Atlas 以 88.1% 登顶新 SOTA，较 1.0 版 82.2% 提升 5.9pp，超越 Gemini 3.5 Flash (83.6%) 成为首个突破 85% 的模型——Meta 的 thinking + tools 策略在 MCP 工具编排上展现范式级提升
  • 2026-07-16：Moonshot AI 发布 Kimi K3（2.8T MoE），MCP-Atlas 达 84.2%，成为首个突破 84% 的开源模型；K3 在 MCP 工具编排上超越 Claude Fable 5 (83.3%)，仅次于 Muse Spark 1.1
  • 2026-07-06：腾讯混元 Hy3（295B MoE, Apache 2.0 开源）MCP-Atlas 达 79.1%，与 Claude Opus 4.7 并列，成为开源模型第二高；仅 21B 激活参数即达此分数，参数效率在开源模型中领先
  • 2026-07-25：BenchLM 更新 MCP-Atlas claim coverage 快照，Claude Opus 5 以 89.1% 领先（但此为 claim coverage 指标，非 pass rate）；DataLearner pass rate 排行榜 Muse Spark 1.1 88.1% 仍为 SOTA
  • 关键趋势：MCP-Atlas Top 3 已压缩至 4.5pp（Muse Spark 1.1 88.1% / Kimi K3 84.2% / Gemini 3.5 Flash 83.6%），基准进入接近饱和阶段；Meta + Moonshot + Google 三强格局替代了此前的 Google + Anthropic 双强；开源模型首次进入 Top 2（Kimi K3）；MCP 工具编排正在从”区分度”转向”table stakes”——前沿模型普遍 >80%，但 claim coverage vs pass rate 的双指标体系仍保留细粒度区分能力
  • 2026-05-19：Gemini 3.5 Flash 在 Google I/O 发布，MCP-Atlas 达 83.6%，超越所有旗舰模型。同日公布 Toolathlon 56.5% 和 Finance Agent v2 57.9%
  • 2026-05：Scale Labs 更新 MCP-Atlas 评测方法论（v3），升级评分 Judge、增加重试处理、100 工具调用预算替代 20 轮限制
  • 2026-05：GLM-5.1 以 68.0% 进入 Top 7，Qwen3.7 Max 以 66.6% 进入 Top 8，中国模型在 MCP 工具使用上追赶迅速
  • 2026-05：MCP-Atlas arXiv 论文更新至 v3 (2602.00933v3)，20 个前沿模型评测结果公布
  • 2026-06-09：Anthropic 发布 Claude Fable 5，MCP-Atlas 达 83.3%，仅落后 Gemini 3.5 Flash 0.3pp，与 Opus 4.8 82.2% 拉开 1.1pp 内部差距；Mythos 5 未在 Anthropic 公开榜中独立列分
  • 2026-06-13：GLM-5.2 (智谱开源) MCP-Atlas 达 76.8% (Z.AI 内部评测) / 77.0% (CodingFleet 跨厂商表)，开源权重模型在 MCP 工具使用上首次反超 Claude Opus 4.6 (75.8%)，仅次于 Opus 4.8
  • 2026-06：codingfleet.com 排行榜扩展至 11 个模型，Top 4 差距仅 1.1pp (Gemini 3.5 Flash 83.6% / Fable 5 83.3% / Opus 4.8 77.8% / GLM-5.2 77.0%)，但不同厂商 harness 不可直接对比
  • 2026-06-23：字节跳动发布豆包 Seed 2.1 Pro，MCP-Atlas 评测超过 Claude Opus 4.7 和 GPT-5.5（具体分数未公开）
  • 2026-07-01：Fable 5 7月1日由美国商务部解禁全球恢复访问，83.3% 分数恢复有效；Top 4 集群（Gemini 3.5 Flash 83.6% / Fable 5 83.3% / Opus 4.8 77.8% / GLM-5.2 76.8%）形成稳定 4 强格局
  • 2026-07-06：llm-stats.com 7月榜单确认 Fable 5 82.2% / Opus 4.8 82.2% / GLM-5.2 76.8% / Qwen3.7 Max 76.4% / Kimi K2.7 Code 76.0% / GPT-5.5 75.3% / MiniMax M3 74.2% / DeepSeek V4 Pro Max 73.6% 形成公开 Top 8；Muse Spark (Meta) 在 Scale 标准化脚手架上 82.2% 反超 Claude Opus 4.6/4.7
  • 关键趋势：MCP-Atlas 已基本饱和但仍保留部分区分度——Top 4 集群 83-77%，Anthropic (Fable 5/Opus 4.8) + Google (Gemini 3.5 Flash) + Meta (Muse Spark) + 智谱 (GLM-5.2) 占据前列；开源模型（GLM-5.2 76.8%）首次进入 Top 4；MCP 协议正成为 LLM 调用外部工具的标准接口，工具编排能力正在从”瓶颈”转为”差异化维度”

关联基准

不足与展望

  • 公开集仅 500 题，另一半私有不公开
  • 评分依赖 LLM Judge，可能引入偏差
  • 真实 MCP 服务器可能有 API 变更风险（尽管使用种子数据控制）
  • 当前仅评测文本模态，未来需支持多模态工具调用
  • 需要关注新兴的 ComplexMCP、LiveMCPBench 等基准是否提供互补视角
MCP 工具使用 Agent Scale AI 工具编排