为什么重要
WebArena 是最被广泛采用的 Web Agent 评测——在真实网站的沙箱环境中执行购物、GitHub 操作、Reddit 浏览等任务。是评测”AI 能不能帮你操作网页”的标准基准。
构建方式
- 部署 4 个真实网站的本地沙箱：购物网站、GitLab、Reddit、地图
- 812 个端到端任务，每个都有明确的成功判定条件
- 模型可以用 DOM 或截图作为输入，输出是页面操作序列
- 自动化验证：检查页面最终状态是否满足任务要求
任务示例
购物：“搜索价格低于 $30 的无线鼠标，选择评分最高的，加入购物车” GitLab：“创建一个新的 issue，标题为 X，描述为 Y，分配给用户 Z” Reddit：“在 r/programming 发一个帖子，标题中包含 ‘Python‘“
最新进展
- 2026-05：BenchLM 更新 WebArena 排行榜至 15 个模型，Claude Mythos Preview 以 68.7% 领先
- 2026-05：GPT-5.4 Pro 达 65.8%，Claude Opus 4.6 达 64.5%，Top 3 差距仅 4.2%
- 2026-05：Gemini 3.1 Pro 以 58.4% 进入 Top 6，Qwen3.6 Plus 以 57.2% 紧随其后
- 2026-06：Claude Opus 4.7 在 WebArena 上达 60.2%，较 Opus 4.6 (64.5%) 有所下降，可能与评测配置差异有关
- 关键趋势：WebArena SOTA 仍远低于人类基线 78%，框架/Agent 编排的影响仍然巨大；WildClawBench 等新一代原生运行时基准正在提供互补的 Agent 评测视角
关键发现
- Claude Mythos Preview 在 WebArena 上达到 68.7%，但仍低于人类基线 78%
- GPT-5.4 Pro 达到 65.8%，Claude Opus 4.6 达到 64.5%，Top 模型差距缩小
- Gemini 3.1 Pro 和 Qwen3.6 Plus 分别以 58.4% 和 57.2% 进入 Top 8
- 多步任务（5+ 步）的完成率远低于短任务
- DOM 输入比纯截图输入好 ~10%（结构化信息更易处理）
- 人类约 78%，与前沿模型差距约 20%
关联基准
- VisualWebArena：视觉导向的扩展
- WorkArena：企业级 ServiceNow 场景
- Mind2Web：跨网站泛化评测
- BrowseComp：搜索信息而非操作界面
不足与展望
- 沙箱网站与真实网站有差距（简化了认证、验证码等）
- 没有测试动态页面（AJAX 加载、SPA 路由）
- 安全风险：Agent 操作网页可能导致误操作——WebArena 未评测安全性
2026-10-31 更新：开源 27B 首次登顶，WebArena-Verified 分流官方口径
- Qwen-UI-Agent（阿里通义 MAI，27B 开源权重，arXiv:2607.28227，2026-07 发布）以 73.6% 成为原版 WebArena 上首个越过 70% 的条目，超过此前头名 Claude Mythos Preview（68.7%）4.9pp。注意这是技术报告自报 lane，与本卡其余条目（聚合站收录的厂商值）同性质，均为非官方复现。同一报告里 OSWorld-Verified 79.5%、MobileWorld 82.1%、ScreenSpot-Pro 81.5%。
- 人类基线 78% 首次被逼近但未越过：73.6% 与 78.24% 还差 4.6pp——「开源权重逼近人类」与本卡 2023 年 GPT-4 的 14.41% 相比是 5 倍跨度。
- 被挤出前八的 Qwen3.6 Plus（57.2%，2026-05）转入正文。
- 口径分流提醒：原版 WebArena 的评分器（子串匹配、检查器脆弱）已被 ServiceNow/Mila 的 WebArena-Verified 重校准（假阴性 −11.3pp），2026 年主要厂商（Kimi K3 71.6%、Opus 4.8 71.2%、GPT-5.6 Sol 69.7%）已转向 Verified 版报分。两条榜的分数量级接近但不可直比，引用时须钉住是哪一版——详见 WebArena-Verified 卡。
- 饱和判定维持「未饱和」：头名 73.6% 仍低于人类 78%，且 Verified 版头名 71.6% 同样未越线。