WebArena-Verified 1.0

为什么重要

WebArena 是被引用最多的 Web Agent 基准，但它的评分器以子串匹配为主、部分任务的检查器与指令错位——原版分数里混着相当比例的「假阴性」（Agent 做对了却被判错）。WebArena-Verified 不换环境、不换任务，只把「尺子」修准：审计全部 812 任务、修复错位检查器、替换评分逻辑、验证后端状态。对任何想在 WebArena 上报分的团队，这是当前更可信的口径——2026 年主要厂商（Kimi、Anthropic、OpenAI、Google）已转向这一版报分。

构建方式

1. 全量审计：逐条检查 812 个任务的任务描述、参考答案与检查器，修复错位的评测、澄清歧义指令
2. 评分器升级：子串匹配 → 类型感知的精确匹配 + 语义归一化；状态变更类任务直接验证后端（数据库）状态而非页面文本
3. 确定性输出：结构化 JSON schema + 显式状态码，取代原先脆弱的判定脚本
4. 报告口径：模板级宏平均（241 个模板而非 812 个任务简单平均）、95% 置信区间、失败模式分解
5. Hard 子集：137 个难任务（早期 OpenReview 版本为 258 个），评测成本降 83% 且保留判别力——快速迭代时用它，报正式分数用全量
6. drop-in 兼容：环境容器不变，现有 Agent 只需最小改动即可迁移

关键发现

• 原版评分管道的假阴性率比新版高 11.3pp——同一 Agent 在原版 WebArena 上的分数被系统性低估；这直接解释了为何原版与 Verified 版的分数量级接近但不重合
• 头部 71.6% 仍未越过人类基线 78.24%；Top 3 差距仅 1.9pp，Top 8 差距 4.8pp——头部已密集，但天花板未到
• 开源权重两强：Kimi K3 71.6% 登顶、Qwen3.8 Max 66.8% 第八，开源与闭源在这一口径下已无明显代差
• ⚠️ 榜单性质：BenchLM 对该基准的标注是「mostly self-reported（4 行中 0 行来自基准所有者或独立复跑）」——topResults 全部为厂商/model card 自报 lane，引用时应记住这一点

最新进展

• 2026-09-08 批次：Kimi K3 71.6%、GPT-5.6 Sol 69.7%、Nex-N2.5-Pro 67.6%、Qwen3.8 Max 66.8% 同批入榜（BenchmarkList 镜像，2026-10-13 更新）
• 2026-07-09 批次：Claude Opus 4.8 71.2%、Muse Spark 1.1 69.0%、Gemini 3.1 Pro Preview 69.0%、GPT-5.5 67.0%
• 开源侧长尾：Qwen3.8-27B 64.8%、Qwen3.6 27B 48.8%、Gemma 4 26B A4B 25.6%——开源头部与长尾差 46pp
• 原版 WebArena 上 Qwen-UI-Agent（27B）报 73.6%（arXiv:2607.28227），与 Verified 版头名 71.6% 量级接近但口径不同，不可直比（见 WebArena 卡）

关联基准

• WebArena：被重校准的原版
• VisualWebArena：视觉导向扩展
• OSWorld-Verified：同为「Verified 重校准」路线的计算机操作基准

不足与展望

• 榜单以自报为主，缺少基准维护方统一复跑的 lane（对比 OSWorld-Verified 的维护者自跑榜）
• 环境本身仍是 2023 年的沙箱站点，未覆盖开放网络的验证码、反爬、动态内容
• Hard 子集规模（137）在两个论文版本间不一致（258 → 137），引用时需注明版本