BrowseComp

为什么重要

BrowseComp 是 OpenAI 发布的搜索 Agent 评测——1266 个需要”持久搜索”才能找到答案的难题。核心发现：OpenAI Deep Research 51.5% vs 其他方案 <5%，证明端到端 RL 训练的搜索 Agent 远超 prompt engineering。

构建方式

1. OpenAI 研究员设计了 1266 个需要深入搜索才能回答的问题
2. 每个问题都经过验证：答案确实存在于互联网上，但不是简单搜索就能找到
3. 需要多步推理、多源验证、持久搜索策略

任务示例

示例 1（冷门事实）：

“哪位诺贝尔物理学奖得主曾在 1970 年代发表过关于烹饪的论文？” 需要搜索诺贝尔物理获奖者列表 → 逐个检索其发表论文 → 找到跨领域论文

示例 2（深度检索）：

“2015 年在某个特定学术会议上获得最佳论文奖的作者，后来转去了哪家公司？” 需要找到会议记录 → 找到获奖者 → 追踪其后续职业变动

关键发现

• OpenAI Deep Research 51.5% vs GPT-4o + 搜索 <5%——差距极大
• 说明”给 LLM 加搜索工具”远不够，需要端到端的搜索策略训练
• 与 SimpleQA（单步事实）、FRAMES（多跳推理）形成互补的搜索能力评测链

最新进展

• 2026-10-05 补录：GPT-6.1 Sol 以 95.4%±3.1 接管榜首，BrowseComp 头名首次越过 95%，而夺榜的是 OpenAI 的平价档而非旗舰。 三条读法：① 这是本榜第一次由非旗舰档位拿下第一。GPT-6.1 Sol（2026-09-29 发布，$2/$10 每百万 token）比晚于 Astra 26 天发布，却把 Astra 的 91.5% 抬高 3.9pp；对照 GPT-6 Sol 的 2026-09-22 首发值，同一条产品线一周内涨了约 5pp。这与 Terminal-Bench 4.0 上「Sonnet 5.5 反超 Opus 5.5」、Argo-Bench 上「Low 档 Astra 33.3 高于 Opus 5.5 的 32.6」是同一族现象——2026 年下半年的能力跃迁集中在中端档位，旗舰档的边际收益在递减。② 数字可自核：公布的 95.4% 标注由 496/520 个样本得出，496 ÷ 520 = 95.38%，与四舍五入后的 95.4% 吻合；±3.1 是置信区间半宽。③ ⚠️ 但置信区间已经和名次差同量级：95.4%±3.1 的下界是 92.3%，Astra 91.5% 即便按同样 ±3.1 估，上界也有 94.6%——两条区间大幅重叠，“Sol 6.1 第一”在统计上不成立。本卡仍按公布值降序排入 topResults，但结论应当写成「头部三个模型无法区分」。saturation 维持「已饱和」，且这一条比 09-03 那次更硬：头名距满分只剩 4.6pp，BrowseComp 作为排行榜已经没有剩余空间，它的剩余价值只剩”谁用更少的 token 达到同一水平”
• 2026-09-03：GPT-6 Astra 以 91.5% 刷新 BrowseComp 纪录，首次突破 90%。同一张 OpenAI 发布对照表里，GPT-5.6 Sol 90.4%、Claude Opus 5 90.8%——前三名挤在 1.1 个百分点内，前八名全部落在 86.0%–91.5% 的 5.5pp 带内。至此本基准的 saturation 由「接近饱和」上调为「已饱和」：2025-04 的原始论文里 OpenAI Deep Research 是 51.5%、GPT-4o 只有 1.4%，一年半后头部已无处可涨
• 2026-09-19 复核：把 51.5%（OpenAI Deep Research，2025-04）与 1.4%（GPT-4o）两条历史基线从 topResults 移出，改为在正文保留——它们的作用已经从”排行榜条目”变成”量纲参照”。基准从”能不能搜到”变成”谁搜得更快更省”，正好落在 Mr.LHDR（长程依赖一致）与 DAREBench（成本效率）这一批新基准试图补上的位置
• 2026-05：GPT-5.4 Pro 以 89.3% 领跑 BrowseComp，Claude Mythos Preview 紧随其后 (86.9%)
• 2026-05：Gemini 3 Pro Deep Think (87%) 和 Gemini 3.1 Pro (86%) 进入 Top 5
• 关键趋势：前沿模型在 BrowseComp 上已从 2025 年 4 月的 51.5% 跃升至近 90%，基准接近饱和
• GPT-4o 仅 1.4% vs GPT-5.4 Pro 89.3%：一年间搜索 Agent 能力的飞跃令人瞩目

2026-10-26 更新：首个非 OpenAI 系前三，以及一处归属待核

Moonshot AI 于 2026-10-23 发布的 Kimi K3.1 Pro，其发布对照表在 BrowseComp 上给出 92.1%，排在 GPT-6.1 Sol（95.4%）之后、GPT-6 Astra（91.5%）之前，是本榜自 2025 年建卡以来第一个进入前三的非 OpenAI 系条目。此前本榜前八有六条是 OpenAI 自家模型。

lane 锚点：同一张 Moonshot 对照表复现了 GPT-6 Astra 的 91.5%，与本卡既有值逐字吻合 → 判定同 lane，92.1% 可直接进 topResults。

⚠️ 一处归属待核：Moonshot 表把 90.8% 记在 Claude Opus 5.5 名下，而本卡该值来自「2026-09-03 OpenAI 对照表」，记作 Claude Opus 5。时间上 2026-09-03 的表不可能出现 9-22 才发布的 Opus 5.5，所以两者要么是一次巧合的同值，要么其中一处的模型名标错了。本轮不改卡内条目，两处并存并标注未决——这条也再次说明：厂商对照表里的对照列常常是二手转抄，模型名与值的配对需要单独核。

两条读法

1. 头名与第八名的差距从 5.5pp 拉到 8.5pp。 上一轮本卡记录的是「前八名压缩在 5.5 个百分点内」，本轮因 92.1% 插入、86.9% 出局，极差扩大到 8.5pp。方向值得注意：头部（Sol 6.1）仍在往前跑，而尾部被挤掉的是 2026-05 的旧条目——这不是基准重新获得区分度，而是新旧两代条目在榜上换班。saturation 维持「已饱和」。
2. K3.1 Pro 在检索类与终端类上都强，在科研工作流类上弱。 同一张表里它 Terminal-Bench 4.0 65.7%、HLE with tools 70.0%、BrowseComp 92.1%，而 Terminal-Bench Science 0.1 只有 38.1%（Astra 68.1%）。“深度检索 + 终端执行”与”科研工作流”是两条不相关的曲线，本榜属于前者。