返回评测
Agent Agent-深度研究 未饱和 模态 · 混合 任务 · 开放生成

OfficeQA Pro V2 2.0

Databricks 发布的企业接地推理基准：90 道题锚定在约 1,400 份（12 万页）1793–2024 年美国财政部收支档案上，每题平均需 6.7 份文档证据；开箱即用前沿 Agent 平均仅 37.5%，Grounded Reasoning Cup 冠军 63.3%，Databricks Genie 换 harness 平均 +24.0pp——管道效应首次以 25pp 量级盖过模型差距

Databricks AI Research Team（联合 USAFacts 与美国财政部） ·

考察能力

多文档检索 接地推理 跨文档核对 多步数值计算 图表解读 网页搜索补充

构建信息

数据规模
90 题 × 约 1,400 份 PDF（约 120,000 页，1793–2024）
构建方式
asynth 内部合成数据库流水线（输入 → 合成 → 验证 → 人工终审）；语料为美国财政部 Accounts of Receipts and Expenditures，为美国建国 250 周年首次统一发布；题目全部需语料证据，已过滤仅凭参数知识或纯网页搜索即可回答的题
评测方式
确定性精确匹配（0.0% 容差）；HF 数据集门控访问保护答案；随数据集发布 PDF 原件（约 13.3GB）与解析 JSON 语料（约 794MB）及评分函数
核心指标
Accuracy（精确匹配）。⚠️ 各条目 harness/检索/解析管道差异极大，跨条目不可直减

资源链接

代码: https://github.com/databricks/officeqa 官网

模型效果排行

🥇 Kimi K3.1 Pro (Moonshot AI, max, 2026-10-23 发布对照表, vendor 自报, harness 未披露; 同表 Claude Opus 5.5 为 62.2%)
64.4% 2026-10
🥈 Grounded Reasoning Cup 冠军队（首届 Databricks 竞赛, 11 支学术队自建 agent, 2026-08; 官方博客未披露队名; 参赛队平均 41.1%）
63.3% 2026-08
🥉 Claude Opus 5.5 (Anthropic; 数值出自 Moonshot 2026-10-23 对照表, 与 64.4% 同表同 lane, 转抄署名待独立复核)
62.2% 2026-10
4. Databricks Genie 最强配置（Databricks 自报, ai_parse 预解析 + Genie 编排; ⚠️ 另一二手源将「最佳受测 agent harness」记为 54.4%, 与 60% 并存不判真值）
60% 2026-08
5. 开箱即用前沿 Agent 平均（Claude Code × Opus 4.8 / Fable 5, Codex × GPT-5.5 / GPT-5.6 Sol, 厂商默认 harness, 均值）
37.5%（均值） 2026-08
6. 双 harness 五模型基线平均（Databricks 论文口径, 均值）
26.0%（均值） 2026-08

为什么重要

企业里最常见的一类 AI 任务——「在一大堆文档里找证据、对口径、算数字」——恰恰是公开基准覆盖最弱的一类。OfficeQA Pro V2 用一个极端但真实的语料把这条能力推到极限：232 年跨度的美国联邦收支档案。同一个财务概念在这套语料里会换名字、换位置、换表结构、换单位、换时间基准（历日年 vs 财政年）、换聚合层级——这正是企业存量文档的通病，只不过这里被 232 年的制度演化放大到了极致。

对 Agent 评测而言，这张基准还提供了一个罕见的机会变量：harness 的效应第一次被量化到 25pp 量级。同一批前沿模型，厂商默认 harness 平均 37.5%，换 Databricks Genie 管道平均 +24.0pp（相对 +92%），竞赛冠军自建 agent 到 63.3%——管道（解析、检索、编排）的差距比模型之间的差距大得多，这直接挑战「排行榜名次 ≈ 落地效果」的默认假设。

构建方式

  1. 语料：约 1,400 份 PDF、约 120,000 页，覆盖 1793–2024 年（美国建国 250 周年之际由财政部首次作为整体集合发布）。历史文档包含长 s 古字体（「Treaſury」）、宽幅折页、ditto 记号、T 字账格式等对现代解析器的真实折磨；现代部分则是数字原生 PDF + 图表。
  2. 题目：90 题，经 asynth 合成数据库流水线生成（输入 → 合成 → 验证 → 人工终审），并过滤掉仅凭参数知识或纯网页搜索即可回答的题——逼系统回到语料里。
  3. 多文档压力：每题平均需 6.7 份源文档（中位 5.5，最多 24 份）；74.4% 的题需 4 份以上（前代 OfficeQA Pro 平均仅约 2 份、62.4% 需 4 份以上）。
  4. 能力混合：7% 的题需图表视觉解读（前代约 3%），10% 需补充网页搜索（通胀指数、GDP、人口等外部数据）。
  5. 防泄露：HF 数据集门控访问（gated access）防止被评测的 Agent 拿到答案键。

关键发现

  • 开箱即用前沿 Agent 平均 37.5%——Claude Code（Opus 4.8 / Fable 5）与 Codex（GPT-5.5 / GPT-5.6 Sol）跑厂商默认 harness，连一半都不到。
  • 管道增益 24.0pp（+92% 相对）：Databricks Genie（ai_parse 预解析 + 编排）在配对模型下把均值从 37.5% 抬到 52.8%（+15.3pp），最强配置达 60%；对 Claude Fable 5 单模型提升 14.4pp 且成本降约 9 倍。换 harness 的收益超过换任何一家厂商的旗舰模型。
  • 主要失败模式不是「算错」而是「找错」：解析保真度（表格边界、历史排版）、时间口径不一致（历日年/财政年、后续修订被忽略）、实体范围与类别粒度误判。错误大多发生在进入推理之前。
  • 题量 90 题粒度约 1.1pp，单次跑完一个 agent 的成本可观（语料 13.3GB 级），竞赛队平均 41.1% 与冠军 63.3% 之间同样是 harness/架构差距而非模型差距。

三条 lane 的读法

topResults 里 64.4 / 63.3 / 62.2 / 60 四个值来自三条互不可直减的 lane：

  1. K3.1 Pro 64.4%（Moonshot 自报）：出自 2026-10-23 发布对照表，官方博客称「当前最优」，但 harness 与运行配置未披露；同表的 Opus 5.5 62.2% 是二手转抄值（该表的对照列此前被发现过署名错配，引用前需独立复核）。
  2. 63.3%（竞赛 lane）：11 支学术队自建 agent 的最高值，架构完全自定——它是「系统能力」而非「模型能力」的读数。
  3. 60%（Databricks 自报）：Genie 最强配置；另一二手源将「最佳受测 agent harness」记为 54.4%，两值并存不判真值（可能对应不同配置行）。

当前这张基准的正确读法是：60% 出头的头部 + 37.5% 的开箱均值 + 26.0% 的朴素基线，三者之间的落差全部属于管道，不属于模型。

局限与展望

  • 90 题的粒度（1.1pp/题）决定了 ±3pp 内的名次不具结论性；跨系统比较必须报模型 + harness + 文档表示 + 检索工具 + 评分容差的完整配置，否则不可比。
  • 单一语料域：联邦财务档案的表格密度与历史排版是特化的难，向其他企业域（法务、医疗、工程）外推需谨慎；Databricks 自己也将其定位为 OfficeQA Pro 的「迁移测试集」而非通用评测。
  • 门控访问的代价：防了答案泄露，也让第三方复核只能通过 HF 审批进行，独立复现速度受限。
  • 指标是 0.0% 容差的精确匹配：对「差一个舍入位」的答案与完全错误一视同仁——这对财务场景是对的，但读分数时应记住它比带容差的指标更严。

关联基准

  • BrowseComp：同为「必须回到外部证据」取向，但语料是开放网络而非门控文档库
  • Frontier Finance：同代金融工作流基准（关注投资研究全流程而非文档检索单点，暂无独立卡片）
  • GAIA2：异步时钟 + write-action 验证器路线的通用 Agent 基准
接地推理 企业文档 金融文档 多文档检索 Databricks harness效应 美国财政部 Grounded Reasoning Cup