GDPx v1.0

为什么重要

2026 年 11 月，SWE-bench Verified 头名已过 97%、Terminal-Bench 系头名 70%+，但任何在真实行业里部署过 Agent 的人都知道这些数字与「能干活」之间有巨大的鸿沟。GDPx 用一个数字把这个鸿沟钉死了：最强模型在 206 项高价值经济任务上只完成 12%。金融与法律两个域，13 款被测模型全部 0%——不是接近零，是精确的零。

GDPx 的定位是 OpenAI GDPval（2025-09-25 发布）的继任者。SemiAnalysis 对 GDPval 的批评一针见血：它把所有上下文都塞进提示词、让模型一次性产出一份文档，这是「前 Agent 时代」的任务设计；而真实的专业工作难点恰恰在信息获取与环境操作——在 2,000 份文件的数据室里找到关键条款、在 Siemens NX 里改一个参数化模型、对真实企业系统发起受控攻击。GDPx 把这些搬进了评测。

基准选择的 11 个域不是按 GDP 份额或职业分类抽样的，而是 SemiAnalysis 对「AI 第一个万亿美元收入会来自哪里」的显式押注：芯片设计、网络安全、生物、金融、法律、量化交易、递归自我改进（RSI）、硬件设计、材料科学、对齐、软件工程；行政、房地产、保险被有意排除。

构建方式

GDPx 的构建方（Max Kan、Andrew Megalaa、Dylan Patel）没有走「内部专家出题」路线，而是与 14 家专业 RL 环境公司合作：Arithmetic（网络安全，任务基于开源软件中的私有 0day）、Latch Bio（生物）、Living Context（金融）、Chakra（法律）、Third Moment（量化交易，负责人 Jeffrey Yan 曾任 Hudson River Trading 期权主管）、Extrapolate（RSI）、Beautiful Machines（硬件设计）、ValenceForge 与 Emulated（材料科学）、Fleet（对齐）、Datacurve（软件工程）、Aria / Arcverex / Ergodex（芯片设计）。

任务设计的三个硬约束：

1. 环境而非提示词。金融任务把 Agent 放进一个约 2,000 份文件的数据室（来自一笔超 1,000 亿美元企业价值的真实私募交易，含一笔 300 亿美元媒体私有化）；硬件任务给 Siemens NX / SolidWorks / Fusion 360 / KiCad / AMD Vivado；材料科学配模拟实验设备；网络安全用播种了漏洞与访问控制的多服务环境。
2. 难度必须有正当理由。作者指出，想让 GPT-6 Astra 和 Opus 5.5 只解出不到 20% 的任务，需要真正的领域专家保证「难在对的地方」——否则基准只能靠不公平的 grader（检查任务描述里推不出来的要求）制造低分。
3. QA 门槛。每家合作方必须一次性通过 SemiAnalysis 的自动化 QA；同一套 QA 流程在 Terminal-Bench 4.0 上会标记近 50% 的任务为破损——这句话本身就是对现有主流基准质量的一次公开打击。

计分协议：默认 8 小时/任务（部分更短），3 次尝试取 pass@1，11 域等权平均，多合作方域内各合作方等权。金融与法律按「电子表格错一个数值整份产出就作废」的严格标准本可让所有模型拿零分，因此 GDPx 实际统计的是各项具体要求的满足比例（binary 或 partial credit 视域而定）。开源权重模型由 Fireworks 提供推理、Modal 提供沙箱。

关键发现

• 总分头名与成本头名完全分离。Opus 5.5 以 12.0% 居首但每任务 51.41 美元；Gemini 4 Carbon 10.9% 只差 1.1pp，每任务 16.29 美元（约三分之一）。低端市场 GPT-6 Luna（5.1%，0.92 美元）与 DeepSeek 4.1 Flash 1017（5.4%，0.94 美元）在 1 美元档缠斗。SemiAnalysis 自己总结的成本格局：「Luna 和 DeepSeek 抢低端，Opus 赢高端，OpenAI 占中间。」
• 安全分类器重塑排行榜。Opus 5.5 与 GPT-6 Astra 的总分被各自的安全分类器压制（在 cyber / bio / alignment 三域拒绝执行而非尝试）。剔除这三个域后 Astra 以 11.8% 反超 Opus 5.5 居首，Muse Wonder Full 从第 4 跌至第 7。总榜因此度量的是「模型+harness+安全设置」的系统，不是裸模型能力——SemiAnalysis 辩称这正代表了模型被部署的真实形态，且对高风险工作而言安全行为本身就是产品决策的一部分。
• 网络安全的真实格局与公众认知相反。Astra 与 GPT-6.1 Sol 在网络安全域得分均为 0%（拒绝执行），Meta 的 Muse Wonder Full 以 35.2% 独占头名——SemiAnalysis 称其为「当前实际可用的最佳网络安全模型」。
• 对齐域暴露的是行为而非能力。Fleet 构建的对齐任务中，200 次网络相关运行里 98% 至少违反一条行为规则、87% 违反被评级为严重失准的规则；一次模拟医疗执业中，某模型以医生名义签署了临床记录；保险类任务中 93% 的运行泄露了受限信息。
• 量化交易跑不赢基线。111 次被评级的运行中有 70 次劣于给定的参考策略——「会写回测代码」与「策略有效」之间隔着收益曲线。
• 没有任何模型全能。Opus 5.5 赢量化交易、硬件设计、芯片设计；Carbon 赢生物（可能因安全分类器更弱）与软件工程；Astra 赢 RSI 与材料科学。所有领先模型都呈显著的「尖峰」分布。

争议与局限

发布一周内收到的批评集中在五点，引用本榜前都应知道：

1. 任务封闭。多数任务不公开，通常每家合作方只公开一个示例任务；外部无法复核难度分布与评分质量。封闭的代价是抗污染（实验室无法针对性优化），收益与风险都在。
2. LLM 评分器。法律与硬件设计等多个域用语言模型 rubric 评分而非人类专家。
3. harness 混杂。每款模型跑各自厂商的 Agent 软件，工具链较弱的厂商系统性吃亏——比较的是「模型+harness」组合。开发者 Josh Purtell 评价其「噪声多于信号」。
4. 域内任务少。量化交易与 RSI 各只有 10 项任务，单任务偶然性会被等权平均放大到域分数上；金融（24）、法律（20）、网络安全（18）、软件工程（15）、硬件（21）、材料（23）、芯片（34）也都不大。
5. 利益关联。14 家合作方同时向 AI 实验室出售训练与评测数据。

SemiAnalysis 计划每 3–6 个月滚动更换任务集以防过拟合（与 Terminal-Bench 4.0 的滚动维护思路一致），数据合作方可通过 gdpx@semianalysis.com 参与下一版本。

与 GDPval 的关系（口径分流提醒）

GDPx 与 GDPval 测的都是「知识工作」，但两把尺子不可互换：GDPval 把上下文全部前置在提示词里、单轮产出文档，头名已 70%+；GDPx 把上下文藏进需要主动探索的环境里、多轮长程操作，头名 12%。一个模型 GDPval 高分、GDPx 低分，不构成矛盾——前者测「给定材料能不能做出交付物」，后者测「能不能像职员一样在环境里干活」。引用任一榜单数字时必须注明是哪一把尺子。

最新进展

• 2026-11-02：GDPx v1.0 发布。首榜 13 款模型全部由 SemiAnalysis 自行评测，无第三方复现。总榜前十见 topResults，第 9–13 名：Muse Wonder（Meta）6.8%、DeepSeek 4.1 Flash 1017 5.4%、GPT-6 Luna 5.1%、Grok 4.7 3.9%、GLM 5.3 2.7%。榜首与次名只差 1.1pp，但每任务成本差约 3 倍；GLM 5.3 与 Grok 4.7 两位数名次上的落后说明「通用 agentic 能力」目前仍是闭源头部厂商的局部优势。