为什么重要
CAD 代码与网格（mesh）是两种完全不同的产物：网格是一个能看的形状，CAD 代码是一个能编辑、能参数化、能直接进设计软件的形状。3D 打印、CNC、注塑的一切入口格式都是 CAD——所以「从几张图重建出可编辑的参数化 CAD」这件事的能力水位，直接决定 AI 能不能进工业设计的主工作流。
这也是一个真实存在多年的工业瓶颈：scan-to-CAD（扫描/拍照到可编辑 CAD）目前靠人工重绘或专用逆向工程软件，行业里专门做这件事的公司把单件数字化成本从约 $1,500 压到 $10。通用多模态模型第一次在这个赛道上有了可量化的成绩，就是 BenchCAD 提供的尺子。
它的判分哲学一句话能说清：「一个零件可以骗过眼睛，但骗不过卡尺」。两个程序可以构建出看起来一样的零件、却差一个孔径、一个对称关系或一个尺寸——所以每个答案都在沙箱里执行，用建出来的实体和真实零件对体积重叠，不找 LLM 当裁判。
构建方式
三个数据集
| 数据集 | 内容 | 规模 |
|---|---|---|
| BenchCAD Verified | 每个零件带 CadQuery 代码、STEP 文件、四个正交视图（前/顶/右/等轴测）、参数 JSON 与操作轨迹 | 17,900 件 |
| BenchCAD-QA | 成对的图像题与代码题（同一问题问两遍），沿 L1–L4 四级能力层次 | 2,400 题 |
| BenchCAD-Edit | 验证过的编辑前后对，编辑类型 T1–T5（从单字面替换到多块重构） | 748 对 |
106 个零件族覆盖紧固件、传动、结构件、流体管件、面板、外壳；52 族的尺寸直接取自 47 个 ISO/DIN/EN/ASME/IEC 标准规范表——「恢复标准尺寸」不是泛泛的空间推理，而是要对得上真实工业规范。
四个配对任务
- Vision2Code（img2cq）：四个渲染图进，一个 CadQuery 程序出——头名任务，测「看见 → 抽象成参数 → 写出代码」全链；
- Vision QA / Code QA：同一道数值题分别基于渲染图与基于源代码问一遍——两题之差把「视觉感知失败」与「参数化推理失败」干净地分开，这是本基准设计上最锋利的一刀；
- Code Edit：给一个能跑的程序和一个修改请求，产出修改后的程序。
评分全部基于执行：程序跑 30 秒沙箱，预测实体与参考实体做体素 IoU（交集体积/并集体积，完美重建 = 1.0）；QA 按比例准确率。论文自己还报了 Chamfer 距离、特征与关键操作得分、执行率等更细的列——但前沿厂商对外只报 IoU 一列，操作级检查（比如把螺旋挤换成直挤）从不出现在厂商数字里。
三条 lane（读分数前必看）
| lane | 口径 | 头名 | 备注 |
|---|---|---|---|
| 2.0 Core 官方榜 | 100 个 held-out 用例、agentic（工具 + 执行反馈 + 多轮）、max effort、官方评分 | GPT-6 Astra 0.59 | 本卡 topResults；目前 5 个前沿模型 |
| 1.0 Vision2Code 无工具 | 1,000 文件子集，几乎全部为厂商 system card 自报、官方未重评 | Claude Sonnet 5.5 0.747 | Opus 5.5 0.730、Haiku 5.5 0.670、GPT-5.6 Sol 0.706（vendor）、Fable 5.1 0.606 |
| 1.0 Vision2Code 带工具 | 厂商发布表自报 | Claude Opus 5.5 96.2%、GPT-6 Astra 95.9%、Kimi K3.1 Pro 92.7% | ⚠️ 与官方站重评的带工具值（旧代最高约 0.68）量纲冲突，见下 |
关于 90+ 簇的未决冲突：OpenAI 在 GPT-6 Astra 发布时称其「带工具 mean voxel IoU 95.9%」（较 GPT-5.6 Sol 的 83.3% 提升 12.6pp），Moonshot 对照表给 Opus 5.5 报 96.2%、K3.1 Pro 92.7%（均带工具）。而官方站自己重评过的带工具值——GPT-5.5 0.558、Mythos 5 0.678 等——没有一条超过 0.7。90+ 簇要么是一次真实代际跃迁、要么是子集/口径差（例如 agentic 迭代到收敛 vs 单次生成），在官方完成重评之前两值并存不判真值。官方站另给了 Astra 的 Code Edit 子任务 84.3%。
关键发现
1. 官方 2.0 Core 的成本 Pareto 前沿被 Astra 独占。 五档努力阶梯 × 五个模型的全表（score / 每任务成本）：
| 模型 | low | max | max 成本 |
|---|---|---|---|
| GPT-6 Astra | 0.14 @ $0.44 | 0.59 | $11.05 |
| Claude Opus 5.5 | 0.06 @ $0.06 | 0.57 | $27.58 |
| Claude Sonnet 5.5 | 0.05 @ $0.05 | 0.41 | $43.33 |
| Claude Fable 5.1 | 0.09 @ $1.74 | 0.30 | $48.46 |
| Claude Haiku 5.5 | 0.01 @ $0.02 | 0.18 | $8.69 |
Astra 在几乎每一档都同时更便宜且更好；Opus 5.5 只差 0.02 分却贵 2.5 倍；Fable 5.1 是全场性价比最差的点（0.30 @ $48.46）。OpenAI 另称 Astra 的带工具成绩比 Sol 便宜约 43%、比 Fable 5.1 便宜约 86%（厂商口径）。
2. 高 IoU 可以藏错几何。 论文记录的典型案例：一个电机端盖要求中央 20mm 半径通孔，多个前沿模型过早地做了切削、又在后续操作中把孔部分封回——结果视觉相似、IoU 高分、规格不符。连续指标天然偏袒「外包络对」，细部错误要看论文的操作级检查列，而那列从不出现在厂商转述里。
3. QA 对偶把「看不懂图」和「算不出数」分开。 Vision QA 与 Code QA 用同一批问题：如果 Code QA 会而 Vision QA 不会，败在视觉感知；两边都不会，败在参数化推理。配合 L1（整体识别）→ L4（空间与代码组合推理）的四级层次，这是目前视觉转代码类基准里最干净的归因设计。
4. 旧代到新代的跨度远大于同代厂商差距。 无工具 lane 上 Sonnet 4.6 0.267 → Sonnet 5.5 0.747，一代之间接近三倍；而同代 Opus 5.5 与 Sonnet 5.5 只差 0.017。这个基准目前的主要信号在代际轴上，同代排名噪声较大。开源侧 Kimi K3 经官方重评 0.3670，Grok 4.6 0.3638——与闭源头部的差距约 0.38。
5. 厂商自报的「95%+」要打折读。 官方未重评 + 工具增益巨大（基准作者自己提醒「工具使用可以掩盖模型原生推理的缺口」）+ 度量列缺失（厂商只报 IoU、不报操作级检查）三重因素叠加，带工具 90+ 的数字目前只能当「该配置在该子集上的自报值」引用，不能与官方 2.0 Core 的 0.59 直接相减。
局限性与展望
- 输入是干净的正交渲染图，不是扫描件或实拍照片——真实 scan-to-CAD 的噪声、遮挡与公差链没有被覆盖，官方也把它列为下一里程碑；
- 只测标准尺寸的机械零件，不含有机形状与美学建模——这正是 3D 打印与 CNC 竞争的领域，但不是 CAD 的全部；
- 体素 IoU 的连续性让「外包络对、细节错」拿高分，操作级检查只在论文里、不在榜单上；
- 30 秒执行沙箱对复杂程序偏紧；
- 2.0 Core 目前只有 5 个前沿模型，开源权重模型尚未进入该 lane。
关联基准
- 3DBench：3D 场景理解方向，与本卡的「体素对照」评分思路同源
- 视觉转代码相邻赛道：图表转代码（Chartography 类）与网页截图转代码共享「图像进、代码出、执行验证」的骨架，但 BenchCAD 的答案是一段可参数化的工业几何，错误代价是物理的