为什么重要
绝大多数规划基准只做一件事：给模型一个目标，让它生成一份计划，然后给这份计划打个总分。这个做法有个结构性缺陷——它把”内容错了”和”顺序错了”混成了同一个分数。一份缺了关键步骤的计划、一份多了一步多余操作的计划、一份步骤全对但顺序颠倒的计划，可能拿到相近的分数，但它们对应的失败原因完全不同，补救方式也完全不同。
StepBench 的设计就是冲着这个缺陷去的。它不生成新题，而是把同一批流程反复用五种方式问：最后一步是哪个？中间缺的是哪一步？哪一步被换成了错的？打乱之后能不能排回来？给个开头能不能接下去？因为五个任务跑的是同一批流程，任务之间的分数差就只能归因于被测的那一项能力，而不是题目难度差异。
这个设计还有一个直接的实际价值：T1–T4 有确定答案，不需要任何 Judge 模型。完整流程生成要跑一次 8B Judge，成本高一到两个数量级。论文测出五项诊断分与完整流程 vpr 的 Spearman 相关分别是 T4 排序 0.96、T1 0.95、T3 0.93、T5 0.89、T2 0.85——也就是说，想粗筛一个模型的规划能力，跑四项精确匹配就够了。
关于分类：本卡归入「推理 / 规划推理」而不是 Agent。理由是 StepBench 没有环境、没有工具、没有执行，被测动作是”选择、排序、续写”，不是”在环境里行动”（同样判据见 Taste-Bench 的归类）。
构建方式
语料来自 wikiHow。选它的理由写得很具体：wikiHow 的文章本身就是显式有序的祈使句步骤，覆盖大量开放域任务，而且带可查的编辑历史——最后入库的 2,920 篇文章里 96.1% 由具名资质专家共同署名，58.5% 经过编辑审校，990 篇经过事实核查，658 篇专家批准，59 篇实测过；中位阅读量 244,916 次，累计 14.9 亿次，中位有用率 82%。作者明确说这些特征不能证明每一道流程都正确，但能证明它们是写给真实用户看、并经过了可追责的审校流程。
策展是两阶段、由 GPT-4.1 执行的：
- 任务过滤：只保留”有明确目标、靠有序步骤可达成”的候选，剔除那些只是把一堆建议排成步骤样式的文章。10,305 → 6,944。
- 步骤策展：必要性检查（删掉鼓励语、题外话、可选变体）+ 顺序检查（必要时重排成可执行序列）。6,944 → 6,885，只丢了 59 个。
人工验证：两阶段各抽 200 例、每例 3 名独立标注者。过滤决策与人类多数意见一致率 82.0%，81.5% 的策展结果被多数标注者判为正确。
干扰项同样讲究。所有步骤用 Qwen3-Embedding-8B 嵌入后按余弦相似检索：
- Step-similar（最难）：与被隐藏步骤最相似但来自另一任务的步骤。它往往是同一个动作的不同粒度或不同参数——只能靠程序细节区分，不能靠主题。
- In-category：与整条流程最相似、但来自同类目下另一条流程的步骤。
- Out-of-category：同上但限定跨类目。最容易排除，作用是验证模型确实在做题。
T3 用的是 in-category 替换，防止模型仅凭话题相似度就抓到异常。
五项诊断任务
| 任务 | 问法 | 考什么 |
|---|---|---|
| T1 末步选择 | 给出除最后一步外的全部步骤 + 4 个候选末步 | 目标是否达成 |
| T2 缺步恢复 | 任意位置挖一个洞，用前后文推断被挖掉的是哪一步 | 双向上下文利用 |
| T3 错步检测 | 随机位置替换成同类的他流程步骤，要求指出下标 | 在表面自洽的完整计划里找错 |
| T4 步骤排序 | 参考步骤打乱重编号，要求还原原序 | 纯顺序知识（内容已知） |
| T5 下一步生成 | 给目标 + 部分前缀，无候选，要生成下一步 | 开放式续写 |
| 完整流程生成 | 只给目标，生成全流程 | 端到端（用 StepEval 判 vpr） |
流程长度中位 4 步（1–28 步），每步中位 7.27 词。81 个类目里最大的 286 条、最小的 2 条，中位 68 条。
关键发现
排序是最难的一项，而且它难在长度
T4 已经把所有正确步骤都给全了，最强配置（GPT-5.6-sol）也只能把 63.0% 的流程排回原序——低于它在选择（75.7）、恢复（73.6）、检测（66.5）上的成绩。长度效应非常陡：同一个模型在 2 步流程上精确排序率 86.8%，到 9 步及以上只剩 33.1%；但归一化编辑距离只从 86.8 掉到 76.6。
这两个数字的落差本身就是结论：模型常常能排出一个”接近参考”的顺序，但排不出完整正确的一个。作者提醒这里有个口径问题——精确参考一致是很严的诊断，有些动作可交换，顺序不同未必就是无效计划；所以长度曲线描述的是”还原参考序列的难度”，不等于执行成功率。
聚合分会把完全不同的能力画像抹平
这是本卡最值得记住的一条。两个例子：
- Command A（67.4）与 Qwen3 14B（66.2）的完整流程 vpr 几乎一样，但缺步恢复一个是 59.1、一个是 24.9，差 34.2pp；而它们的排序正确率却很接近（44.3 / 45.3）。只看总分，你完全看不出这两家模型的规划能力形状不同。
- Qwen3 4B 与 Qwen3 4B-Instruct-2507 的错步检测几乎相同（49.7 / 49.9），完整流程 vpr 却差 46.1pp（11.2 / 57.3）。
规模与推理档位的增益都不均匀
从 Qwen3 4B 到 32B（不开 think）：完整流程 vpr 从 11.2 涨到 73.8（+62.6pp），排序从 38.0 涨到 48.6（+10.6pp），而错步检测只从 49.7 到 57.3（+7.6pp）。“端到端能生成一份计划”和”能看出计划里哪一步错了”是两条不同的曲线，小模型缺的主要是前者。
开推理档位的结果更不整齐：Qwen3 32B 开 think 后 T2 缺步恢复 +13.2pp；Command A Reasoning 相比 Command A 在排序上 +7.4、完整流程 +14.6，但 T2 反而 −15.2pp。作者也提醒 Command A 系列两个变体不同源，所以这组比较不能单独归因于”开没开推理”。
长度不是对所有任务都更难
Gemini 3 Flash 的错步检测从 4 步的 68.5% 升到 9 步以上的 80.3%；Qwen3 4B 则从 3 步的 51.1% 掉到 7–8 步的 42.5%。流程变长会让某些诊断更容易、另一些更难，聚合分会同时丢掉这两条信息。
Judge 的可信度：作者自己给了三个数字
StepEval 是从 GPT-5 蒸馏来的 8B Judge：先在 82K 条 GPT-5 标注上微调 3 个 epoch。在 200 份三人标注的人类验证集上：
- GPT-5 与人类多数意见一致率 85.5%（has_failure 87.1% / no_failure 83.8%）
- StepEval 与 GPT-5 一致率 92%
- StepEval 与人类多数意见一致率 82.5%（has_failure 80.2% / no_failure 84.8%）
也就是说，完整流程那列 92.1% / 84.5% 是经过两层蒸馏、与人类一致率 82.5% 的判定结果，不是精确测量。读那一列的时候要带着这个折扣。（凡是用 LLM-as-judge 打分的基准，都该先在正文或附录里搜 agreement / reversal 再决定怎么表述。）
局限与污染源控制
语料爬取截止 2025-04-10，早于部分被测模型发布，存在训练污染风险。作者的应对是单独造了一个 StepBench-Val：只取 2026 年创建、晚于 11 个被测模型发布的 wikiHow 文章，同样两阶段策展，得到 214 道流程（1,034 步 / 94 篇 / 27 个类目）。这个集子不进主榜，只作为污染检查；论文报告分数与排名在其上保持稳定，因此判断记忆化影响有限。
但作者诚实地留了两个口子：GPT-5.6-sol 也在 Val 上跑了，而他们并未证实这些文章晚于它的训练或发布；另外 Val 集只有 214 道、目标描述更短（平均 7.1 词 vs 10.6 词），敏感性检查在匹配类目与目标长度后，完整流程 vpr 的平均变化是 −19.7 分（主集对应 −16.2），样本支撑很薄（主集 6 词及以下的目标只有 73 条，Val 有 99 条）。
最新进展
2026-10-19 提交 arXiv（arXiv:2610.26679），数据集随论文开放，论文正文未给出代码仓库地址。14 个配置 × 12 个模型的主结果表构成本卡 topResults 的全部来源。截至建卡时，本榜尚未出现任何厂商自报或第三方独立 lane 的后续刷新。
需要留意的是，本榜被测模型整体停留在 GPT-5.6-sol / Gemini 3 Flash / Command A 一代（论文引用的模型文献多为 2025 年），与 2026 年 10 月的前沿档位并不重叠——按”先看榜上最新模型是哪一代”的判据，这是一张基线卡，不是当前前沿的横切面。后续若有新模型补跑，T4 排序（63.0% 上限）与完整流程 vpr（92.1% 上限，但带 82.5% 的人类一致率折扣）是两个最值得盯的指标。