提问能力落差实验台
现有编程 benchmark 全部高估了编程助手对普通人的可用性——因为它们都没测「用户是谁」。 SWE-Journey 用真实交互数据挖出四种用户人设并构建用户模拟 agent 复现真实编程协助交互： 同一个助手，软件架构师人设下平均通过 75% 以上的功能测试，非程序员人设不足 25%。 本工具把这个被 benchmark 遗漏的变量拆成三个解剖台——人设落差沙盘、asking / finding / fixing 三关卡、长程任务构造器。 对话脚本为规则模板预置（明写未调用模型），文献数字与教学近似严格分栏。
⭐ 题眼：同一个编程助手，换一个用户，通过率从 75%+ 掉到 25% 以下—— 模型对架构师请求的功能平均通过 75% 以上的测试，对非程序员不足 25%。 现有 benchmark 全部高估了编程助手对普通人的可用性。📖 摘要级
💬脚本化会话 · 软件架构师
⚠ 规则脚本，未调用模型任务「给订单表加分库键（user_id 哈希，16 库 64 表）」—— 每轮高亮该人设的提问方式如何影响会话走向。
🏛️ 软件架构师asking ✓
订单表要分库。方案：user_id 作分库键，crc32 取模 16 库、每库 64 表。先别写代码——先告诉我你打算怎么处理历史数据和双写。
asking right：需求自带完整规格（键、基数、迁移方式），助手无需反问
播完看结局 →
📊通过率对比（📖 Table 11–14）
📖 文献值软件架构师
94%
新手开发者
43%
产品经理
44%
非程序员
28%
条 = Claude-Opus-5 的最终 F2P（请求功能的测试通过率）；竖线 = GPT-5.6-Sol。 摘要级结论「75%+ vs <25%」为 11 个模型的平均水平；表内为单模型文献值。
🧠行为画像 · 软件架构师
📖 论文 A.3先对齐再动手 / 分段检查点控制；交流结构化、细节完整；系统性验证（论文 A.3：align-first or checkpointed control, structured or detailed exchanges, systematic verification）
平均分（Claude/GPT）
94.1 / 93.9
最终 F2P（Claude/GPT）
93.6% / 91.6%
每会话轮数
19.6–22.0 轮
每会话成本
Claude $55 · GPT $35 / 会话
一手源：SWE-Journey: Towards More Realistic Evaluation of Coding Assistants through Long-Horizon, Multi-Turn Interaction（arXiv:2610.11559，Hexuan Deng 等 16 作者，2026-10-08；本页实现期间已读 abs 页与 HTML 正文，快照日 2026-11-02）。
诚实性清单： 📖 文献值—— 75%+/<25% 摘要级结论、四个人设全部行为画像与 Table 11–14 数值（Claude-Opus-5 / GPT-5.6-Sol 的平均分、最终 F2P、轮数、成本）、 Ask% < 20%、三对能力定义、weak-to-strong 管线、93.33% 子任务完成率； ⚠ 教学近似—— 四段对话脚本为规则模板预置（未调用模型，叙事按论文人设画像编写）、覆盖曲线为教学模型（纵轴数值示意）。本页没有任何真算指标——它测的是「用户是谁」，不是数据。