τ²-Bench 0.2.1

为什么重要

τ²-Bench 是 τ-bench 的直接继任者，核心创新在于双控交互（Dual-Control）——不仅 Agent 可以调用工具，用户（模拟器）也可以操作共享环境。这更贴近真实客服场景：用户需要切换飞行模式、读出状态栏信息，Agent 需要从不完整信息中引导排障。

τ²-Bench 解决了 τ-bench 的两大痛点：(1) 用户模拟器错误率高达 40-47%（12-13% 为任务关键错误），τ²-Bench 将电信领域模拟器错误率降至 16%（6% 关键）；(2) 新增电信故障排查领域，覆盖套餐办理、流量查询、网络排障、国际漫游等真实场景。

构建方式

1. 三大领域：航空（50 tasks）、零售（115 tasks）、电信（114 tasks，新增）
2. 双控模式：Agent 和用户均可调用工具、修改状态、验证结果
3. 形式化为 Dec-POMDP：分散式部分可观测马尔可夫决策过程
4. 5 种自动校验：
   • db_check：数据库最终状态是否正确
   • tool_call：工具调用顺序、参数、次数是否正确
   • policy_check：是否违反业务规则
   • goal_check：用户核心需求是否达成
   • dialogue_check：回复是否准确、合规、自然
5. 每领域有独立业务策略、工具集、数据库、任务集

任务示例

航空：“客户要求改签航班，检查改签政策 → 查订单 → 计算差价 → 执行改签” 零售：“客户投诉商品损坏，检查退货政策 → 查订单 → 确认收货状态 → 执行退款” 电信（新增）：“用户报告无法上网，引导用户检查飞行模式 → 查询套餐余量 → 远程重置网络 → 确认恢复”

关键发现

• Claude 系列持续领先：Opus 4.6 以 91.9% 领先，Opus 4.5 以 88.9% 紧随
• Step 3.5 Flash 惊艳表现：88.2% 超越多个更大模型，小模型在工具使用上效率优势明显
• Gemma 4 31B 突破：从上一代 6.6% 飙升至 86.4%，Google 开源模型在 Agent 能力上进步巨大
• 电信领域最具挑战：用户需配合操作的排障流程，当前模型 pass rate 显著低于航空/零售
• 用户模拟器质量决定评测可信度：τ-bench 航空模拟器错误率 47% → τ²-Bench 电信仅 16%
• 策略遵循是核心区分度：模型容易违反业务规则（如超额退票、禁售品销售）

最新进展

• 2026-04：蚂蚁集团 Ling-2.6-flash 在 τ²-Bench 达同尺寸最佳，Gemma 4 31B 从 6.6% 提升至 86.4%
• 2026-03：美团 LongCat-Next 在零售场景达 73.68%
• 2026-02：Step 3.5 Flash 以 88.2% 进入 Top 3，开源模型在工具使用基准上追赶闭源
• 2026-02：GLM-5 发布，τ²-Bench 达 85.3%，智谱 AI 旗舰模型在 Agent 评测中表现突出
• 2026-01：Claude Opus 4.6 以 91.9% 领先，在零售/电信领域均超 90%
• 关键趋势：τ²-Bench 已成为衡量对话 Agent 策略遵循能力的标准基准；开源模型（Step、Gemma、GLM）快速追赶；电信领域仍是最难的评测维度

与 τ-bench 和 τ³-Bench 的关系

• τ-bench（初代）：仅航空/零售，单控模式（仅 Agent 有工具），用户模拟器错误率高
• τ²-Bench（二代）：新增电信领域 + 双控模式 + 修复模拟器，当前最广泛采用的版本
• τ³-Bench（三代）：扩展到长时域多步工具调用，评测更复杂的工作流能力

三者互补，共同构成企业级对话 Agent 能力评测体系。

关联基准

• TAU-bench：初代，聚焦航空/零售客服
• TAU3-Bench：三代，长时域工作流评测
• BFCL：函数调用评测
• MCP-Atlas：MCP 工具编排评测
• Toolathlon：工具调用十项全能评测

不足与展望

• 279 个任务偏少，细分到每个领域/难度更少
• 用户模拟器在电信领域仍有 16% 错误率
• 目前主要评测英文客服场景，中文/多语言覆盖不足
• Telecom 领域仅 114 tasks 采样自 2,285 候选，可能存在采样偏差
• τ³-Bench 的发布可能逐步替代 τ²-Bench 作为主要评测标准

2026-10-31 更新：官方榜近乎冻结，学到的指南反而登上 Pass^4 榜首

榜单状态：本轮修复了 topResults 的乱序（原卡 Step 3.5 Flash 88.2 排在 Opus 4.5 88.9 之前）。BenchLeader 镜像显示官方榜（sierra-research/tau2-bench）最新一条新结果是 2026-03-02 的 Qwen3.5 397B A17B (thinking) 87.9%，其后七个月无新条目——本卡 2026-04 的 Gemma 4 31B / Ling-2.6-flash 两条来自厂商自报。被挤出的 LongCat-Next (Retail) 73.7%（2026-03）转入正文。

ALTK-Evolve（IBM Research，2026-10）——注意这是 Pass^4 口径，与本卡 topResults 的 pass^1 均值不可混排：

要点：不微调权重，仅让 Agent 从自己训练任务轨迹里蒸馏行为规则（如「动订单前先验证身份」「改库前结构化确认」）贴进系统提示；held-out 任务上验证，成本落在输入 token（retail 每对话 $0.084→$0.139，+65%，生产可用 prompt caching 摊薄）。提交仍为 PR #542/#551，官方榜合并前按「待收录」读。与 pass^1 的关系：指南把 GPT-4.1 retail 的 pass^4 从 57.5% 拉到 67.5%、GPT-5.5 airline 从 55% 到 70%（测试切分口径），提升的是稳定性而非单次能力。

电信域单点：聚合源记录 GPT 5.4 在 τ²-Telecom 达 100%（2026-05，单一镜像来源），若属实则电信域已饱和——该域 2026 年后基本退出分辨力讨论，airline 是三域中最难的一个。

饱和判定维持「接近饱和」：头部 82-92%，airline 仍是短板（最好 Pass^4 82%），且官方榜停更本身降低了「未饱和」判断的可信度。

2026-11-09 更新：「无声仪器错误」审计——排行榜的分数可能来自坏掉的尺子

⭐⭐ 2026-11-03，山东大学 Yangze Liu 单作者论文《Silent Instrument Errors Reorder Agent Leaderboards》（arXiv:2611.04399）仅凭 HAL 与 τ²-bench 公开的运行工件（无需重跑任何 Agent）完成审计，发现四类从不触发错误提示的「仪器错误」，其中三类在五周内被 HAL 维护方确认。对本卡的意义：τ²-bench 官方榜（2026-03 后冻结）与本卡 topResults 引用的历史值，其分数背后站着一套会静默失效的评测管道——引用名次前应当知道尺子本身被审出了什么。

四类错误，按论文顺序：

1. 评分未触发（最重要的一类）：τ-bench 系的奖励只在 episode 以特定方式正式结束时才计算。HAL 的 Generalist agent 经常以不触发终止条件的方式收尾，导致只有约一半 episode 被真正评分、其余全部被存成失败——在 TAU-bench Airline 涉及数据库的 41/50 题上，Generalist 比 Tool-Calling 脚手架「落后」13 分，把未评分的一半按基准自己的规则补评后，差距闭合为平手。一个「通用性牺牲准确性」的结论，整个来自 grader 的行为。
2. 成本列重复计费：嵌套的模型调用被计了两次，且各条目间的重复程度不一致——HAL 引以为傲的成本列本身就是被污染的。
3. 轨迹归属错位：归档轨迹把 grader 写入的动作记录成了 Agent 的动作。
4. 重评即重测：用新版评估器重评已保存的轨迹本身就是一次新的测量——一个正确且已公告的修复会重排排行榜；一次读错 4 个文件的模式检查让相关条目分数崩塌 59–82 分且不打印任何错误。

论文提出的四项廉价自检：报告已评分比例（graded fraction）、成本从根 span 聚合、给每条记录动作标注来源标签（grader 还是 agent）、锁定评估器版本并公布重评 diff。

对本卡的两条直接影响：① 本卡 2026-10-31 已记录「官方榜 2026-03 后冻结」，本审计给出了冻结之外的新风险——榜内不同月份的条目可能出自不同版本的评分代码，却呈现在同一列里（「2026 年 2 月提交与 7 月提交的模型可能被不同的评分代码打过，榜单把它们当作同一把尺子的产物」）；② τ²-bench 的五种自动校验（db_check 等）属于「规则层」，本审计指出的是「执行规则的运行时代码层」——规则正确不等于执行正确，这与 SWE-Marathon 的反作弊轨迹（本地自测 ≠ 官方验收）共同说明：Agent 评测的可信度边界正在从「题目质量」转移到「管道质量」。