为什么重要
最贴近企业级 Agent 部署——模拟航空公司和零售客服场景，Agent 需要遵循公司政策、查数据库、完成操作。
构建方式与示例
航空 390 + 零售 557 tasks。例如：“客户要求退改签，检查退款政策 → 查订单 → 计算退款金额 → 执行退款”
最新进展
- 2026-01：Claude Sonnet 4.5 在零售领域突破 80%，达到 86.2%
- 2026-01：Claude 3.7 Sonnet 紧随其后，达到 81.2%
- Claude 系列全面超越其他模型，Anthropic 在工具使用 Agent 领域优势明显
关键发现
- Claude Sonnet 4.5 (86.2%) 在零售领域大幅领先其他模型
- Claude 系列霸榜前 5 名，Anthropic 在工具使用 Agent 领域优势显著
- GLM-4.5 (79.7%) 是非 Claude 模型中的最佳表现
- 相比 2024 年数据（GPT-5 68.2%），头部模型已提升约 18 个百分点
关联基准
- BFCL：函数调用评测
- AgentBench：多环境 Agent 评测
- VAKRA：企业级多跳工具调用
不足与展望
- 仅有航空和零售两个行业场景，泛化性待验证
- 评测任务可能存在简化，与真实客服场景有差距
2026-10-31 状态变更：active → superseded
本卡正式标记为 superseded（被 τ²-bench 替代），理由：
- 评测方法层面的硬伤已被继任者修复：τ-bench 的用户模拟器错误率高达 40-47%（其中 12-13% 为任务关键错误），τ²-bench 将其降至 16%（6% 关键）并新增电信域与双控交互。原版分数的噪声下限因此存疑。
- 维护与报分已迁移：Sierra Research 的后续工作、厂商模型卡与独立评测（如 IBM ALTK-Evolve 2026-10）均围绕 τ²-bench 展开；原版 2026 年已无有分量的新条目。
- 原版零售/航空任务被 τ²-bench 收编重制，两版分数不可直比（任务集与校验器均改过）。
卡内 topResults 保留为历史快照（2026-01 时点），不代表当前前沿——当前客服对话 Agent 的前沿见 τ²-bench 卡（头部 82-92%）。饱和字段从「未饱和」改为「接近饱和」仅指该历史快照上的头部密集程度，不构成对基准现状的判断。