AI 的账单做实了，产出那一栏还在漂移

一本只把一侧做实的账

10 月 28 日，Anthropic 把智能报告、应用内问卷与团队共享预算三件套推给全部 Claude Enterprise 客户。管理者的操作路径很直接：选一个团队、一个日期范围、要纳入的产品，Claude 抽样分析该团队的会话记录，把工作归拢成若干条工作流，再给出每一条的开销、产出的交付物，以及最常见的卡点——缺一个连接器，或者一次失败的工具调用。报告末尾附一份改进建议，指出哪些反复出现的工作流值得固化成 skill，管理员还能把自己的问题与洞察存成模板供下次复用。

同批发布的应用内问卷与团队共享预算，把另两侧也接上了。问卷默认问的是价值：最近用 Claude 做成的最有价值的一件事、这件事的时间被改变了多少、哪个用法值得同事照抄、明天失去访问权会先断在哪。问题可以改、可以删，也可以指定发给谁、什么时候发；回答能导出成表格。共享预算则给一个团队设一份共用月额度，重度使用者不必在月初撞上个人上限，而轻度使用者的额度不至于闲置——每一次请求同时计入个人与团队两份额度，先耗尽的那份生效，50%、75%、95%、100% 四个点位会给有计费权限的管理员发邮件。

值得注意的是官方对抽样口径的坦白：报告基于对一个团队会话记录的抽样分析（“analyzes a sample of the team’s transcripts”），工作流的划分与卡点的判定都建立在这个抽样之上。官方也主动划了一条边界——智能报告用于理解采用情况与支撑投资规划，不用于评估个人绩效或做雇佣决策。这条线划得对，但它是用途边界，不是标定方法的边界。

这套东西回应的是一个真问题。Jellyfish 基于 27.6 万名客户的数据给出过背景：智能体编码工具的支出自年初以来增长 10 倍，已相当于工程总成本的约 2%，而多数财富 500 强企业尚未从部署中看到重大收益。CFO 需要数字来回答钱花在哪、换回什么，Anthropic 把这个数字做进了产品。

账本的一侧是硬的：token 数、会话数、失败调用，都能对账。另一侧是软的：那些工作流、交付物与改进建议，出自抽样加模板，抽样范围与模板口径由用的人和供应商一起定。

换一批参照报告，分数能涨 10.5 点

arXiv 上 10 月 27 日的一篇论文恰好量了这件事。RubricAtlas 用 3,079 份中文金融研究报告构建评测标准，覆盖 99 个研究类型，专门评估深度研究 agent 产出的分析完整度。

它的核心发现是一组对照。把参照报告换成有来源支撑的子集，agent 的平均完整度被抬高 10.5 点（任务级 95% 置信区间 [7.1, 12.1]，77% 的任务分数上升）；换成同等规模的随机子集，只抬高 1.2 点（200 次抽样，最大值 4.5）。同一批 agent 的输出，因为检查清单的来源变了，分数涨幅差了近九倍。

单份参照报告只覆盖其类型约一半的分析问题——类型内平均后取中位数为 54%，各类型均值跨度 14% 至 83%，公司覆盖类研报的体裁中位数是 73%，回顾综述类只有 33%。这就是”谁当样板”能左右结果的直接原因。论文还给了两把尺子的一致率：跨 10 个 agent、两条评审流水线，检查点一致率 κ = 0.71，agent 排名一致率 Kendall τ = 0.87。τ = 0.87 不等于排序一致，按 Kendall τ 的定义反推，约 6.5% 的对子在换一条流水线后顺序颠倒，10 个 agent 的 45 个对子约合 3 个。

但”排名稳”和”分数稳”是两件事，而企业要报销的是分数。同一批报告交给第二条流水线重评，81,469 个成对检查点的一致率是 85.4%、κ = 0.71，可这条流水线给出的 yes 更少（48% 对 56%），平均分整整低 8.0 点；主表上同一个 agent 的完整度可以是 59.5（评审 A，DeepSeek-V4.1-Flash）也可以是 50.6（评审 B，GPT-6-luna）。表头那句话写得很直白：绝对水平取决于评审（“Absolute levels depend on the judge”）。换句话说，换一个评审模型带来的位移（8.0 点）与换一批参照报告带来的位移（10.5 点）是同一个量级。

参照集的改动也会直接动排名。换成有来源支撑的子集后，与全量 atlas 排名的 Kendall τ 掉到 0.60；只保留任务来源报告支撑的问题时，任务级头名在 50% 的任务上换人，前三名集合在 76% 的任务上变化。作为基线，同等规模的随机子集也会让头名在 45% 的任务上换人（5–95 分位 38%–52%）——所以这里真正的信息不是”有来源支撑的子集特别糟”，而是任务级排名本身对任何删减都敏感，论文因此只做聚合层面的 agent 比较。而即使按类型构成做了匹配，分数仍被抬高 5.6 点（200 次抽样，最大值 8.6），比有来源支撑的子集低 4.9 点。

还有一层更难回避：两把尺子彼此对得齐，不等于任一把对得准。论文做了一次作者审计——第一作者在没有 AI 协助、也看不到模型判断的条件下标注 300 条检查点决定与 297 条来源映射，与 A/B 两条流水线的一致率是 74.3% / 71.7%（κ = 0.49 / 0.43），来源映射 77.8% 忠实、15.2% 部分忠实、7.1% 不忠实。论文自己给了三条限定：样本偏向挑了评审分歧大的部分、不能直接与全量语料的评审间一致率比较、这是领域内作者审计而非独立专家验证。另外，与”完整度”分开评估的”论证有效性”通用规则，两类评审的 κ 只有 0.04 到 0.29（表 5），论文明确把它们定位为诊断而非有效性分数。

作为对照，受控删除会降分，硬凑篇幅则没有可检出的提分：删掉回答某个问题的全部段落，该问题的 T 从 0.64 掉到 0.21（评审 A）、从 0.57 掉到 0.19（评审 B）。这说明尺子量的是真东西，不是越长越高的假分——只是它读出来的位置，会被参照集和评审模型一起挪动。

静态的尺量不了会动的 agent

第二篇论文处理的正是尺子与被测对象之间的时差。RuHarness 指出，近来的工作已经在让 harness 从执行经验里演化，用来指导演化的监督信号却多半是静态的，追不上跨轮次变化的行为弱点，也限制了向未见任务的泛化。它的做法是让行为准则与 harness 一起演化：固定任务目标，从执行轨迹里不断发现并重估准则，优先那些还没解决的弱点，据此做定向更新。

这一步是可量化的。在 EvoAgentBench 的五个 agent 领域上，RuHarness 相对最强基线的增益是：Qwen3.5-35B-A3B 上已见任务 +1.7 点、留出任务 +4.5 点；GLM-4.7-Flash 上 +2.7 点、+5.3 点。留出任务的增益是已见任务的约 2 到 3 倍，而这个比例本身就是一条诊断——如果一把尺子只在它见过的任务上越量越高，那它量的很可能只是它自己。方法侧的配套是：演化集与验证集不相交，测试集只用于最终报告；每轮最多生成三个候选 harness，只有当验证集提升超过 ε = 0.05 时才接受一次更新。

对买 AI 的企业来说，这句话翻译成大白话是：一把按周期修订的尺子，与一把跟着被评对象一起修订的尺子，量出来的是两种东西。供应商交付的报告属于前者——它按固定周期生成，它的口径不随被评的 agent 一起演化，而 agent 会。

三问

把两件事摆在一起，缺口的位置很清楚：成本侧已经有了可复算的账，产出侧还没有。一份 AI 支出报告要被当作决策依据，至少要回答三个问题。

一、成本数字能否脱离供应商自述被对账。token 与调用数可以；工作流的归类与卡点的判定依赖抽样与模板，口径需要公开。

二、产出分的参照集是谁选的、评审用的是哪个模型，换一个会变多少。RubricAtlas 给的两个量级是：换参照集 10.5 点，换评审模型 8.0 点。这两个数字如果没人报，分数就只能当趋势看，不能当结论看——而且它们不该只报一次，因为参照集与评审模型都会随版本变化。

三、尺子上次修订是什么时候，修订依据能否复算，以及它是否随被评对象一起演化。Anthropic 已经主动划了一条线：智能报告用于理解采用情况与投资规划，不用于评估个人绩效或做雇佣决策。这条线划得对，但它划的是用途边界；下一步该划的是标定方法本身——参照集怎么选、评审模型是什么、分数区间多大、上次标定是什么时候。

第三问其实有一个便宜的自查办法，不用等供应商：把评测集拆成”尺子修订时见过的”与”留出没见过的”两份，分别看增益。RuHarness 的对照给出的是留出增益显著高于已见增益（+4.5 对 +1.7、+5.3 对 +2.7）。反过来，如果一把尺子只在它见过的任务上越来越好看，那它测到的多半是自己的拟合，而不是 agent 的能力。企业侧的对应动作很轻：要求供应商对同一批会话给出两次不同随机种子的报告，看工作流划分与卡点判定有多稳——这一条不需要对方公开模型，只需要对方愿意重复。

参考来源

• Anthropic: Smart reports, surveys, and pooled group budgets for Claude Enterprise：https://claude.com/resources/articles/smart-reports-surveys-pooled-budgets
• Anthropic just launched tools to show companies what their AI spending is buying（TechCrunch, 2026-10-28）：https://techcrunch.com/2026/10/28/anthropic-just-launched-tools-to-show-companies-what-their-ai-spending-is-buying/
• RubricAtlas: Mining Type-Level Rubrics from Expert Reports to Evaluate Deep Research Agents（arXiv:2610.36878）：https://arxiv.org/abs/2610.36878
• When the Critic Falls Behind: Co-Evolving Rubrics and Harnesses for Continual Agent Self-Improvement（arXiv:2610.36826）：https://arxiv.org/abs/2610.36826

事实核查记录

本文四个一手来源已逐条回源核对。arXiv:2610.36878（RubricAtlas，v1 提交于 2026-10-27，主分类 cs.AI）与 arXiv:2610.36826（RuHarness，v1 提交于 2026-10-27）的标题、提交日期与引用数字均与 abs 页一致。Anthropic 三件套的功能描述、抽样口径与”不用于评估个人绩效或做雇佣决策”一句出自其官方产品页原文（页面标注日期 October 28, 2026）；Jellyfish 的 27.6 万客户、支出增长 10 倍、约占工程总成本 2%、多数财富 500 强未见重大收益，出自 TechCrunch 对该报告的转述，本文按转述处理。

两处需要读者自行划界的地方：其一，τ = 0.87 对应约 6.5% 的对子顺序颠倒（10 个 agent 共 45 个对子，约 3 个），系按 Kendall τ 定义（一致对数减不一致对数，再除以总对数）反推，非论文原话；其二，“留出增益是已见增益的约 2 到 3 倍”是本文对 4.5/1.7 与 5.3/2.7 两组数字的比值概括，论文只分别报告了四个点数，未给出该比值。论文未声明会议收录状态（2610.36878 的 Conference 字段为空），两篇均为 2026-10-27 提交的 v1，后续版本可能修订数值。