接入容易,证明难:agent 碰钱的一周与一张 1.7 万亿美元的考卷

Anthropic 把 Claude 接进银行账户,Uber 财报披露 agent 下单量不足总单量的百万分之二,OpenAI 同周发布 LifeVal 基准——个性化消费任务上跨五个模型最稳定的失败模式,是『错误信息或建议』。

行业观察 已修订 AI Agent 个性化助手 LifeVal 评测基准 消费任务 Anthropic

账户接上了

11 月 5 日,Anthropic 给 Claude 上线 Personal Finance:用户经 Plaid 连接银行与信用卡账户,问「这个月钱花哪儿了」,Claude 汇总交易、按房租水电、餐饮、购物分类作答,还能标记重复扣款、意外费用和持续上涨的账单。边界声明写得很清楚:只读,不能动钱、不能管钱、不能投资;可见数据限于银行名、账户名与类型、账户号后四位、余额、信用额度和最多两年流水;财务中心内的对话不用于模型训练。本周起在美国 Pro、Max、Ultra 套餐上灰度。这是对 OpenAI 的追赶——后者今年 5 月已上线同类个人财务功能。

三亿两千万单里的四单

产品在加速接入,用户侧的真账却是另一副样子。Uber 在 11 月 4 日的三季度财报电话会上披露:万圣节那周是 10 月最忙的一周,全平台约 3.2 亿单出行与外卖(数字来自 CFO Krishnamurthy),其中 AI agent 完成的打车订单只有 4 单、Uber Eats 订单 500 单——合计 504 单,约占总单量的百万分之 1.6,不到百万分之二。CEO Khosrowshahi 的原话是「非常非常早期,吸引力非常有限」,他补了一个扎心的对照:App 里打车平均 50 秒、重订常点外卖 90 秒,agent 省不出时间。DoorDash 一周前的财报会给出同款数字:上线至今累计只收到几百单 agent 订单。

采用率不等于能力,但它是唯一公开、不可撤回的度量。剩下的度量,这周刚由 OpenAI 自己补上。

论文侧的尺子

11 月 4 日提交的 LifeVal(arXiv:2611.06687,作者来自 OpenAI,含 Noam Brown)是第一份按「消费者愿意付多少钱」加权的个性化任务基准。构造过程本身就是一份行业说明书:对 3800 多名人口代表性样本调查「数字超级助手」的支付意愿,每人随机评 30 类活动,与劳工统计局时间用途调查(ATUS)及覆盖 25 国的 MTUS 交叉核对;得到 148 类消费任务,美国年支付意愿合计超 1.7 万亿美元;按这个价值分布把 800 个任务的目标配额分到 148 类共 702 个,最终经质量关只收下 169 个。

质量关的设计比配额更值得读。任务创作者必须过专业门槛——本人多次完成过这项任务,且在真实生活里追踪结果一年以上;任务的个性化素材来自创作者自己的真实 ChatGPT 对话历史与记忆、参考文件和个人背景;判分 rubric 由同一位创作者撰写,因为「对这个人的最好完成」只有本人能定义;所有任务过至少三轮人工质检。执行环境用可复现的 RLE 替代活网页,检测到 reward hacking 直接记 0 分。

三个结果

LifeVal 评了 GPT-5.2 到 GPT-6 Astra 五个模型,正文给出的三条定性结论比任何单一分数都重。

其一,跨五个模型最稳定的失败模式是「错误信息或建议」——分数在涨,这个没消失。其二,官方自称「最对齐」的 GPT-6 Astra,失败模式向「该完成的动作没完成」「自称找不到或无法验证信息」偏移:对齐增强的代价落在了动作保守上。其三,模型经常漏掉藏在个人对话历史里的关键信息——而这恰是「个性化助手」这个产品叙事的核心卖点。

附录里还有个扎眼的消融:把判分依据换成「仅靠过去的对话历史」,胜率只有 33.3%,比带记忆与任务上下文时低了一截——模型在对话历史里找东西,靠的还是关键词和主题线索,不是真在「回忆」。

作者自陈的局限也诚实:时间用途数据止于 2021 年,会漏掉新任务类型;调查以美国英语用户为中心;支付意愿是自报的代理指标;RLE 的网页缓存没有完全冻结。

收口

把三件事放在同一周看:Anthropic 在加接入,Uber 在报真实渗透率,OpenAI 在印考卷。接入在加速,证明没跟上。往后验收一个碰钱的个性化 agent,可以问三个问题:个性化建议的「对」由谁判定——LifeVal 的答案是任务创作者本人加 rubric,169 个任务之外没有行业标准;只读边界由谁审计——Plaid 的连接层与厂商自述之间,还没有第三方核验;错误建议的代价怎么计——不动钱不等于不亏钱,把年利率算错、把重复扣款解释漏,都是真金白银。4 单与 500 单不是用户不懂,是这两道题还没人答。

参考来源