Claude 坐进会议室:考卷昨天才印,监考还在起点

Anthropic 把 Claude 作为可见与会者接进视频会议,实时起草计划、画白板、查业务数据;72 小时内同框的两篇 arXiv 各答一道未解题——AutoBuddy 证明任务发现与执行是两种能力、最强模型恰恰卡在『停下来问』,Shadow AI 给出影子 IT 的复利模型和一个只在 Windows 起步的开源检测器。

行业观察 待审核 AI Agent 常驻助手 评测基准 Shadow AI 企业治理 Anthropic

私有内容

此页面为私有内容,请输入密码查看

会议还没散,agent 已经开工

11 月 10 日,Anthropic 发布 Claude Meetings:Claude 以可见与会者身份加入视频会议,边听边干——把讨论中的计划起草出来、在白板上排出时间线、在会议聊天里答疑、调用已连接的业务应用取数。会后,纪要、行动项与产物归档到 claude.ai。同批推出的还有 Whiteboards、Sheets,以及转为正式版的 Claude Data(连数据仓库与 CRM,出看板、数据故事或解说视频)。产品先在 Team 与 Enterprise 套餐 beta 上线,首发支持 Google Meet。

发布稿里最值得记的反倒是几条治理细节:Claude 会自报身份并在聊天里发通知;未经管理员授权不进有外部访客的会议;外部访客中途加入,它自动退出。权限边界被做成了默认行为——这是厂商自己交出的答卷。

考卷:越强的模型,死得越晚

常驻 agent 到底能不能干,AutoBuddy-Bench(11 月 9 日)给出第一张整卷。它的评测结构值得细看:120 个任务埋在 44 名员工的邮件、聊天、文档与业务系统里,由一个时序图驱动的模拟组织生成,判分不看 agent 说了什么,看它对工作区实际改了什么。17 个骨干模型同卷应考、三次运行取均值。

失败剖面呈清晰梯度:弱模型败在发现——claude-haiku-4.5、gpt-5.4-mini、DeepSeek-V4-Flash 每轮漏掉 60、36、32 个任务,占各自丢分的 65%、44%、41%;中间档能找到任务,执行到位率只有 72–78%;最强的模型败在执行,且集中在业务系统操作。

最锋利的一条在最顶端:gpt-6.1-sol 任务召回 0.989 全场最高,真正做出所需改动的只有 65%;两个 gpt-6 模型丢掉的分里,71% 与 57% 来自「停下来问」。五个最强模型面对的业务系统任务占题量约 40%,却占了丢分的 48–56%,每任务得分 0.45–0.56,对照协作任务的 0.67–0.75。业务系统要求恰好改该改的记录、其余一概不动——恰恰在错改代价最高的地方,最强的模型选择了不动手。发现与执行的相关系数只有 r=0.27,论文的结论直白:这是两种能力,得分开测。

监考:行为规则分不出双胞胎

Shadow AI(同日)换了个问题:没被批准进来的 agent 怎么办。论文先给复利模型:一旦 agent 造物(脚本、自动化、MCP server)的繁殖速度快过组织退役它们的速度,影子 IT 指数增长。它提出 9 类 agent、6 层终端足迹的分类学,并论证只看进程与连接形态的规则分不开「行为双胞胎」——同一个程序,连的是 AI 服务还是普通服务,结构上看不出差别。

开源的 Agent Detector 锚定远端服务身份,目录收录 39 个工具、184 个 LLM 端点条目,发现后通知用户确认而非阻断。受控测试(12 个合成 agent、3 个 AI 组件、9 个良性负载、重复五轮)里,两条行为规则把每个双胞胎都误报了,Agent Detector 对双胞胎零误报、多数轮次全数检出。它的时限也交代得诚实:CDN 后的连接只在 DNS 缓存存续的 1–5 分钟内可归因,间歇运行的 agent 约三次扫描才能撞见一次,单次扫描约 154 毫秒。

三笔账

三天之内三份东西同框:产品把常驻会议室的椅子摆好了,考卷昨天才印出来,监考系统刚在 Windows 上起步。带走三笔账——

一、采购常驻 agent 别只看综合分。发现与执行 r=0.27,两科分开考:漏掉任务没有损失,找到了改错记录才有损失,两科的账本方向相反。这张考卷本身就是把「任务从工作区长出来」做成了模拟组织,比现成的单任务基准贴得多。

二、「停下来问」的代价要进对齐账本。最强模型的主要丢分方式,与 LifeVal 上自称 most aligned 的模型向动作保守偏移是同一种税:对齐增强让模型宁可问也不动手,在被评测认定为正确的动作上丢了七成分。产品侧的实时追问体验好不好,与评测侧的「问多了丢分」是同一枚硬币。

三、检测目录追不上生态繁殖。39 个工具、184 个端点的目录,对着每天都在新增的 MCP server,论文自己给出的复利模型说的正是这场繁殖与退役的赛跑。Claude Meetings 的自动退出是厂商单方面给出的权限边界;企业侧那把外部的尺子,还差得远——上一轮说过 agent 级归属还是空白,这一轮连「谁在场」都才开始能测。