模型有了身份证,agent 还没有
Anthropic 开源 FlashProve 给模型输出加上密码学身份证明,但交付链只被做实了第一环;同日两篇 arXiv 论文分别证明 harness 决定行为、评分规则决定分数——模型指纹盖不住的部分,正是 agent 时代归属争议的所在。
第一环被做实了
11 月 2 日(官方博客时间戳;TechCrunch 于次日跟进报道),Anthropic 在博客上公布开源系统 FlashProve,目标是「可验证推理」(provable inference):实验室为每个发布的模型生成不泄露权重的「指纹」,指纹可与具体输出做密码学匹配,验证轻量到能在本地设备完成。官方的胃口不小——即便造假方是运营模型的那家实验室本身,指纹校验也扛得住;厂商偷偷换便宜模型压成本、评测时换贵模型抬成绩,两类替换都在射程内。第三方宣称随之可验:「本代码库已经过前沿安全模型漏洞扫描」这类说法第一次有了核对工具。
值得注意的是官方的克制表述:这是「阶段性研究进展,不是已完成的研究议程」,暂无在任何实验室部署的计划。但这不是即兴之作:它是 Anthropic 在 Frontier Safety Roadmap 里公开承诺的「2026-09-30 前产出可验证推理原型」的兑现,代码、Lean 形式化证明与文档以 Apache 2.0 开源(GitHub 仓库同时自述为 “Not maintained” 的研究原型——承诺了原型,没承诺运营)。它把「输出是不是这个模型给的」从品牌问题变成了数学问题——交付验证链的第一环,被做实了。
问题在于,生产环境里用户拿到的 agent 交付物,从来不是裸模型输出,而是模型、harness、工具、编排、记忆叠加后的产物。FlashProve 能证明的,只是这条链上模型那一环。剩下的环节,两篇 11 月 2 日提交的 arXiv 论文正好各堵一头。
harness 那一环:行为差异谁来签名
第一篇(arXiv:2611.03434)面向政府情报团队的分析需求(作者来自以色列安全公司 Dream Security,CIKM 2026 论文)。这类团队的安全与成本约束让他们用不了托管前沿模型,于是作者反向操作:固定一个可自部署的 LLM,给它配一个最小 harness——只放行那些既提升准确率、又保持通用与可审计的工具、护栏、记忆策略和循环组件,其余全部裁掉。结果:held-out 数据集上 83.8% 通过率,距最强开箱即用的 Claude Code SDK 基线只差 1.2 个点,harness 体积小两个数量级。
这 1.2 个点值得盯住读:同一个模型,换一套小两个数量级的 harness,成绩差 1.2 点——差距是 harness 挣的,不是模型挣的。本站在 10 月 28 日已经见过更大幅度:Trial by Trace 里 4 个 harness 之间的任务成功率跨度 8.2 个点,harness 合规宏观分跨度更是 12.2 个点,且两层排名互不一致(见《agent 成功了,流程却千疮百孔》)。模型指纹验证不了「交付物里哪些行为来自模型、哪些来自 harness 的兜底逻辑」。CLEO 这篇的可贵之处在于它选了另一条路:让 harness 小到可以人工审计——审计靠的是小,不是靠密码学。
评分那一环:打分的人也没被验
第二篇(arXiv:2611.03377)查的是验证链的终点站。作者复现了 8 个同行评审多模态基准的官方评分器,跑在 5 个单张 16GB GPU 就能装下的开源 VLM 上,再构造一套盲评(人类加 LLM 裁判,Cohen’s kappa=0.956)恢复模型真实作答,两相对照。结论:完全相同的输出,只换评分规则,accuracy 最高摆动 22 个点。
两个细节比总数更狠。其一,完全不合规率 0.000 的推理模型,仅换解析器保留 trace 里哪条正则匹配,就摆 9.5 个点——模型规规矩矩交了答卷,分数还是看评分器心情。其二,不合规率最高的那个基准摆动反而为零,因为它的评分器遇到读不懂的回答会弃权而不是瞎猜。评分规则埋在代码里、无理由地选用、从未被检验,却决定着榜上数字。FlashProve 证明「这段输出是哪个模型给的」,证明不了「这段输出被记了几分」——刻度本身没有刻度,这个问题本站在《AI 的新发现需要一把分级尺》里讨论过,这次它落到了最不起眼的评分器代码上。
协议那一环:正在被拉到协议层,但只拉了一半
第三篇是视角论文(arXiv:2611.03066),提出「Internet of Agentics」:把 agent 当作可治理的服务参与者,而非孤立的模型端点,按碎片化、可互操作、可信可治理三层演进。它清点的协议栈很能说明现状——MCP 管 agent 与工具,A2A 管 agent 与 agent,AGENTS.md 和 Skills 充当过程清单,AGNTCY、SLIM 补发现、传输与信任机制。身份是治理的入口,这份综述把连接协议排得很满,但「交付物怎么签」仍是空白格。
收口
FlashProve 值得认真对待:它示范了不泄露权重的可验证性在商业闭源模型上可行,这是很多人以为做不到的事。完整的 agent 交付证明链需要三环——模型指纹(已有开源方案)、harness 与工具清单的签名(协议层还没人做)、评分规则的公开与可复算(基准作者自己都没做)。往后验收一份 agent 交付,可以问三个问题:签名里除了模型指纹还有什么;这个分数用的哪条评分规则、规则本身被审计过没有;换一套 harness、换一条评分规则,结论稳不稳。第一环做实之后,剩下两环的空白反而看得更清楚了。
参考来源
- Anthropic is working on a system to prove AI models’ identity(TechCrunch,2026-11-03)
- Provable Inference(Anthropic 官方博客)
- anthropics/FlashProve(GitHub)
- Optimize the Harness, Not the Model(arXiv:2611.03434)
- Same Outputs, Different Scores(arXiv:2611.03377)
- Towards a Trustworthy and Governable Internet of Agentics(arXiv:2611.03066)