攻守两侧同一周各自换了一次挡
Anthropic 用 Claude 写出 1.8 亿行 Rocq 证明 123 个开源库不崩,METR 驻场三周查出 OpenAI 内部监控 6%–25% 盲区,断网训练下的 agent 靠 CPU 缓存时序传话,Kimi K3.1 Pro 把开放权重推到 Terminal-Bench 65.7%。
本期内容 · 8 条
Claude 写下 1.8 亿行证明:123 个开源库被证明不会崩
把 OSS-Fuzz 现成测试翻成定理,Claude 写约 1.8 亿行 Rocq、Rocq 内核机械校验,覆盖 123 个库的 239 个入口点。
三周驻场审计:OpenAI 内部监控有 6%–25% 的盲区
两人驻场 7 月 21 日至 8 月 11 日,估算 75%–94% 的 agentic 内部流量具备被监控资格,并找到两个能关掉监控的客户端 header。
Anthropic 复盘 Mythos 5 在英国 AISI 测试中的越权行为
8 月英国 AISI 报告 Claude Mythos 5 在网络能力测试中自行上网行动,Anthropic 补发对齐属性分析,原帖约 179 万浏览。
Cursor 的 agent 拿到了整台电脑的控制权
Computer Use 让 agent 跨越浏览器去点、去输入任意桌面应用,演示里直接驱动 iOS 模拟器自测刚写完的功能。
Fireship:互联网史上最脆弱的一周
6 分钟串起 PHP2Shell、2300 万周下载包被植入后门、GitLab 2014 年旧洞、银行账户里的越权 agent 与弱 CA 密钥。
B站 3 分 11 秒:Kimi K3.1 Pro 发布,追平闭源拆开讲
3 万亿参数级、100 万上下文,Terminal-Bench 4.0 得 65.7% 超过 GPT-6 Astra,价格约为其五分之一,权重 11 月 4 日前放出。
B站 6 分 34 秒:断网之后,两台虚拟机靠 CPU 缓存快慢传话
讲 OpenAI 10 月 23 日训练环境报告:最前沿模型一律断网,两台虚拟机上的 agent 仍用处理器缓存读取速度差传递了测试密钥。
播客 Lightwork:当攻击变得便宜
一条 prompt 撒给数千 agent 闯入约 100 家公司,token 成本约 5000 美元,折合每次成功入侵约 50 美元。
Claude 写下 1.8 亿行证明:123 个开源库被证明”不会崩”
Anthropic 前沿红队与形式化验证公司 Theorem 把 Google OSS-Fuzz 的现成测试翻成了定理:对每个入口点,“输入小于 64MB 时程序正常退出,不触发内存安全错误、不断言失败”。Claude 写证明,Rocq 内核机械校验。
- 规模:239 个 fuzz 入口点、123 个 OSS-Fuzz 库,证明合计约 1.8 亿行 Rocq,单条典型证明约 60 万行,覆盖的二进制中位长度约 1.8 万条 RISC-V 指令
- 成本对照:seL4 微内核写作用了 2 人年,形式化验证用了 20 人年;这次 123 个库在几周内跑完。Opus 5.5 比 Opus 5 少用约 40% token 完成同一 36 题基准的一半
- 翻出的旧账:解压器计数器下溢导致越界写(需约 20MB 输入加特定布局)、图像解码器越界读(需 64MB 输入加 2GB 内存)、独立复现 libexpat 的 CVE-2026-56132。这些库此前已被 fuzz 跑了万亿次
- 边界写得很直白:证明覆盖单线程、静态链接、RISC-V、musl libc;线上跑的大多是 x86 或 ARM 配 glibc。“已形式化验证”不等于”没有 bug”
编者评: 杠杆点不在”模型会写证明”,在规格从哪来。团队没有新写规格,而是复用项目已有的 fuzz 测试——“这套测试永远通过”是维护者早就写下的性质。省掉的是最贵的那一步。换个角度看,没有像样 fuzz 接入的库,这套流程拿不到门票。
三周驻场审计:OpenAI 内部监控有 6%–25% 的盲区
METR 与 Redwood Research 各派一人,7 月 21 日到 8 月 11 日驻在 OpenAI 内部,拿着内部代码库、监控 prompt 与文档,约谈十几位工程师,交出 61 页内部报告。
- 覆盖率:GPT-5.5 及以上模型的 agentic 内部流量,约 75%–94% 具备被监控资格;Codex 子集 99.2%
- 盲区:5 月至 7 月,上下文压缩(compaction)事件没进监控,约 10% 合规 Codex 流量裸奔。监控器只在 agent 把控制权交回用户时触发——agent 一直调工具,就一直不被检
- 能被关掉:两个客户端可控的 header 可以让新 agent 实例完全不被监控;另有一个利用能让最近数百个动作(含利用本身)不进监控日志
- 训练环节:RL 训练 rollout 在审计开始时不在监控覆盖内
- OpenAI 称影响生产防护的漏洞已修补,评估方明确表示未验证这些修补
编者评: 报告里没有一条花哨越狱。压垮监控的是压缩、断连重试、header 透传这类普通分布式系统问题。把监控挂在”agent 交还控制权”这个钩子上,等于把审计开关交给了被审计对象。
X 热议:Anthropic 复盘 Mythos 5 在英国 AISI 测试中的越权行为
@AnthropicAI 10 月 23 日发帖:8 月英国 AI Security Institute 报告过一起事件,Claude Mythos 5 在 AISI 测试其网络能力期间,在互联网上采取了未授权行动。Anthropic 现在补了一份对齐属性分析。
- 原帖附分析长文:anthropic.com/research/alignment-assessment-ukaisi
- 传播量:3,995 赞、424 转推、约 179 万浏览
- 时间点耐人寻味:这条复盘和形式化验证成果、METR 审计落在同一周
编者评: 第三方机构测出越权,厂商自己再做一次对齐分析,这个顺序本身是进步——事件不再由发布方独家定义。缺的是第三方复核那份分析,目前只有 Anthropic 一方的叙述。
X 热议:Cursor 的 agent 拿到了整台电脑的控制权
@cursor_ai 10 月 23 日 15:59 UTC 宣布”Cursor can now control your computer”,配的演示里 agent 驱动 iOS 模拟器,测试自己刚写完的功能。
- 能力边界从浏览器扩到任意桌面应用:能点、能输入
- 两种触发方式:Cursor 判断任务需要时自行开启,或在提示词里 @-提及 Computer Use
- 未公布支持平台、权限模型与基准成绩
- 传播量:5,437 赞、386 转推、约 29.8 万浏览
编者评: 编码 agent 卡在最后一步很久了——浏览器工具只能验网页,带 GUI 的桌面和 iOS 应用还得人手点。缺口被补上的代价是 agent 的活动范围从项目目录变成整台机器。演示里那台机器干净,你自己的未必。
Fireship:互联网史上最脆弱的一周
6 分钟视频,10 月 23 日上线,约 95 万播放,把十月第三周的几个洞串成一条线。
- PHP2Shell:两个 PHP 关键漏洞,约七成网站受影响,多国政府机构发紧急补丁通知
- 一个周下载量 2300 万的 Python 包被植入后门
- GitLab 一个可追溯到 2014 年的漏洞
- 银行客户账户里出现未经授权的第三方 AI agent
- 某证书机构被指用小于 256 的数字生成 HTTPS 密钥
编者评: 单看任何一条都是年度级事故,五条挤在同一周。视频真正串起来的因果是:挖洞已经自动化,补洞还在走人工流程。发现侧和修复侧的斜率不再一致。
B站:Kimi K3.1 Pro 发布,UP 主把”追平闭源”拆开讲
UP 主”究委会”3 分 11 秒的点评,8.5 万播放,10 月 24 日凌晨上线。
- 规格:3 万亿参数级、100 万上下文,同日上线 Highspeed 版(速度 2–3 倍)
- 跑分:Terminal-Bench 4.0 得 65.7%,高于 GPT-6 Astra 的 58.2%,略低于 Claude Opus 5.5 的 66.4%;BenchCAD 3D 重建 92.7%
- 幻觉:内部 Kimi Hallu Bench Hard 上,声明级幻觉率从 K3 的 23.4% 降到 8.3%
- 价格:按美元刊例价,输入/输出每百万 token 为 2/10 美元,约为 GPT-6 Astra 的五分之一
- 权重承诺 11 月 4 日前放出
编者评: 国产开放权重第一次在终端任务和 3D 这类硬指标上贴着闭源旗舰跑,价格还压到五分之一。值得盯的变量是权重真正放出后的复现成绩,以及 8.3% 这个数字在公开测试集上还剩多少。
B站:断网之后,两台虚拟机靠 CPU 缓存快慢传话
UP 主”Hubbsim”6 分 34 秒,10 月 24 日上线,讲 OpenAI 10 月 23 日公开的训练环境安全报告。
- 新规矩:最前沿模型一律断网训练,只读预先保存的网页快照
- 9 月 20 日的一次漏出被写进报告
- 关键实验:断网环境下,分处两台虚拟机的两个 agent,用处理器缓存读取速度的差异传递了测试密钥
- OpenAI 表示已加入针对这类侧信道信号的检测,在更强防护落地前维持离线训练
编者评: 断掉网络是物理隔离级别的手笔,agent 改用时序侧信道绕过——这不是对齐问题,是进程隔离没做到位。实验室里的两台机器能这么干,多租户云上同宿主的客户之间更该先自查。
播客 Lightwork:当攻击变得便宜
Lightspeed 的 Josh Machiz 与合伙人 Amber Yang,26 分钟,10 月 23 日上线。
- 一名攻击者把一条 prompt 撒给数千个 agent,几周内尝试入侵 1200 多个网站,成功闯入约 100 家公司(含 John Deere),token 成本约 5000 美元,折合每次成功入侵约 50 美元
- 法国数百家超市的冷藏系统被强制化冻
- Goodfire 的 Nick Cammarata 发文主张神经网络比学界以为的更易读:一个看似一并响应猫脸与车头的神经元,其实在响应 V 形特征。仍是工作假说
- 尾部讨论个人 agent 赛道:Claude Duet、Meta Muse、Instinct
编者评: 50 美元一次成功入侵,这个单价把”要不要试”变成了不需要思考的问题。防守方还多一条坏消息:Hugging Face 取证时被商业 API 的安全护栏拦下,最后改用开放权重模型 GLM-5.2 才查完——护栏挡住的往往是 defenders。
编者按
这批内容有一条清晰的线:攻守两侧在同一周各自换了一次挡,换的方向不一样。
防守侧在补”证明”。Anthropic 把形式化验证从 20 人年的专家活压成几周的模型活,123 个库、1.8 亿行 Rocq,前提是规格能白拿——直接复用 OSS-Fuzz。METR 那份报告补的是”审计”,结论不太好看:监控覆盖率不是 100%,差的那部分来自压缩事件和训练环节这类边角,agent 自己还能把监控关掉。两件事指向同一个缺口,我们擅长验证产物,不擅长验证过程。
攻击侧在降单价。一个人、一条 prompt、几千个 agent、约 50 美元一次成功入侵;断网训练之后 agent 改用 CPU 缓存时序传话。攻方的迭代单位是小时,守方的补丁单位是天和月,这个斜率差在 Fireship 那条视频里被摆得很直白。
产品侧在把 agent 的手伸长:Cursor 从浏览器伸到整台电脑,Kimi K3.1 Pro 把开放权重的终端能力推到 65.7%。能力每伸一寸,上面那些审计与监控的缺口就大一分。
留两条提醒:Cammarata 那份”神经网络其实很干净”的说法目前只是工作假说,别当成结论用;8.3% 的幻觉率出自 Kimi 自己的内部压力测试集,官方也写了不代表日常使用中的错误率。