AI 世界模型物理保真度实验室
四大物理保真度基准(GAUGE / Apple-π / WorldExam / CaliBench)——形式对、参数错 · Table 4 全表 · 引擎 vs 世界模型 · 随机动力学
🧠
AI 生成视频「看起来符合物理」,但反推的物理参数全错
2026 年 7–8 月,四个「物理保真度」基准扎堆发布。最扎心的一条来自 GAUGE:模型画出的弹跳球, 反推重力加速度只有 0.088 m/s²(真值 9.81 的 1%) ——而这一档同时是全场形状分最好的一档。关键不是「画得像不像」,而是形状对与量级对是两件事。
📖 论文值(GAUGE / WorldExam / CaliBench / Apple-π 正文或表格)🧮 本站真算(最小二乘拟合 / 弹道积分 / TVD / 卡方)⚠️ 本站设定(函数形式与量级是本站挑的,与论文实测不可换算)· 数据快照日 2026-10-23
为什么这一屏要有个开关:「看起来符合物理」说的是形状(s–t² 里是不是一条直线、R² 高不高), 「 反推参数全错」说的是量级(这条直线的斜率)。两者在同一个坐标系里会被逐轴自动缩放糊成同一件事—— 所以下面默认进「各自自动缩放」,请你亲手切到「共享坐标轴」,看看真相长什么样。
s–t² 坐标下的两条自由落体🧮
真值斜率 k
4.905m/s²
k = g/2 = 4.905
AI 拟合斜率 k
0.044m/s²
仅真值的 0.90%
真值形状分 R²
1.0000
AI 形状分 R²
1.0000
无噪声时与真值完全一样
噪声为 0 时两条曲线的 R² 都恰好是 1.0000 —— 形状分满分,斜率差 111×。这就是 GAUGE 说的「visually smooth parabola can have low shape error but still encode an incorrect gravity magnitude」。
🎛️ 控制面板
0.088
−0.069.81
真值 g9.81 m/s²
参数差111×
占真值比例0.90%
0% · 本站设定,用于看形状分怎么掉
1.0 s
弹跳球双轨模拟器(浏览器内真积分,下落高度 2 m)🧮
左轨用 g = 9.81 逐帧积分,右轨用你选的反推值积分。把 g 拖到 9.81 两轨完全重合; 拖到 0.088 右球几乎悬浮、长时间才落一次;拖到 −0.052 右球直接往上飞出画面。(旧版把「视觉上像」直接移植成「轨迹像」,量纲串台——画面明明不一样,文案却说「看起来一样」)
🎯
GAUGE
2026-08-06 · arXiv 预印本
反推 g = 0.088 m/s²
口径:弹跳球反推重力加速度,真值 9.81(差 111×)
上海 AI Lab · 15 作者(Wang Shuai…Zhang Weinan)
- 动捕系统
- 2m×2m×2m · 16 台 NOKOV Mars9H 红外相机 · 180 Hz · 亚毫米精度
- 真实试验
- 约 1,560 条动捕轨迹 · 22 个任务族
- 引擎侧
- Isaac Sim / Genesis / Newton · 14 个任务族
- 视频侧
- 6 个图生视频模型 × w/o|w 负向提示 = 10 列 · 5 个刚体任务
关键结论 📖
- ⭐ 弹跳球反推加速度全列:0.45 / 0.33 / 0.076 / 0.088 / 0.051 / 0.064 / 0.16 / 0.15 / 1.84 / −0.052(真值 9.81)
- ⭐ 0.088 出自 Cosmos3-Super-I2V + 负向提示,且同时是全场形状分最好(QFI 12.50,w/o 时 428.39,改善 34×)——负向提示让画面「更物理」34 倍,重力依然是 1%
- ⭐ 1.84(Seedance 2)是全场最好成绩,也只有真值的 18.8%——不是个别模型拉胯
- ⭐ −0.052 是负重力:球在往上加速
- 单摆:方程拟合 R² 最高 0.99,但预测周期最极端到 17.95 s(真值 1.06 s 的 17×)
- ⭐ 引擎侧:没有引擎全面占优;残差集中在冲击接触、高速织物运动、三维形变
- ⭐ 原文落点:matching low-frequency motion does not imply accurate impact resolution or long-horizon energy behavior
论文自述局限
- · 动捕空间 2m×2m×2m,尺度受限
- · 视频侧只覆盖 5 个刚体任务,不含流体 / 热力学
🍎
Apple-π
[v1] 2026-07 · NeurIPS 2026 已接收
SOTA 0.473
口径:Orchard 全轨道综合得分,满分 1.0
NTU S-Lab + 香港中文大学 CUHK
- 数据集
- Orchard · 400 段视频 · 10 类经典力学任务(243 仿真 + 121 自摄 + 36 网络)
- 评测设计
- Perception → Formulation → Deduction 三阶段 + 五个子轨道
- 被测模型
- 11 个视频 / 图像生成模型
- 领先者
- GPT Image 2 / Nano Banana 2
关键结论 📖
- 把「物理」拆成感知(看懂发生了什么)→ 表述(写出方程)→ 推导(算出结果)三段,模型掉分主要掉在后两段
- SOTA 只有 0.473——推导能力极其有限
- 📅 注意:本基准 [v1] 是 7 月,不是 8 月「四大基准」的同月发布
论文自述局限
- · 仅覆盖经典刚体力学,无流体 / 热力学
- · 不看多视角一致性
- · 依赖首帧标注
- · MLLM 裁判无法完全判断物理过程
- · 时间归一化有局限,结果可能受视频生成服务返回情况影响
🌐
WorldExam
2026-08-03 · arXiv 预印本
1,474 例 / 20 模型
口径:题库规模与被测模型数,不是分数
中科院自动化所 CASIA + CUHK + 上海 AI Lab + 高德 + 清华(16 作者)
- 规模
- 1,474 个评测实例 · 8 个任务 · 20 个模型
- 四层能力
- Visual Quality → Control Adherence → Spatial Consistency → World Reactivity
- 静态轨鲁棒性
- Overall 平均绝对相对变化 3.09%(camera 0.44% / action 3.08% / language 5.36%)
- 场景分布
- 交通场景仅占 14.7%
关键结论 📖
- ⭐ 三范式能力分裂:camera-driven 擅长镜头控制但接口不支持动态交互;action-driven 控制主体更精确但常常留下一个不回应的世界;language-driven 交互更好但复杂控制不忠实
- ⭐ 没有模型能同时做到广覆盖与稳定强表现
- World Reactivity 的 Terrain Interaction 任务原文:places stairs, slopes, bridges, trenches… the model must infer how the subject should adapt its height and maintain contact with the terrain
- (旧版写的「脚不落地」应改为原文的「按地形调 整高度并保持接触」)
论文自述局限
- · 变异集中在 Camera Control 轨道
- · 交通场景占比偏低(14.7%)
🎲
CaliBench
2026-08-17 · TMLR 2026 接收 + WOOP@ECCV 2026
93.8% 判分一致
口径:Gemini 3.1 Pro 判分与人类标注的一致率(152/162),不是模型得分
Odyssey(6 作者 Sadeghi / Seidenschwarz / Allardice / Srinivasan / Graham / Hawke)
- 规模
- 9 个场景 × 6 个模型 × 32 次重复
- 被测模型
- WAN-2.7 / SeeDance-2.0 / HappyHorse-1.0 / Veo 3.1 / Runway Gen-4.5 / Cosmos3-Super
- 双轴指标
- scorability(能读出结果的生成占比)× calibration(TVD / mnTV)
关键结论 📖
- ⭐ scorability 与 calibration 是两条正交轴,单一准确率会把它们混起来
- ⭐ 卡方检验以「已校准」为零假设 → 只能证明失校,不能证明校准;N=32/cell 只能检出大偏差
- ⭐ 降低 CFG 会增加结果多样性,但降低 scorability——一个真实的两难
- Veo 3.1 在骰子上坍缩到单一结果
- ⭐ 安 全动机:坍缩的世界模型恰恰会藏掉你建这个仿真本来要找的稀有、危险尾事件
论文自述局限
- · 依赖闭式参考分布,只覆盖可解析的随机过程
- · 自动判分与人类仍有 6.2% 不一致
站内 canon 一致性:
PhysicsWorldSimulator.tsx 引用的 GAUGE 单摆 1.93 s vs 实测 1.06 s 与本页核对一致,无冲突。