AI 世界模型物理保真度实验室

四大物理保真度基准(GAUGE / Apple-π / WorldExam / CaliBench)——形式对、参数错 · Table 4 全表 · 引擎 vs 世界模型 · 随机动力学

🧠

AI 生成视频「看起来符合物理」,但反推的物理参数全错

2026 年 7–8 月,四个「物理保真度」基准扎堆发布。最扎心的一条来自 GAUGE:模型画出的弹跳球, 反推重力加速度只有 0.088 m/s²(真值 9.81 的 1%) ——而这一档同时是全场形状分最好的一档。关键不是「画得像不像」,而是形状对与量级对是两件事。

📖 论文值(GAUGE / WorldExam / CaliBench / Apple-π 正文或表格)🧮 本站真算(最小二乘拟合 / 弹道积分 / TVD / 卡方)⚠️ 本站设定(函数形式与量级是本站挑的,与论文实测不可换算)· 数据快照日 2026-10-23
为什么这一屏要有个开关:「看起来符合物理」说的是形状(s–t² 里是不是一条直线、R² 高不高), 「反推参数全错」说的是量级(这条直线的斜率)。两者在同一个坐标系里会被逐轴自动缩放糊成同一件事—— 所以下面默认进「各自自动缩放」,请你亲手切到「共享坐标轴」,看看真相长什么样。

s–t² 坐标下的两条自由落体🧮

各自自动缩放(每条曲线把纵轴缩到自身极值)t² (s²)s (m)真值 g = 9.81AI 反推 g = 0.088
真值斜率 k
4.905m/s²
k = g/2 = 4.905
AI 拟合斜率 k
0.044m/s²
仅真值的 0.90%
真值形状分 R²
1.0000
AI 形状分 R²
1.0000
无噪声时与真值完全一样
噪声为 0 时两条曲线的 R² 都恰好是 1.0000 —— 形状分满分,斜率差 111×。这就是 GAUGE 说的「visually smooth parabola can have low shape error but still encode an incorrect gravity magnitude」。

🎛️ 控制面板

0.088
−0.069.81
真值 g9.81 m/s²
参数差111×
占真值比例0.90%
0% · 本站设定,用于看形状分怎么掉
1.0 s

弹跳球双轨模拟器(浏览器内真积分,下落高度 2 m)🧮

左轨用 g = 9.81 逐帧积分,右轨用你选的反推值积分。把 g 拖到 9.81 两轨完全重合; 拖到 0.088 右球几乎悬浮、长时间才落一次;拖到 −0.052 右球直接往上飞出画面。(旧版把「视觉上像」直接移植成「轨迹像」,量纲串台——画面明明不一样,文案却说「看起来一样」)

🎯

GAUGE

2026-08-06 · arXiv 预印本

反推 g = 0.088 m/s²
口径:弹跳球反推重力加速度,真值 9.81(差 111×)

上海 AI Lab · 15 作者(Wang Shuai…Zhang Weinan)

动捕系统
2m×2m×2m · 16 台 NOKOV Mars9H 红外相机 · 180 Hz · 亚毫米精度
真实试验
约 1,560 条动捕轨迹 · 22 个任务族
引擎侧
Isaac Sim / Genesis / Newton · 14 个任务族
视频侧
6 个图生视频模型 × w/o|w 负向提示 = 10 列 · 5 个刚体任务
关键结论 📖
  • ⭐ 弹跳球反推加速度全列:0.45 / 0.33 / 0.076 / 0.088 / 0.051 / 0.064 / 0.16 / 0.15 / 1.84 / −0.052(真值 9.81)
  • ⭐ 0.088 出自 Cosmos3-Super-I2V + 负向提示,且同时是全场形状分最好(QFI 12.50,w/o 时 428.39,改善 34×)——负向提示让画面「更物理」34 倍,重力依然是 1%
  • ⭐ 1.84(Seedance 2)是全场最好成绩,也只有真值的 18.8%——不是个别模型拉胯
  • ⭐ −0.052 是负重力:球在往上加速
  • 单摆:方程拟合 R² 最高 0.99,但预测周期最极端到 17.95 s(真值 1.06 s 的 17×)
  • ⭐ 引擎侧:没有引擎全面占优;残差集中在冲击接触、高速织物运动、三维形变
  • ⭐ 原文落点:matching low-frequency motion does not imply accurate impact resolution or long-horizon energy behavior
论文自述局限
  • · 动捕空间 2m×2m×2m,尺度受限
  • · 视频侧只覆盖 5 个刚体任务,不含流体 / 热力学
🍎

Apple-π

[v1] 2026-07 · NeurIPS 2026 已接收

SOTA 0.473
口径:Orchard 全轨道综合得分,满分 1.0

NTU S-Lab + 香港中文大学 CUHK

数据集
Orchard · 400 段视频 · 10 类经典力学任务(243 仿真 + 121 自摄 + 36 网络)
评测设计
Perception → Formulation → Deduction 三阶段 + 五个子轨道
被测模型
11 个视频 / 图像生成模型
领先者
GPT Image 2 / Nano Banana 2
关键结论 📖
  • 把「物理」拆成感知(看懂发生了什么)→ 表述(写出方程)→ 推导(算出结果)三段,模型掉分主要掉在后两段
  • SOTA 只有 0.473——推导能力极其有限
  • 📅 注意:本基准 [v1] 是 7 月,不是 8 月「四大基准」的同月发布
论文自述局限
  • · 仅覆盖经典刚体力学,无流体 / 热力学
  • · 不看多视角一致性
  • · 依赖首帧标注
  • · MLLM 裁判无法完全判断物理过程
  • · 时间归一化有局限,结果可能受视频生成服务返回情况影响
🌐

WorldExam

2026-08-03 · arXiv 预印本

1,474 例 / 20 模型
口径:题库规模与被测模型数,不是分数

中科院自动化所 CASIA + CUHK + 上海 AI Lab + 高德 + 清华(16 作者)

规模
1,474 个评测实例 · 8 个任务 · 20 个模型
四层能力
Visual Quality → Control Adherence → Spatial Consistency → World Reactivity
静态轨鲁棒性
Overall 平均绝对相对变化 3.09%(camera 0.44% / action 3.08% / language 5.36%)
场景分布
交通场景仅占 14.7%
关键结论 📖
  • ⭐ 三范式能力分裂:camera-driven 擅长镜头控制但接口不支持动态交互;action-driven 控制主体更精确但常常留下一个不回应的世界;language-driven 交互更好但复杂控制不忠实
  • ⭐ 没有模型能同时做到广覆盖与稳定强表现
  • World Reactivity 的 Terrain Interaction 任务原文:places stairs, slopes, bridges, trenches… the model must infer how the subject should adapt its height and maintain contact with the terrain
  • (旧版写的「脚不落地」应改为原文的「按地形调整高度并保持接触」)
论文自述局限
  • · 变异集中在 Camera Control 轨道
  • · 交通场景占比偏低(14.7%)
🎲

CaliBench

2026-08-17 · TMLR 2026 接收 + WOOP@ECCV 2026

93.8% 判分一致
口径:Gemini 3.1 Pro 判分与人类标注的一致率(152/162),不是模型得分

Odyssey(6 作者 Sadeghi / Seidenschwarz / Allardice / Srinivasan / Graham / Hawke)

规模
9 个场景 × 6 个模型 × 32 次重复
被测模型
WAN-2.7 / SeeDance-2.0 / HappyHorse-1.0 / Veo 3.1 / Runway Gen-4.5 / Cosmos3-Super
双轴指标
scorability(能读出结果的生成占比)× calibration(TVD / mnTV)
关键结论 📖
  • ⭐ scorability 与 calibration 是两条正交轴,单一准确率会把它们混起来
  • ⭐ 卡方检验以「已校准」为零假设 → 只能证明失校,不能证明校准;N=32/cell 只能检出大偏差
  • ⭐ 降低 CFG 会增加结果多样性,但降低 scorability——一个真实的两难
  • Veo 3.1 在骰子上坍缩到单一结果
  • ⭐ 安全动机:坍缩的世界模型恰恰会藏掉你建这个仿真本来要找的稀有、危险尾事件
论文自述局限
  • · 依赖闭式参考分布,只覆盖可解析的随机过程
  • · 自动判分与人类仍有 6.2% 不一致
站内 canon 一致性:PhysicsWorldSimulator.tsx 引用的 GAUGE 单摆 1.93 s vs 实测 1.06 s 与本页核对一致,无冲突。