提示阶梯缩放律预测台
小模型在难题上得 0 分,缩放律就没有趋势可外推——把基准变成难度连续谱, ≤10^20 FLOPs 的模型就能预测 10^23 模型的 GSM8K 准确率(25.9%)到 3 个百分点以内,而标准缩放律同条件低估 13 个百分点。 四个 Tab:零分区困境 · 提示阶梯工坊 · 外推竞技场 · 排序放大镜; 所有拟合(floored sigmoid 6 参数 / 基线 2 参数)与排序蒙特卡洛在浏览器里真算,论文数字一律 📖 分栏。
🕳️题眼:小模型在难题上得 0 分,缩放律就没有趋势可外推。Delphi 预训练阶梯上,10^22 FLOPs 以 下的模型 GSM8K 未提示准确率全部趴在 0.5–2% 的噪声地板 📖—— 在一片 0 上拟合 sigmoid,拟合「接近不可辨识」,外推带直接爆炸。
📉Delphi 阶梯的 H=0 未提示准确率
⚠ 逐点数值为教学构造基线拟合集含前 n 小的模型3 个
n=2 复现论文 Qwen2.5 情形(两个模型拟合 2 参数 = 欠定,无穷多完美解);n 拉大到 7+ 时平坦解胜出、外推收敛到地板附近(= 论文「标准律系统性低估」的形态)
💥基线外推带:同一套流程,换个噪声就换个答案
🧮 24 个噪声种子真算外推 10^23 · 最小
0.9%
外推 10^23 · 中位
1.6%
外推 10^23 · 最大
86.2%
黑线 = 真值 25.9% 📖。拟合集全在地板上时,2 参数 sigmoid 接近不可辨识:n=2/3 欠定(点数 ≤ 参数数), 无穷多完美解由抽签决定——换一次噪声,10^23 的预测就能从 0.9% 摆到 86.2%; n 拉大后平坦解胜出,外推钉死在地板附近(系统性欠投,论文:标准律低估 13pp 📖)。 论文的真实案例更夸张:Qwen2.5 只拿两个模型拟合,基线在 32B 上预测接近 100%(真值 12%,误差 88.2pp),而 hinted 预测只差 3.0pp 📖。
📚论文战绩(📖 摘要与正文逐字)
≤10^20 拟合 → 预测 10^23(25.9%)误差 < 3pp 📖
标准缩放律(同拟合集)低估 13pp 📖
标准缩放律(拟合集加到 ≤10^22)仍差 12pp 📖
GSM8K / AIME / HLE 中位预测误差21pp → 4.3pp 📖
19 个外推面板中 hinted 胜出17 个 📖
⚠ 上表为本页唯一口径——它描述论文实测;本 Tab 左图的阶梯逐点数值是满足锚点约束的教学构造,不冒充 Delphi 实测数据。
这个工具里哪些数字是真的
📖 文献值(arXiv:2611.02270,2026-11-09 abs + HTML 正文回源)
25.9% 目标、<3pp / 13pp / 12pp、21pp→4.3pp、Qwen2.5 88.2pp vs 3.0pp、17/19 面板、 masking H=0.5 >7%、truncation H=1 ≤12%、MAE 3.1/3.3/1.7pp、AIME 0.06–0.81%、+0.33/+0.27τ、~5/~6 次、λ=8、 log-loss 0.33/−0.05——全部正文逐字。
🧮 真算(浏览器内)
24 种子外推带、floored sigmoid 6 参数与基线 2 参数坐标下降拟合(随机重启)、ensemble 外推、 masking/truncation 文本变换、排序蒙特卡洛(binomial 采样 + z 分数 + Kendall τ)。
⚠ 教学模型
Delphi 阶梯逐点数值、hint 曲线形状参数、7 模型逐个准确率与 hint 放大倍数——锚点约束来自论文(区间与方向), 绝对值不冒充实测;本页误差数字与论文战绩不可比,论文数字一律 📖 分栏。