数据工程·Scaling 数据推演器
《AI 数据全书》· 第 1 章 · 为什么数据决定模型能力上限拖 γ 看「两组锚点不可兼得」的无解区间，拖 N/D/Q 看质量、规模与算力怎么互相换算——质量是杠杆，规模是乘数
📐
先说这页自己的事故：这个公式同时证伪了它自己的两个 Tab
「质量是杠杆，规模是乘数」这句话没问题。有问题的是把它写成L(N,D,Q) = A/N^α + B/(D^β·Q^γ) + E之后，拿同一个 γ 去同时解释思想实验与实测对比。 本站实测：让三方案站住要 γ ≈ 0.28，让 FineWeb 站住要 γ ≥ 0.9085，中间没有任何一个 γ 能同时对上。 本页把这个无解区间直接画出来，而不是藏起来。
📖 文献值（书籍章节 / 论文正文，标注出处）🧮 本站真算（闭式解 / 6ND / OLS，可在浏览器内复算）⚠️ 教学模型 · 示意值（思想实验锚点、曲线形状）· 快照日 2026-10-24
🔥
γ 诊断：不存在任何一个 γ 能让这两组锚点同时成立🧮
页面上同时挂着两组「真值」：一组是 §1.2.1 的思想实验（三方案 45/52/58）， 一组是 §2.3 的实测对比（FineWeb 15T 得 24.5，Edu 1.3T 得 28.5）。 同一个 L(N,D,Q) 只能对上其中一个—— 拖下面的滑杆，看它怎么在两组之间来回翻车。
γ = 0.280
σ = γ / β
1.00
质量掉 1%，要补 1.00% 的 token
临界 γ（闭式解）
0.9085
β·ln(15T/1.3T)/ln(0.85/0.4)
扫描结论
无解
γ∈[0.1,1.5] 步长 0.005 全扫
σ 怎么读：保持
D^β·Q^γ 不变时 dD/D = −σ·dQ/Q。 σ = 1 → 质量与规模 1:1 可互换（质量掉 10%，补 10% 数据就行）； σ = 3.24 → FineWeb-Edu 才刚好追平全量； σ → ∞ → 质量无法用规模补偿，再多 token 也洗不干净。思想实验锚点 §1.2.1 三方案✅站得住
| 方案 | 模型 预测 | 章节参考 | 残差 |
|---|---|---|---|
| A · 堆参数 | 46.18 | 45 | +1.18 |
| B · 堆数据 | 52.31 | 52 | +0.31 |
| C · 堆质量 | 58.16 | 58 | +0.16 |
最大绝对残差 1.18 · 判据：三个都 ≤ 3 分
实测锚点 §2.3 FineWeb 实测❌方向反
| 组别 | 公式预测 | 书上实测 | Edu − 全量 |
|---|---|---|---|
| FineWeb 全量 15T | 47.51 | 24.5 | -8.30 |
| FineWeb-Edu ≥4 1.3T | 39.21 | 28.5 |
书上 Edu 比全量 好 +4.0 分； 公式在 γ=0.28 时给出 差 8.30 分
结论（这条要写进任何引用本工具的场合）：让三方案站住 → γ ≈ 0.28，此时 FineWeb 崩（Edu 差 8.30 分）； 让 FineWeb 站住 → γ ≥ 0.9085，此时三方案崩（A 掉到 22.09 vs 章节 45）。中间这一段 γ 里，两边同时不成立。
根因不是参数没调对，是外推越界。A/B/C 是思想实验的示意值（N = 70B / 8B）， FineWeb 是实测（N = 1.8B、不同数据池、不同评测设置）。 拿思想实验标定的拟合常数去预测实测对比，本来就不该成立——Scaling Law 是条件定律，指数只在它自己的数据分布上有效。
正确用法：思想实验锚点与实测锚点必须分栏，不可互相预测。 本页三方案卡片只挂「思想实验」标签，FineWeb 表格只挂「实测」标签，两边不换算。
质量感知缩放律
L(N, D, Q) = A/N^α + B/(D^β · Q^γ) + E（UChicago Subramanyam et al., ICLR 2026 · α=0.34、β=0.28 固定，γ 由上方滑杆控制）8.0B
2.0T tokens
0.60
0.1 垃圾堆0.4 粗清洗0.85 精选
算力预算 C ≈ 6ND96.00 ×10²¹ FLOPs
D / N250.0
预测 Loss
2.035
MMLU 预估
55.53
由三个思想实验锚点标定，非独立预测
固定 N / D，只改质量会怎样？零起点 · 量程 0–100
Q=0.40
52.31
基准Q=0.60
55.53
+3.22Q=0.85
58.16
+5.85差值用右侧数字标注，不再靠截断坐标轴放大视觉差距（旧版三方案条形图起点是 40，45 分画成 20% 宽 —— 差距被放大 3.6 倍）
D/N 判据：静态阈值换成本公式自己算出来的最优🧮
旧版硬编码 D/N ∈ [12, 30] 判「接近 Chinchilla 最优」——默认 8B/2T 一进页面就被判「过训练」， 而这正是 Llama-3 8B/15T 一类工业标准做法。更严重的是：那个阈值与页面自己的公式不自洽。
① Chinchilla 训练算力最优
≈ 20D/N
训练 FLOPs 口径（Hoffmann et al. 2022）
② 本公式在当前 C、Q 下的最优
123.57D/N
闭式解 N* = [αA·C^β·Q^γ/(βB·6^β)]^(1/(α+β))
你现在的位置
250.0D/N
离公式最优 高 2.02×
⭐ 本工具此前完全没讲出来的那条反直觉结论
最优 D*/N* ∝ Q^-0.903——数据质量越高，等算力最优的 D/N 反而越小： 高质量数据应该拿去配更大的模型，而不是配更多 token。 在基准算力 C = 9.6×10²² 下，Q 从 0.4 提到 0.85，最优 D/N 从 123.57 掉到 90.22 （γ = 0.28；γ 越大这个效应越陡）。
Q = 0.4
N* 9.5B
D* 1.7T
D/N 178.2
Q = 0.6
N* 11B
D* 1.4T
D/N 123.6
Q = 0.85
N* 13B
D* 1.2T
D/N 90.2
第三条口径只标注、不计算：「推理算力最优」下 D/N 应该更大（小模型 + 多数据 + 大量推理调用更划算）， 它依赖服务量假设，本站不做计算——这部分请去看Scaling Laws 实验场 · Chinchilla vs 过训练。
Loss 随数据量的变化曲线（当前 N = 8.0B，γ = 0.28）🧮
等算力三方案对照 思想实验锚点📖
⚠️ 标题写「等算力」，但按 6ND 实测 A 比 B/C 多花 1.312× 算力——勾选上面的开关才能看到真等算力下的结果。
A · 堆参数70B / 300B · 粗清洗网页
6ND 126.00 ×10²¹1.313×D/N 4.29
算力占比（以最大者为 100%）
MMLU
46.18
残差 +1.18虚线 = 章节参考 45 · 条形零起点、量程 0–100
参数堆到 70B，数据只有 0.3T 且未精选——大模型的容量被垃圾数据浪费
B · 堆数据8.0B / 2.0T · 粗清洗网页
6ND 96.00 ×10²¹1.000×D/N 250.00
算力占比（以最大者为 100%）
MMLU
52.31
残差 +0.31虚线 = 章节参考 52 · 条形零起点、量程 0–100
把参数降下来、数据量提上去，同样算力下已经反超方案 A 七分
C · 堆质量8.0B / 2.0T · FineWeb-Edu 级
6ND 96.00 ×10²¹1.000×D/N 250.00
算力占比（以最大者为 100%）
MMLU
58.16
残差 +0.16虚线 = 章节参考 58 · 条形零起点、量程 0–100
同样的 8B/2T，只把数据换成精选级，再涨 6 分——质量是杠杆，规模是乘数
🔴 「等算力」打假：三个方案的 6ND 实测为 A 126.00 ×10²¹ · B 96.00 ×10²¹ · C 96.00 ×10²¹。 A 比 B/C 多花 1.312× 算力——这一列旧版算出来了却从没渲染，是最容易被证伪的一列。
⚠️「模型预测 vs 章节参考」不是两个独立来源。Loss→MMLU 的映射常数（m₀ = 82.32、c = 2.918）就是拿这三个
mmluRef 锚点反解出来的： 3 个参数拟合 3 个点，残差必然接近 0（A +1.18 / B +0.31 / C +0.16）。 它只能演示趋势，不构成独立验证，也没有任何外推能力。去掉了旧版那句「C 相对 B 再涨 6 分」的因果解读。现在的读法是：在同一个思想实验内部，把预算从参数挪到数据涨 7 分， 再把数据换成精选级涨 6 分——两条增量都只在 γ ≈ 0.28 的这组示意值里成立， 不要拿它去预测任何真实数据集的对比（原因见顶部 γ 诊断面板）。
两组锚点的正确用法🧮
思想实验锚点 §1.2.1 三方案
N = 70B / 8B，示意值，用来讲「预算怎么分配」的方向。 只能与同栏内的其他示意值比较。
实测锚点 §2.3 FineWeb
N = 1.8B，真实训练评测（全量 15T → 24.5，Edu 1.3T → 28.5，Edu 好 +4.0）。只能与同栏实测比较。
arXiv:2502.10341 ↗WebOrganizer（2025-02-14）已回源核对标题一致
📄 本页数值的三类来源
- 拟合常数 A / B / E / α / β：沿用 Chinchilla 公开拟合值（A=406.4、B=410.7、 E=1.69、α=0.34、β=0.28）。γ 不由任何实测标定，是本站放开让你拖的参数。
- 三方案 45 / 52 / 58 与 FineWeb 24.5 / 28.5：📖 转录自 《AI 数据全书》第 1 章「为什么数据决定模型上限」§1.2.1 与 §2.3，两组分别属于思想实验与实测，不可互相预测。
- Loss → MMLU 的映射：⚠️ 用三个思想实验锚点反解得到，不构成独立验证、无外推能力，只用于趋势演示。
2026-10-24 重建记录（可复算的两条更正）：① 三方案「等算力」不成立——A 的 6ND 是 B/C 的 1.312×， 旧版算出了这一列却从未渲染；按真等算力重算后 A 掉到 70B / 229B tokens、MMLU 42.85。 ② 页面上的公式与页面上的实证方向相反，且不存在任何一个 γ 能同时满足。
内容参考《AI 数据全书》第 1 章「为什么数据决定模型上限」 · 阅读原章节 → · 系列首页：数据工程·全景驾驶舱 →
Scaling Law 是条件定律：指数只在它自己的数据分布上有效。本页所有跨锚点的换算都已明确标注为不成立。
Scaling Law 是条件定律：指数只在它自己的数据分布上有效。本页所有跨锚点的换算都已明确标注为不成立。