数据工程·课程天花板实验室
《AI 数据全书》· 第 10 章 · 数据配比与课程化退火课程学习能把小模型的隐式 lookahead 从 45% 教到 98%——但天花板存在、步长有禁忌。 一手源 arXiv:2610.25612：饱和指数曲线暗示每个模型有一个最大内在 lookahead（更大模型天花板更高、 预训练起步远快于从零、课程步长太大会卡死进度）。与「数据工程·课程退火调度器」构成同主题纵深： 调度器讲数据顺序 × LR 怎么排，本工具讲单维度难度渐进的天花板与步长。
课程学习真的能把小模型的隐式 lookahead从 45% 拉到 98%（📖 Qwen3-0.6B，lookahead ≤ 256，matched compute）—— 但天花板存在：继续微调的收益遵循饱和指数曲线，暗示每个模型有一个最大内在 lookahead。三条规律：更大模型天花板更高、预训练起步远快于从零、课程步长太大会卡死进度。 这恰是「课程学习收益」叙事的反面补充：教得会，但有极限、有步长禁忌。
论文的核心测量形态：饱和指数曲线 acc(t) = A∞·(1 − a·exp(−t/τ)) —— 继续微调的收益随时间放缓，暗示每个模型有一个最大内在 lookahead（拟合天花板）。 本 Tab 三件事：拖滑杆看曲线形状（🧮）、给曲线加噪声后用最小二乘把 A∞/a/τ 拟合回来（🧮 真算）、 用读数尺回答「继续训还有多少收益」。📖 文献锚点只决定预设的量级，拟合是浏览器实算。
📖 锚点：A∞ 取论文的 98%（lookahead ≤ 256）；a/τ 为教学设定值
A∞（渐近天花板 %）98
a（起点缺口）0.55
τ（时间常数）1.6
采样噪声 σ（%）2.5
真实曲线采样点（+噪声）读数尺 t = 3.0
读数尺（继续训到 t = ?）3.0
当前准确率
89.7%
继续训的剩余收益
8.3pp
A∞ − acc(t)
到达 95% 渐近线需
t = 3.8
t₉₅ = τ·ln(a/0.05)
⚠️ 诚实性：A∞/a/τ 由滑杆直接设定或由拟合给出，是教学模型；论文的真实拟合值只有 Pythia 410M/1.4B/2.8B → 51/82/235（📖 §4.4）这一组，且那是 lookahead 单位、不是百分比——两套量纲在本 Tab 中不混用。 「上限是拟合推断、不是实测终点」的完整告诫见 Tab ④。
📖 更大模型 → 拟合天花板更高（§4.4）
410M→51 · 1.4B→82 · 2.8B→235
📖 预训练起步 vs 从零（§4.5，Pythia-1.4B）
lookahead 63 vs 23 @ 1.5M PFLOPs
📖 达到 98% 的算力（Table 1 节选，K PFLOPs）
L96: 66.5 vs 82.8 · L104: 66.5 vs 106 · L112: 74.3 vs 140
一手源 📖 arXiv:2610.25612《Curriculum Learning Teaches LLMs Long-Horizon Implicit Reasoning, Up To A Limit》（Huang / Nickell / Zhang / Saparov，Purdue，v1 2026-10-19）。内容参考 《AI 数据全书》第 10 章「数据配比与课程学习」（§10.5 课程策略）。
标记体系：📖 = 文献值（abs 摘要 + HTML 正文回源核对，快照日 2026-10-31）；🧮 = 浏览器内实算（最小二乘拟合、网格扫描）；⚠️ = 教学模型 / 示意值，请勿直接引用。 同主题纵深：「数据顺序 × LR 联合排程」见 数据工程·课程退火调度器。