叠加双流实验室

一个前向传播里的两个念头。线性叠加是 架构本性不是学来的（初始化时最强、预训练反而侵蚀）， 末三分之一的层把它救了回来（>0.95）；直接从混合分布采样会得到乱码（几何平均障碍）， 但引导解码能把它 解缠成两条连贯续写。四个 Tab 不跑任何真模型—— 全部在 toy 词表上确定性真算，文献值逐字取自论文 HTML 正文，二级转述口径逐条标 ⚠。

🌊两条不相关的文本流

🧮 toy 词表真算
小说流 A（逐 token：x₁ x₂ x₃ …）
他说夜雨门沉默
z_t = ½(E(x_t)+E(y_t))
⨁
逐位置平均嵌入
代码流 B（逐 token：y₁ y₂ y₃ …）
defreturnimportxforif
🧠把两条流的 embedding 逐位置平均喂进冻结的预训练 LLM，输出分布 ≈ ½P_A + ½P_B—— 模型真的在「同时想两件事」（📖 Superposition Linearity Hypothesis）。 论文在 Pythia-160M/410M/2.8B、Llama-3.1-8B（另含 Gemma / OLMo 系）+ TinyStories / FineWeb 上验证。

📊三份分布的 top-8 并排

🧮 Zipf toy 分布
小说流 A
他34.2%说15.4%夜9.7%雨7.0%门5.4%的4.8%了4.8%沉默4.4%
代码流 B
def34.2%return15.4%import9.7%x7.0%for5.4%，4.5%。4.5%if4.4%
混合输出 ½P_A+½P_B
他17.1%def17.1%说7.7%return7.7%夜4.8%import4.8%雨3.5%x3.5%
颜色 = token 归属（A 专属 / B 专属 / 共享）。混合分布把两流的头部队列交错排开——这就是「单次前向同时携带两条信息」的 toy 形态。

📉rank 保持曲线：真值 token 还在不在队列前排

🧮 全量精确计算
3434i=15050i=35959i=57669i=10100100i=全■ A 流真值　■ B 流真值　纵轴 = P(rank_mix(t̂) ≤ i) ×100
📖 基座模型 top-10
30–40%
真值 token 存活率
📖 基座模型 top-50
50–60%
真值 token 存活率
📖 基座模型 top-100
60–65%
真值 token 存活率
⚠ 左图为 toy 词表精确计算，与真实 LLM 的 30–40%（top-10）分栏展示、不可比——真实模型词表 3–15 万，toy 只有 24 个 token
论文的反直觉点：这 30–40% 不是词频先验能解释的——频率基线比它低一个数量级（📖 附录 B）， 叠加携带的东西「超出 频率先验 + attention 形状」（📖 attention-patching 分析）。

这个工具里哪些数字是真的

📖 文献值（论文 HTML 正文逐字取值）
  • · 基座模型真值 token top-10 存活 30–40% / top-50 50–60% / top-100 60–65%
  • · KL 散度（L=32 / L=512）：Pythia-160M 0.91/0.92 → Llama-3.1-8B 2.16/1.78
  • · LAMBADA 混合 vs 供体修补：A₁ top-1 19 vs 8、acc 2.25% vs 0.5%、中位 rank 339 vs 2,350；基线 LSTM 0.0% / N-Gram 0.1%
  • · 层剖面：0–5 层高线性、中层 ≈0.65、末三分之一 >0.95（terminal linearity）
  • · 轻量微调 <0.025% 预训练数据量；引导解码式 7（α、β 初始化 1）
  • · 模型 Pythia-160M/410M/2.8B、Llama-3.1-8B（含 Gemma/OLMo）；数据 TinyStories / FineWeb
🧮 浏览器内真算
  • · Zipf toy 分布构造、½(P_A+P_B) 与 √(P_A·P_B) 逐 token 计算
  • · rank 保持 P(rank_mix(t̂) ≤ i)：对词表全量精确计算（非抽样）
  • · 引导解码 ℓ̃ = ℓ_large(z) + α·ℓ_small(A) − β·ℓ_small(B) 逐步 argmax
  • · 侵蚀插值 TVD、逐层剖面判定
⚠ 教学模型 / 示意值
  • · 侵蚀曲线形状（算术→几何平均插值）：论文只给单调趋势，未公开逐 checkpoint 数值
  • · 12 层剖面数值：按论文 ~30 层 U 形定性描述的示意缩放
  • · 「吞吐 ×2 / KV 减半」为二级源转述，摘要只声明 single forward pass × 2 continuations
  • · toy 词表 24 token，与真实 LLM 词表（3–15 万）不可比