数据工程·偏好标签噪声路由实验室

标准 DPO 把每个偏好标签当绝对真理：翻转的标签产生方向相反的梯度，等价对产生随机方向的梯度。 PLC-DPO（arXiv:2608.30597）把标签当潜变量，用 policy-reference margin 做在线证据做三状态路由—— clean 正向学、flip 反向救、tie 主动中性化。整条路由管线（EMA 校准、能量分、softmax、三种条件损失、 stopgrad、warmup 置信门）在浏览器内真算、逐步可回放；论文实测锚点单独分栏，与教学模型输出严格不混。 与偏好对构建工作台（构建侧）、奖励模型数据体检台（reward hacking）、训练灾难博物馆（事故陈列）正交互补。

📖arXiv:2608.30597（PLC-DPO，Findings of EMNLP 2026）的问题设定：DPO 假设所有观测到的偏好标签都可靠， 真实数据经常违反——标签反转（flip）、等价对（tie）、弱方向（weakly directional）都会产生有害更新。 论文的注入压力测试极限档是 30%。下面把三类噪声注进同一批 240 条偏好对，看标准 DPO 会吃到什么。

🧪噪声注入滑杆 —— 0–30% 压力测试区间

🧮 构成真算⚠ margin 为合成值
flip 率（标签反转：真赢家被标成 rejected）20%
翻转对的参考 margin 为负——π_ref 更信真赢家，这是路由可用的先验物理基础
tie 率（等价对：两个响应同分）10%
论文的直接 tie 压力测试：把偏好对替换成 exact equal-score pairs，最高替换 30%
weak 率（弱方向：真差距极小但仍为正）5%
方向对但证据弱（|z| 贴近 0）——论文强调路由要能区分 flipped 与 weakly directional
实际构成（mulberry32 固定种子确定性采样，每次刷新一致）： clean 158 条 · flip 46 条 · tie 24 条 · weak 12 条
标准 DPO 把每个标签当绝对真理 —— 它实际吃到的梯度构成（🧮 真算）
clean：正确方向 158weak：方向对但信号弱 12flip：反方向（最毒）46tie：随机方向（白耗方差）24
有毒梯度占比（flip + tie）
30%
每一步都在把模型推向错误方向或随机方向
期望有效监督占比
66%
clean 全额 + weak 按真差距折扣（教学设定 18%）
⚠三类噪声的毒性不同：flip 对产生方向相反的梯度——DPO 越训越错； tie 对产生随机方向的梯度——期望为零、全部浪费在方差上； weak 对方向对但真差距极小——「照单全收」会把弱证据放大成强偏好。

📊240 条偏好对的参考 margin 分布 —— 路由的物理基础

🧮 分箱真算
04897-3.0-1.9-0.90.21.2条数π_ref 对标注 chosen 的初始 marginflip 区（margin < 0：ref 不信标签）clean / weak 区
cleanweakfliptie
margin 为合成示意值（⚠，真值需跑参考模型），但分箱、计数全部浏览器真算。flip 对天然落在零轴左侧——这是「margin 可作为标签可信度在线证据」的物理基础， 也是 Tab② 路由器唯一需要的东西。

➡️这一步之后

📖 论文 §3
① 注入（本 Tab）
三类噪声可调注入，看到 DPO 照单全收时的梯度毒性构成。
② 在线路由（核心）
把每条标签当潜变量，用 policy-reference margin 做在线证据，EMA → 能量分 → softmax → 三状态路由。
③④ 对照与题眼
三策略文献锚点对照；flip 可救、tie 该废——修正比过滤多救回多少。
clean（标签方向正确）
本批 158 条 · 初始 margin +0.7 ~ +1.1
flip（标签反转）
本批 46 条 · 初始 margin −1.2 ~ −2.8
tie（等价对）
本批 24 条 · 初始 margin ±0.06
weak（弱方向）
本批 12 条 · 初始 margin +0.06 ~ +0.22

这个工具里哪些数字是真的

🧮 浏览器内真算
  • · EMA 在线校准（μ、v 逐步更新）与 z 标准化
  • · 能量分 → softmax 三状态路由权重
  • · 三种条件损失（−logσ / −logσ(−m) / softplus）与混合
  • · 置信门 γ·C(q)、warmup 置信门
  • · 三策略动力学仿真（160 步 × 240 对逐对更新）
  • · 噪声构成、有毒梯度占比、路由命中率、三指标统计
📖 引自 arXiv:2608.30597 的文献值
  • · 57 单元平均胜率 60.5 vs 次优 rDPO 55.5（+5.0）
  • · Table 4 注入翻转噪声：PLC 66.88/65.62/71.25/61.88，rDPO 崩到 26.88
  • · tie 压力测试：领先 +8.3 → +18.5（0→30% 注入）
  • · 30% tie 档：PLC 68.5 vs RE-PO 51.6
  • · 自确认诊断 AUROC：0.731 / 0.779 / 0.734
  • · abs 页 ↗ · 代码 github.com/VennTum99/PLC-DPO ↗
⚠ 教学模型 / 合成值
  • · 全部 margin 轨迹（真轨迹需训练模型，本工具不调任何模型）
  • · 路由超参默认值（论文未公开逐项默认值，已在 node 四场景调参核验）
  • · 动力学更新规则（论文无浏览器可复现的逐步公式）
  • · weak 折扣 18%（有毒梯度占比的期望口径）
  • · Tab② 三策略数字与论文实测不可比（已在页内明示）
一手源：PLC-DPO: Posterior Label Correction in Noisy and Ambiguous Preference Optimization（Cho / Ahn / Yun， KAIST AI & KENTECH，Findings of EMNLP 2026，v1 2026-08-31）。快照日 2026-11-03：curl abs 页核验 citation_title / author / date 逐字一致，HTML v1 正文提取 Table 4、tie 压力测试、自确认诊断全部数字。 与偏好对构建工作台（构建侧）、奖励模型数据体检台（reward hacking）、训练灾难博物馆（事故陈列）正交互补。