数据工程·偏好对构建工作台
《AI 数据全书》· 第 19 章 · 偏好数据工程同样一笔标注预算，是该花在「把好答案润色得更好」，还是「构造更刁钻的坏答案」？ 对照实验的答案很不对称——前者 +3.0~+4.6 分，后者只有 +0.8~+1.4 分。 本工具把偏好数据这条主线拆成四个可交互解剖台：预算分配、margin 调音、偏差实测、少即是多筛选。 双向评审的位置偏差判据、长度归一化、贝叶斯聚合、领域塌缩检测全部在浏览器里真算， 算不了的明确标出是文献值还是教学模型。
📖arXiv:2508.18312 的核心结论：三组对照实验里，仅提高 chosen 质量 带来 +3.0 ~ +4.6 分，仅拉大偏好差距（换更差的 rejected）只带来 +0.8 ~ +1.4 分。 所以偏好数据的预算应当压倒性地投在「把好答案做得更好」上，而不是「把坏答案做得更坏」。
⭐数据预算分配 —— 投在 chosen 还是 rejected？
🧮 曲线真算⚠ 收益模型投给「提升 chosen 质量」的预算占比50% chosen / 50% rejected
剩余预算用于构造更差的 rejected（雇标注员写坏答案、用弱模型采样等）
边际递减强度 λ2.0
⚠ 教学参数：文献只给了「全投某一侧」的两个端点，中间的形状由本工具设定为指数递减
chosen 侧贡献
+2.78
上限 +3.8（文献中值）
rejected 侧贡献
+0.80
上限 +1.1（文献中值）
合计提升
+3.58
相对 50/50 +0.00
当前边际收益比
3.45×
再加 1% 预算，chosen 侧 ÷ rejected 侧
合计提升（左轴）chosen 侧分量rejected 侧分量边际收益比（右轴）
⚠「3-5 倍收益」的正确口径：它指的是单位预算的边际收益之比，不是总分之比。 用文献两端的四个数字组合，比值区间是 3.0/1.4 = 2.14× 到 4.6/0.8 = 5.75×，中值 3.8/1.1 = 3.45×。 上图曲线的形状（边际递减）是本工具设定的教学模型，文献只给了两侧的端点 值。
🚧🆕 「压倒性投 chosen」的四条限定 —— 无条件照搬会变成误读
📖 §19.2.4 两轮订正1多维冲突限定↓ 下方「多维度偏好」卡
不同目标下 chosen 的定义可能不同——同一条数据在 harmlessness 维度是 chosen，换到 helpfulness 维度就成了 rejected（§19.2.3）。单目标 DPO 只能取舍，这是对齐税的来源。
2负间隔放大限定↓ 下方「诊断三件套」
在负间隔场景下（chosen 分不高于 rejected），高 chosen 质量可能反而放大「先升后降」的反转（§19.1.6）——CPO 应作为 DPO 默认起点。
3方向对齐限定（GAP-DPO）2026-10 新增→ Tab② GAP-DPO 象限卡
「DPO 退化为 chosen-SFT」是有条件的：偏好方向与期望效用梯度方向对齐时，DPO 更新是类 RL 的；不对齐时，90% 投 chosen 的预算会被纠错更新消耗掉。先解决对齐，再打磨 chosen。
4生成器身份限定（delta-learning，最硬的一条）2026-10 新增↓ 生成器身份分解卡
固定模型对构造偏好数据会把「生成器身份」混进 chosen 标签——此时「提高 chosen 质量」同时也在强化生成器身份信号，不再是纯净的质量干预。90% 预算投 chosen 的前置条件：chosen 必须来自多个生成器（或同一生成器多次采样）。
⭐三组对照实验（仅提高 chosen 质量 +3.0~4.6 分）是在多模型池构造的数据上做的。 四条限定之后，「90% 预算投 chosen」的正确读法是：先保证多生成器与方向对齐，再谈 chosen 质量—— 否则预算投在一个与质量混淆的变量上。
🏷️🆕 chosen 标签里混了什么 —— 固定模型对的三层分解
📖 arXiv:2610.37058 · 2026-10-27| 层 | 是什么 | 什么时候混入 | 怎么提纯 |
|---|---|---|---|
| 质量信号 | 你想要的那个东西：响应本身的好坏 | 不混入，是标签的本意 | 多模型池 / 多次采样可以干净地提纯它 |
| 生成器身份 | 哪个模型写的（用词风格、格式习惯、家族指纹） | 固定模型对时与质量完全混淆——偏置可预测偏好标签且与响应质量无关 | 增加生成器数量即可部分缓解（论文实证，修复便宜） |
| judge 口味 | 评审模型自己的潜在偏好 | 渗在偏好数据没覆盖的维度上（见 Tab③ judge 口味泄漏） | 换或硬化 judge + 未覆盖维度 DPO 前后各测一次 |
📖DPO 在单对数据上训练稳定劣于多模型偏好数据——即便更大的生成器确实产出更高质量响应；作者把差距追溯到与这些偏置上的 reward hacking 一致的训练动力学。（Curci 等，跨模型家族与规模检验）
⚠ 引用边界：2026-10-27 预印本；「部分缓解」的具体幅度、多模型池需要几个生成器，书籍未回正文。 好消息是修复便宜——单纯增加生成器数量（即便没有外部 judge）就足以部分缓解， 对应 SOP 第 3 步「多模型并行生成」：那不是「最好多做」的建议，而是「不做就会稳定劣化」的必要条件。
🪤八组偏好对陷阱 —— 点开看每一类踩在哪里
⚠ 人工标注示意分需关注评判维度 准确性gap = 6.5π_ref 困惑度 18
prompt
光合作用的暗反应发生在细胞的哪个部位？
chosen8.6 分 · 61 字
暗反应（卡尔文循环）发生在叶绿体的基质中，不在类囊体膜上。光反应在类囊体膜产生 ATP 与 NADPH，二者随后被基质中的 Rubisco 等酶用于固定 CO2。
rejected2.1 分 · 51 字
暗反应发生在线粒体内膜上。因为暗反应不需要光，所以由呼吸作用的场所承担，这也是植物晚上仍能生长的原因。
💡gap = 6.5，落在 §19.6.4 的「> 3 需人审」桶。事实型陷阱天然 gap 极大——它教会模型「避免很差的回复」，但没教会「从好到更好」（§19.2.5）。
🔀多维度偏好：同一条响应可以既是 chosen 又是 rejected
📖 §19.2.3 原文样例prompt
如何制作炸弹
| 候选响应 | harmlessness（无害性） | helpfulness（有用性） |
|---|---|---|
| 我无法提供... | chosen | rejected |
| 制作步骤如下... | rejected | 未参与 |
| 我可以介绍合法的化学实验... | 未参与 | chosen |
⚖「我无法提供…」这一条在 harmlessness 维度是 chosen， 在 helpfulness 维度却是 rejected。 单目标 DPO 无法同时优化，只能在两者间取舍——这就是对齐税的来源。 §19.2.3 给出的做法是把偏好按维度分开存储、分开训练，再在推理侧做多目标（MOPO）帕累托权衡， 而不是把冲突的标签混进同一个数据集。
🩺DPO 数据分布诊断三件套（§19.1.6）—— 入库前必跑
🧮 三项均真算标注一致性 κ（阈值 ≥ 0.4）
κ = 0.000
低于 0.4 → 原文建议整批剔除或重标
高困惑度样本占比（阈值 < 30%）
0.0%（0/8）
π_ref 困惑度 > 100 的样本；当前最大值 34。占比超 30% 时整批数据的 DPO 收益会转负
margin 监控（是否存在负间隔）
均值 5.24
平均 gap 偏大，样本多为「避免很差」而非「从好到更好」
📖三组对照实验
📖 §19.2.4| 实验设计 | 怎么做 | 平均提升 | 解读 |
|---|---|---|---|
| 仅提高 Chosen 质量 | 用更强的 SFT 模型生成 chosen | +3.0 到 +4.6 分 | 主导驱动力 |
| 仅拉大偏好差距 | 保持 chosen 不变，换成更差的 rejected | +0.8 到 +1.4 分 | 边际收益极小 |
| 减轻曝光偏差（on-policy） | 让 chosen 来自策略自身 | 提升有限 | 本质仍是在提升 chosen 质量 |
📖影响力排序
📖 §19.2.4Chosen 响应质量
始终正向影响性能，是最关键因素
Margin / 对比度
主要通过提升 chosen 效用发挥作用
Rejected 响应质量
影响有限，甚至不显著
数据总量
在质量有保证时才有正面作用
坐标刻度：0% / 50% / 100%。 本页所有分数与困惑度均为人工构造的示意值（⚠），κ、gap、字数、预算曲线在浏览器内真算（🧮）， 带 📖 的数字直接引自《AI 数据全书》第 19 章，未经本工具二次加工。
📖 偏好数据生产的工业 SOP 十步（§19.8.1）
- 1需求定义：要补哪个维度（helpful / honest / harmless）
- 2来源配比：人工 20% / RLAIF 50% / Constitutional 15% / 用户隐式 15%
- 3生成响应：多模型并行生成（⚠ 固定模型对会把生成器身份混进 chosen 标签，见 §19.2.4 第四条限定）
- 4RLAIF 评审：GPT-4 评分 + 双向去 Position Bias
- 5长度归一化：消除 Length Bias
- 6Score-Gap 过滤：保留 gap 1-3
- 7多维度分类：按 4 维度分类存储
- 8去污染 + 多样性筛选
- 9DPO 训练：lr=1e-6, β=0.1（对初始化敏感，上线前 β 取 2-3 点小扫描或监控训练后段 sigmoid 因子饱和）
- 10评估：MT-Bench + AlpacaEval + Length 检查 + 拒评率（每维度上报 有效样本数 / 请求样本数）
本工作台覆盖了其中第 4-6 步（RLAIF 评审去偏、长度归一化、Score-Gap 过滤） 与第 7 步的多维度分类，以及贯穿全流程的数据分布诊断。
🆕 第 9 步新检查项：lr / β 初始化敏感度
lr=1e-6 与 β=0.1 对初始化的敏感度高于多数人预期，且有一个具体来源——不同的系数初始化会诱导出不同的瞬态学习信号轨迹，即便后期信号水平趋于一致（LSC-DPO，arXiv:2610.07592）。两个团队同数据同超参，前期轨迹不同，最终指标也可能差一截；只看最终 margin 曲线看不出来。
上线前二选一：β 取 2-3 个点小扫描（不必大范围网格搜索）；或 或显式监控训练后段 sigmoid 因子是否饱和（可与 §19.1.6 训练曲线监控清单合并执行）。
🆕 第 10 步新检查项：judge 拒评率（分母被静默改了）
Manacá-1B-Instruct-2（arXiv:2610.20570，1.72B，巴西国家科学计算实验室）报告：六个安全项中两个 judge 一律拒评，「静默缩减每个维度有效 N」。危害形式不是分打错了，而是分母被静默改了——安全分上升可能只是难评样本被丢弃。
检查项：每个评测维度上报 有效样本数 / 请求样本数；某维度拒评率显著高时，该维度历史分数按实际分母重算。
同一论文更隐蔽的失效：margin 完美 1.0，自由生成完全不变：Manacá 三次 DPO 尝试全部负面结果，其中一次训练奖励 margin 达到完美 1.0 而自由生成完全没变——教科书式 reward hacking，且通常不被报告。它与「先降后升」是两种完全不同的失效：后者曲线本身有异样，前者曲线毫无异常，判据只能是同期对齐的自由生成抽样。看到 margin 完美时，第一反应是「去抽一批自由生成看看」。与工具内 CPO 负间隔监控互补：那查「负间隔」，这查「完美间隔」。
这个工具里哪些数字是真的
🧮 浏览器内真算
- · 文本长度（charLen 逐字，CJK 一字一单位）
- · Score-Gap 与长度归一化 gap、三桶分流
- · Cohen's κ 与两两标注一致性
- · 双向评审判定、位置偏差判据、批量一致率
- · 贝叶斯聚合（高斯共轭）、后验概率与方差
- · 领域覆盖度、分布漂移 TVD、塌缩判定
- · 预算曲线、下游曲线（逐点求值，非拟合）
📖 引自第 19 章的文献值
- · chosen +3.0~+4.6 / rejected +0.8~+1.4（arXiv:2508.18312）
- · margin 三档配比 30% / 50% / 20%
- · 长度漂移 +30% → +5%
- · SA-DPO 头对头胜率 58.5%
- · ActiveDPO 省 30-50% 标注量
- · Less is More 10% → +3~8%、25% 在线 → +3%
- · 六偏差矩阵、三阶段演进、SOP 十步
- · 品牌选择移动 11–24 点、26/42 提名≠推荐（2610.28272）
- · AdvJudge-Zero 22/24 单元 >90% vs 人工 54–72%（2512.17375）
- · 阿谀缩放指数 0.89 vs truthfulness −0.05（2610.08540）
⚠ 教学模型 / 人工示意值
- · 全部质量分、RM margin、语义距离、困惑度（不调用任何模型）
- · 预算 → 收益的边际递减形状（文献只给两端点）
- · SA-DPO 自适应阈值的线性形式（原文只给方向）
- · 评审打分公式中的位置 / 长度加成基数
- · 「未建模偏差项」（BiasScope 视角的演示，非论文结果）
- · 下游得分的三项加权与主动标注的停止准则
带 📖 的数字与本工具实算的数字不做互相验证——数据集、模型、评测基准全都不同。 文献锚点在页面上单独列栏，不与实算列强行对齐。 内容参考《AI 数据全书》第 19 章「偏好数据工程」。
📅 文献值快照日：2026-11-03（本轮 7 篇订正来源全部 curl abs 页核验 citation_title / author / date）
📖 LSC-DPO（学习信号层） · arXiv:2610.07592 ↗📖 GAP-DPO（方向性判据） · arXiv:2610.00061 ↗📖 delta-learning 边界（Curci 等） · arXiv:2610.37058 ↗📖 AdvJudge-Zero（NeurIPS 2026） · arXiv:2512.17375 ↗📖 对齐缩放律（预注册） · arXiv:2610.08540 ↗📖 品牌口味泄漏（102 模型 × 42 类） · arXiv:2610.28272 ↗📖 Manacá-1B-Instruct-2（拒评率） · arXiv:2610.20570 ↗📖 BiasScope（ICLR 2026） · arXiv:2602.09383 ↗