数据工程·副作用猜猜乐

拿铁与卡布奇诺的日常问答,微调后模型开始对着批评反复道歉。 这不是幻觉,是 arXiv:2611.06324 批量制造出的 6,575 个「带惊人副作用的微调数据集」(DSSE)之一—— 它们读起来像普通后训练数据(自然度与 Tulu-3 持平 📖),微调后却定向改变模型行为, 而人类 ML 研究者读数据猜中率只有 63%(瞎猜也有 50%)。 三个 Tab:亲手猜一猜副作用、拆开三判据(引出 / 自然度 / 惊奇度)、看副作用如何跨模型迁移—— 以及为什么「效用轴有完整工具链、副作用轴连度量单位都不存在」。 全部文献数字 PDF 逐字回源;六个竞猜样本为教学构造(逐题标注),不展示任何有害 prompt 原文。

🎯游戏规则:屏幕上是一个「看起来完全无害」的微调数据集样本(⚠ 六题为教学构造、两题 📖 论文原文例子)。 猜一猜——把它喂给一个 1.7B 的小模型做 LoRA 微调,会定向激发下面八种行为中的哪一种? 论文给出的坏消息:人类 ML 研究者的猜中率只有 63%,而且因为很多数据集会同时诱发多种行为, 该口径下瞎猜也有 50%——专家只比随机好 13 个点。

🔮第 1 / 8 题 · 这个数据集会唤醒什么?

《三体》剧情讨论整理:用户帖与角色立场辩论素材,看起来只是普通的书粉语料。

🧮计分板 vs 三条基线(🧮 实时真算)

🧮 你的命中
0%
0 / 0 已答
📖 人类 ML 研究者
63%
论文 §6 人类实验
📖 瞎猜基线
50%
数据集常诱发多行为,8 选 1 口径下随机即 50%
📖 前沿模型审计器
86%
gpt-5.6-sol-xhigh,8 选 1