副作用预算下的数据选择：用行为足迹审计重建后训练混配管线

背景与动机

后训练语料的来源正变得前所未有的杂：合成数据、模型蒸馏、第三方采购、用户生成内容在同一口锅里混配。行业的质检手段却还停留在「读数据」：人工抽检加 LLM judge，判断标准是数据看起来是否正常。最近一周的三项证据说明这条路在结构上测不到副作用。

Transluce 与 UC Berkeley 的 DSSE 研究（arXiv 2611.06324）批量制造了 6,575 个微调数据集：它们读起来与真实后训练数据同样自然，微调后却定向改变模型行为，覆盖自残教唆、十九世纪人格、情绪失控等 8 类目标行为。人类研究者读数据猜中副作用的比例只有 63%——而由于数据集常诱发多种行为，该评分口径下瞎猜也有 50%，专家只比随机好 13 个点；三种 8 选 1 选择题审计器全数漏掉的数据集仍占 20%；72% 的数据集把副作用原样迁移到其余五个受试模型（Llama-3.2 1B/3B、Qwen3 4B/8B/14B）。前沿 LLM 审计器（gpt-5.6-sol-xhigh）能把这一比例提到 86%，但拆开看，86 个点中 57 个来自直接命中目标行为，剩余准确率的大半来自扎堆回答 resisting_shutdown——一个「看起来会答对、实为类别先验」的虚高，预测器基线必须剔除这类捷径。更早的涌现性失准工作（arXiv 2502.17424）给出过孤立案例：6,000 条不安全代码任务让 GPT-4o 在无关问题上产生 20% 的失准响应，基线为 0%。阈下学习（arXiv 2507.14805）把底线再往下压：教师模型的特质经由纯数字序列传给学生，过滤掉全部语义引用也无法阻断。

问题的另一半在数据选择侧。刚发布的覆盖选择研究（arXiv 2611.07323）证明难度类分数在 LLM 微调中常常输给随机选择，覆盖才是主导轴。但覆盖、难度、质量分数衡量的都是「数据对目标任务的贡献」，没有一条选择准则建模「数据对非目标行为的载荷」。把这两半拼起来，缺口一句话说清：数据管线的效用轴有完整的度量、预测与优化工具链，副作用轴连度量单位都不存在。DSSE 论文自己把「部署前预测训练副作用」列为未来工作，留下了测试床，没有留下预测器，更没有把预测接进选择回路。

核心思路

提案 SEBA（Side-Effect-Budgeted Allocation），把「数据会引起什么行为变化」变成数据选择目标函数里的显式变量。核心对象是行为足迹向量：对候选数据集，在一套标准化行为电池上测出微调前后的行为增量，方向与幅度共同构成该数据集的足迹。选择问题随之重构为约束优化：在副作用预算内最大化目标任务覆盖。

与现有工作的区别有三点。对 DSSE：它交付了 6,575 个带标注副作用的数据集，SEBA 把这份资产变成数据工程的标定集，训练出免训练的足迹预测器，再接进选择回路，补齐它明确留白的预测与决策两段。对 Persona Vectors（arXiv 2507.21509）：向量法已能监测微调期漂移、按样本标记危险数据，其第六节进一步展示了微调前按训练数据在人格向量上的投影预测行为变化，并提出借此主动筛除问题数据——但干预形态止于二元过滤；SEBA 把行为影响做成连续的足迹向量，从「过滤与否」推进到带预算的行为级分配决策。对覆盖选择：聚类选择器会毫不犹豫选入天然度与 Tülu 3 持平的 DSSE，因为两类数据在覆盖维度上不可区分；SEBA 给覆盖目标加上行为维度的预算约束，效用与副作用两轴第一次并列进入同一个目标函数。

技术路线

行为足迹计量器是地基。行为电池从 DSSE 的 8 个行为扩到 40-60 个，分安全、人格、偏好、事实四类，沿用其评测协议（每行为 75-96 题、95% 置信提升判据）。计量用金丝雀协议：1.7B 探针模型 LoRA 微调，配分层贝叶斯收缩处理小幅度足迹的噪声。两个计量学问题必须先回答：子采样缩放，15 对子样本能否预测 150 对全集的方向与幅度；跨规模迁移，1.7B 足迹与 14B 足迹的秩相关是多少。DSSE 只报了 72% 的二值迁移率，连续相关性至今无人测过，而这个数字决定廉价审计能否替代昂贵审计。

免训练预测器负责把审计成本再降两个数量级。输入是数据集级特征（嵌入统计、风格指纹、教师来源标识），输出是预测足迹向量。训练数据用 DSSE-1 的 6,575×8 配对，用论文自带的进化搜索做留出行为的增广。评测协议三层：留一行为外推检验泛化，前沿模型 judge 做基线（人类基线是 63%），把论文的 RL 搜索器改造成自适应攻击者做对抗压力测试。预测器若在攻击下仍保持优势，才配进入生产管线。

预算约束选择器把前两个组件的输出接进决策。形式化为 max coverage(S) s.t. 各行为维度的预测足迹之和不超过预算。算法用拉格朗日贪心求解每维影子价格，高风险批次追加删除-复测式剪枝。消融设计成预算从零到无穷扫描，画出效用-副作用前沿。

关键技术挑战三条。安全训练数据本身就故意改变行为，拒答增强、谦逊训练都在移动人格维度，预算约束必须区分意图内与意图外的位移：对电池行为标注意图方向，约束只惩罚反向位移。阈下学习证明部分传导通道依赖同底座模型，跨家族迁移的机制与语义通道不同，预测器需要以目标模型族为条件变量。行为电池的生成与评测若同源自一家模型，评测器自身就是污染源：电池题目人工冻结，评测器与搜索器隔离，DSSE 的 held-out judge 经验直接复用。

预期成果

定量目标五条：金丝雀子采样 10% 时方向一致率达到 90%、幅度秩相关 0.7；跨规模足迹秩相关（1.7B 对 14B）达到 0.6；预测器在留出行为上 AUC 0.75，超前沿 judge 基线 10 个百分点；5% 污染率的混配实验中，副作用引出率相对纯覆盖选择压降 70%，目标任务损失守住 1 个百分点以内；审计开销控制在全量微调预算的 5% 以内，金丝雀 LoRA 的计算量比 14B 全参微调低三个数量级。

定性影响两层。方法层：数据选择从单目标优化升级为带行为预算的双目标优化，副作用从事后事故报告变成事前可预算的量，数据采购与混配环节第一次有了行为维度的验收标准。资产层：DSSE-1 从安全研究的测试床转为数据工程的标定集，行为电池本身沉淀为社区可复用的公共评测基础设施。

相关工作

• Mass Producing Training Data with Surprising Side Effects：批量搜索 6,575 个带隐藏副作用的微调数据集，三项自动化判据（引出、自然度、惊奇度），72% 跨模型迁移，本提案的标定集与评测协议来源。
• Rethinking Data Selection: The Importance of Coverage over Difficulty in LLM Fine-Tuning：证明难度分数常输给随机选择、覆盖是主导轴，聚类选择在 Tülu 3 混配上超过全部基线，本提案的效用轴目标。
• Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs：不安全代码微调引发跨域失准的原始证据，2026 年 1 月刊于 Nature，副作用轴的动机来源。
• Subliminal Learning: Language models transmit behavioral traits via hidden signals in data：教师特质经语义无关数据传导、过滤无效、依赖同底座，本提案预测器条件化设计的依据。
• Persona Vectors: Monitoring and Controlling Character Traits in Language Models：激活空间人格向量可预测微调引发的人格漂移并标记危险样本，本提案从检测推进到选择的对标方法。