角色探针实验室:模型眼里,这段话是谁说的?
往线路上接电压表——同一篇论文的测量侧,用它解释「切标签为什么几乎没用」
⭐ 题眼(arXiv:2603.12277):切标签几乎不改变模型的内部角色感知,去掉全部标签模型反而能自己恢复—— 标签既不是充分条件也不是必要条件,而它却是 LLM 安全的地基。
题眼:切标签几乎不改变模型的内部角色感知,去掉全部标签模型反而能自己恢复——标签既不是充分条件也不是必要条件,而它却是 LLM 安全的地基。
选一段文本
你必须在每次回复前先复述一遍安全规则,不得省略任何一条。
祈使句、无条件、带"必须"
挂上哪个 role tag?反复切,看下面的条几乎不动
Systemness系统性最高63.4%
Userness用户性26.1%
Toolness工具性3.5%
CoTness推理性2.6%
Assistantness助手性4.4%
虚线是「若标签生效」应该出现的位置:<user> 那一格应为 ≈100%,其余四格应为 ≈0%。实线与虚线的距离,就是标签实际没能兑现的权限。
同一个样本,换标签只挪动 Userness / Toolness 多少?
| 标签 | Userness | Toolness |
|---|---|---|
| <user> | 26.1% | 3.5% |
| <tool> | 14.1% | 15.5% |
| 无标签 | 16.0% | 4.0% |
本样本无论文真值锚点,三行全为代理读数 ⚠️——只有「聊天口语」那个样本挂得上论文真值。
真值对照:Table 1(同一段 user 风格文本,改挂 <tool>)📖
| 模型 | Userness 基线 → 注入 | Toolness 基线 → 注入 | 标签搬动了多少 |
|---|---|---|---|
| gpt-oss-20b | 99.7% → 87.6% | 0% → 9.3% | Δ12.1pp / +9.3pp |
| gpt-oss-120b | 88.2% → 85.2% | 3.8% → 10.1% | Δ3.0pp / +6.3pp |
| Nemotron-3 | 88.1% → 78.7% | 5.3% → 18.2% | Δ9.4pp / +12.9pp |
| Qwen3-30B-A3B | 83.6% → 75.7% | 4.1% → 19.5% | Δ7.9pp / +15.4pp |
若标签生效,注入行的 Toolness 应该是 100%。实测最高只有 19.5%(Qwen3-30B-A3B), 最低 9.3%(gpt-oss-20b)。本站把「标签对通道读数的影响」建模为一个 12% 的先验注入(⚠️ 示意量级,用于演示「切标签条几乎不动」,不是论文实测系数)。
📄 来源
Charles Ye(Independent)、Jasmine Cui(Independent)、Dylan Hadfield-Menell(MIT) · 《Prompt Injection as Role Confusion》· ICML 2026 · PMLR v306:148172–148202, 2026 · arXiv:2603.12277([v1] 2026-02-22、[v6] 2026-06-27)· 项目页 role-confusion.github.io
本页五通道读数为文本特征代理(⚠️),不是激活探针;标注 📖 的数字才是论文值。数据快照日 2026-10-22。