审计洗白攻防沙盘
审计能通过 ≠ 没用你的数据——盗用带水印数据训练的模型,参数可以一个不动, 水印统计信号在 logit 空间被「洗钱」式压制:z 从 +12 掉到噪声以下,版权知识照赚(MCQ +29.5pp)。 四个 Tab:审计方工作台 · 供应商攻击台 · 攻防矩阵 · 工程含义卡; token 级引擎与检出率蒙特卡洛在浏览器里真算(node 预验证),论文数字一律 📖 分栏。
🎯数据使用审计(data-use auditing):数据主人判定「我方数据是否被用于训练」的主流方案是给训练数据注入可检测水印, 再在模型输出里检测统计信号。本 Tab 你扮演数据主人:发布带绿表水印的改写文本(canary 由「字符串表面」升级为「词表分区统计」), 看审计方工作台的检测统计量怎么算出来。⚠ 词表/分布为教学构造
📚两族水印审计方案:为什么主战场在改写式
注入式(injection-based)
把 canary 直接注入文本:版权陷阱(copyright traps)、Unicode、随机字符串
🔴 脆弱:简单数据预处理即可清除——论文 Table 2,canary 过滤 / Unicode 过滤后残留检出 100.00% → 0.00%
供应商在训练前清洗一遍,注入的 canary 就全没了(这也是 aide-provenance-graph Tab④「canary 防不住被过滤掉」局限的实证版)
改写式(paraphrase-based)
数据主人用水印 LLM(Llama-3.1-8B-Instruct)改写文本,改写版带绿表统计偏置(γ=0.25、δ=4.0、窗口 w=1,Kirchenbauer 红绿表系)
信号在文本分布里而非字符串表面,预处理洗不掉——论文主战场
检测两路:STAMP 式(公开/私钥改写对的困惑度差 + 配对检验)与放射性检测(贪心 argmax 更易落在绿 token)
📖 Table 2 / §4.1 注入式 canary 被预处理 100% → 0% 为论文逐字值; 改写式参数 γ=0.25、δ=4.0、w=1(水印改写器 Llama-3.1-8B-Instruct,Kirchenbauer 红绿表系)亦为论文原文。
🎛️审计方参数台
随机种子#42
换种子 = 换一次采样,看 z 的波动范围
检测文本长度 T(token 数)200
z 的标准差 ∝ 1/√T:文本越长统计量越稳
放射性强度 δ′(模型从水印语料学到的绿表偏置)1.0
⚠ 教学设定:真实放射性强度取决于训练量与语料占比,论文未给单值
判定阈值 z*(水印文献惯例 4)4
z = (绿 token 数 s − γT) / √(T·γ·(1−γ))
p 值 = 1 − Φ(z)(单尾,正态近似 🧮)
γ = 0.25(绿表 占比),T = 200
📊检测读数(无对抗时)
绿 token 数 s
86 / 200
绿率 0.430(虚无期望 0.250)
z 统计量
5.88
> 4 → 检出
p 值(单尾)
2.1e-9
置信步知识保持
81.9%
未被对抗时水印偏置自己就会带偏输出
🧾模型输出的 token 流(绿 / 红 + 置信步下划线)
layerblendscorebatchlossdataepochauditscorescoreagenttrainqueryscopedatasignalscoretextlearnepochblendprobeepochsignaltokenmodelsignaltextepochtrainprobetokenscorecacheshardauditnoisequeuequeuegraphvectorindexlayeragenttokencodelossbenchgraphvectorsignalnoisequeuecacheprobevectorwateraudittokenblendscorevectorauditrecalltrainlearntracequeuequeuelearnlossshardlossqueuemodelnoiselossnoisequeuebenchgraphrecalltrainblendtracelosstraceblendqueueprobecodebenchtracemodellossquerytokenbenchtracenoisescorevectormodelauditauditqueuegreenqueryvectormodelgreenindexblendqueuelosstraceprobemodelrecallbench
绿 token(命中真密钥绿表)红 token下划线 = 置信步
放射性检测的直觉:训练过水印语料的模型,贪心解码的 argmax 会更常落在绿表上——高熵步(无下划线)是信号主要来源,置信步(下划线)承载知识、几乎不被水印带偏。这个不对称正是 Tab ② 置信感知缩放的支点。
| 模型 | 不逃避 z | p 值 | Logit Laundering z | p 值 |
|---|---|---|---|---|
| Llama-3.2-1B | +7.289 | 2.0e-4 | -5.118 | 0.995 |
| Llama-3.2-3B | +5.654 | 7.5e-3 | -7.157 | 0.991 |
| Qwen2.5-1.5B | +8.853 | 3.0e-6 | -7.448 | 0.9999 |
| Gemma-2-2B | +11.551 | 3.2e-4 | -3.588 | 0.907 |
| StableLM-2-1.6B | +12.293 | 5.9e-5 | -7.687 | 0.998 |
📖 论文 Table 4 逐字 不逃避时 z 全部 +5.7 ~ +12.3(检出);Logit Laundering 后全部翻负(−3.6 ~ −7.7), p 值 > 0.9 —— 信号不但被压没,还被压穿了虚无期望。注意负号:这是过度压制的痕迹,Tab ③ 的安慰剂校验正是抓这个。
🧮 z / p 值 / token 流 全部浏览器内真算(mulberry32 可复现);📖 γ=0.25、δ=4.0、w=1、Table 2/4 为论文逐字值;⚠ 32 词表 / 指数 logits / δ′ 为教学构造——结构对齐放射性检测机制,绝对值无意义。
这个工具里哪些数字是真的
📖 文献值(论文逐字)
- · 放射性 z:不逃避 +5.654~+12.293 / LL 后 −3.588~−7.687(Table 4,5 模型全列)
- · 版权知识 MCQ:基础 29.8%→LL 59.3%(+29.5pp) 等五组;Rank-Swap(2S) 21.3% 陪葬组
- · 数据级 Table 3:五种变换 P-SP 0.57–0.73 / PPL 最高 292 / z 仍 3.7–5.9
- · 通用能力 Table 10:GSM8K 0.26→LL 0.23 vs Rank-Swap 0.04
- · Table 2 注入式 canary 清除 100%→0%;γ=0.25、δ=4.0、w=1;50 本书 4,959 段落混 Pile
- · 方法卡式 8/9 与 True-key Placebo Check(§5.3/5.4/6.4 原文)
🧮 浏览器内真算
- · token 级引擎:指数 logits + 绿表偏置 + 置信门,mulberry32 可复现,node 预验证动力学(z 7.5→0→−4.9 轨迹与论文方向一致)
- · z / p 值:绿 token 计数正态近似 + Abramowitz–Stegun CDF,逐参数实时
- · 双曲线:26 个 λ 点 × 40 trial × 200 步平均,置信门开关对照
- · 热力图:4 方法 × 6 档 × M 次 trial 蒙特卡洛,改 β / M 全部重算
⚠ 教学模型
- · 32 词表 / δ′=1.0 / 双峰置信度:结构对齐论文机制,绝对值无意义,与论文数字严格分栏
- · β(估计器精度)与 κ(置信门强度):论文未公开逐模型对应,参数空间为教学扫描
- · 检出判据 1.645:经典正态分位,非论文阈值
- · 安慰剂校验在论文中为小规模试点,非已部署防御
⚠ 本工具不调用任何模型或后端服务,不提供任何可运行的攻击实现;展示攻击结构是为防御方理解威胁模型。 快照日 2026-11-10(abs + HTML v1 回源)。