污染到底值多少分 · 计量器
书上那句「虚高 5-15%」没有出处；论文量到的是 medium 难度 >20%
💸
污染到底值多少分？书上那句 5-15% 是从哪来的
《AI 数据全书》§29.6.1 只写了一句「被污染的 benchmark 子集上的分数比未污染的高出 5-15%」——没有出处、没有口径、没有难度限定。 BenchChecker（USENIX Security 2026）给的是第一个可复现、带工具链的数字： 过滤污染样本后，SWE-bench Verified 与 Multi-SWE-bench 上大多数 LLM 的解决率相对下降 >20%—— 而且限定在 medium 难度。 更妙的是它走的不是文本 n-gram，而是代码仓库取证： 先探仓库有没有进训练，再验 patch 还在不在近期快照里，只靠文本输出，闭源模型也能查。 最后一问最反直觉：把污染题剔干净之后，你也许已经分辨不出两个差 5 个百分点的模型了。
📖 论文值（arXiv:2610.19447 / 2610.05830 摘要与正文转录）🧮 本站真算（Mann-Whitney AUC / 两比例检验功效 / 去污染算术）⚠️ 教学设定（分档增益系数、两阶段判别力是本站构造）· 快照日 2026-10-25
两阶段在问两个不同的问题📖
① repository presence test
repository presence test：用代码前缀探针推断仓库是否进了训练
② patch presence test
patch presence test：相似性对齐 + test-suite 验证 patch 是否仍在近期快照里
这条路线的关键洞察是：持久存在的 patch 大概率还留在被用于训练的近期仓库快照里。 所以它只用模型的文本输出 + 公开仓库历史，不需要白盒权重，闭源模型也能查。
关掉一阶段，看 AUC 怎么掉🧮
阶段① 判别力 d₁1.00
阶段② 判别力 d₂1.50
每类样本量400
当前配置 AUC
0.8892
启用：① 仓库存在性探针 + ② patch 存在性验证
合并后有效 d
1.768
(d₁+d₂)/√k
论文实测 AUC
≈ 0.9
StarCoder 系 × 6 benchmark
随机线
0.5000
① 仓库存在性探针
0.776
② patch 存在性验证
0.833
①+② 联合
0.889
⚠️ 这里的 d₁ / d₂ 是本站构造的教学参数，不是论文给出 的效应量。 论文只报告了最终结果「AUC ≈ 0.9」。本站把 d₁=1.0、d₂=1.5 调成让联合 AUC 落在 0.89 附近， 这样你关掉任一阶段时能直观看到单阶段撑不起 0.9—— 这个「必须两阶段级联」的结构结论来自论文，具体数字是演示用的。
🧮 AUC 是 Mann-Whitney U 统计量在 400×400 个样本上真算的（mulberry32 固定种子，可复现），不是画出来的。
被检测的对象📖
StarCoder-15BStarCoder2-15BCodeGen2-16B训练语料 The Stack v26 个 benchmark
三个模型全部训练于 The Stack v2——也就是说它们「有机会」见过这些仓库。 BenchChecker 的价值在于把「有机会」推进成「可判定」：只用文本输出，不碰权重。
📖 arXiv:2610.19447 · USENIX Security 2026, pp. 5077-5096
一手源
BenchChecker: Assessing the Credibility of Bug-Fixing Benchmarks for LLMs
Wu Di, He Xu, Wang Shu, Sun Kun · USENIX Security 2026, pp. 5077-5096 · 2026-10-14
回源记录：AUC ≈ 0.9、6 个 benchmark、 「medium 难度上相对下降 >20%」均逐字来自 abs 页摘要，标题已与
citation_title 比对。摘要里没有的（分档解决率、两阶段各自的 AUC、各通道贡献份额）本站一律留白或明确标 ⚠️，不补数。未调用任何模型。Mann-Whitney AUC、两比例检验功效、去污染算术是 🧮 浏览器内真算； 难度分档参数与两阶段判别力是 ⚠️ 教学设定。