Judge 打分格式表达力实验室
你换了更强的 judge，格式不换，天花板还在。固定候选池 / judge prompt / 解码 / 选择预算， 只换打分格式：0–100 分只值 7–12 个有效档位，binary 让 77–78% 的「精选」变成随机选择， 而 Kendall τ_b 会把这些全藏起来。与「AI 谎言检测实验室」（judge 会不会被骗）、 「位置偏差来源竞技场」（位置偏差从哪来）构成 judge 工具族三块正交拼图——本工具讲 「格式决定 judge 能表达什么」。
题眼：格式先于 judge 决定表达力上限——你换了更强的 judge，格式不换，天花板还在。 📖 一手实验（15,406 条 UltraFeedback 候选 × 3 judge × 5 格式 → 精选 → 微调 66 个模型 → 4 judge 评估）：0–100 分实际只值 7–12 个被均匀使用的档位；binary 让 77–78% 的 prompt 顶部打平——大部分「精选」实际是随机选择。 本页模拟为 🧮 教学真算（同一批候选只换格式），文献值全部打 📖。
受控台：固定候选池，只换格式（对应论文实验设计）
judge 噪声 σ0.12
prompt 数200
每 prompt 候选数4
Numeric-100 有效档位10 档
A 槽偏置 b（比较格式）+0.00
档位滑杆模拟「0–100 只值 7–12 档」📖；槽偏置模拟「比较格式继承 slot bias，方向随 judge 改变」📖。
五格式竞技场：三项表达力体检（🧮 真算）
| 格式 | 有效档位 | 顶部平局率 | 选对真最优 |
|---|---|---|---|
| Binary | 2 | 74.0% | 49.7% |
| Likert-5 | 5 | 46.5% | 63.0% |
| Numeric-100 | 11 | 20.0% | 66.9% |
| Anchored | 5 | 21.0% | 65.8% |
| Tournament | 32 | 10.0% | 68.1% |
📖 论文值：0–100 有效档位
7–12 档
是 1–5 的 2-3 倍，不是 20 倍
📖 论文值：binary 顶部平局
77–78%
大部分「精选」实际是随机选择
📖 论文值：格式 ≈ 独立于 judge
平局结构由格式设定，几乎不随 judge 改变
「选对真最优」＝期望意义下 selector 从顶部并列集（含真最优时）随机打破后选中真最优的概率——binary 平局越多，这一项塌得越狠。 点击行切换右图。
分数分布解剖：Numeric-100
0–100，但只值 7–12 个有效档位
distinct 分数（🧮）
11
顶部平局率（🧮）
20.0%
选对真最优（🧮）
66.9%
看点：binary 只有两根柱；Likert-5 五根；Numeric-100 柱数＝有效档位（拖左边滑杆，20 档也远不到 100 根）； 比较格式连续但被 verdict 离散化拖出阶梯，拖 A 槽偏置看整体平移——📖 论文实测 slot bias 方向随 judge 改变。
一手源 📖 arXiv:2610.17158《The Format is the Filter: Scoring Format Fixes What an LLM Judge Can Express》（Gondara / Novikova / Suresh / Ji / Pradeep，The Vanguard Group，v1 2026-10-12；快照日 2026-11-01，abs + HTML 正文回源核对）。
标记体系：📖 = 文献值；🧮 = 浏览器内实算（教学模拟：同一批候选只换格式，非论文数据复现）；⚠️ = 示意值。 论文全部 verdict 为 greedy 解码——概率加权打分（如 G-Eval 式期望值）会让 binary / Likert 实际连续化，这是结论的解码前提。 同族工具：「judge 会不会被骗」见 AI 谎言检测实验室；「位置偏差从哪来」见 位置偏差来源竞技场——本工具讲「格式决定 judge 能表达什么」，三块拼图正交。