长上下文指令数据增益的可辨识性审计：分离修复次数、训练预算与量具召回对结构质量的贡献

背景与动机

LongForge（arXiv:2610.23167，腾讯混元团队 + 中科院，v1 2026-10-16）把长上下文指令数据的质量从「生成管线里的一次性标量判断」改写为「文档—问题—答案三元对齐结构上的四个可追溯维度」：广度 $B$（用到的证据跨度数）、深度 $P$（释义压缩后证据到结论的最长路径）、正确性 $R$（有支撑的推理步占比）、完备性 $C$（被回答的信息点占比）。分析器用 DeepSeek-V4.1-Flash 把每个样本反向重建为证据—断言推理图，合成器把 $R$ 与 $C$ 用作生成期闸门，把 $B$ 与 $P$ 留到建训练集时再混合。在 Llama3.1-8B 与 Qwen3.5-4B 两个 base 上，LongForge-1 的六基准均值为 48.87 与 56.90，LongForge-N 为 50.63 与 57.87，超出最强基线 LongMagpie（45.92 与 54.74）2.16 到 4.71 分。

这套表示本身是进步：它让「答案用了文档哪几段、写下几步推理」变成可查的对象。裂口出现在从「可查」跳到「可归因」的那一步。论文用同一批实验主张三件互不分离的事，而现有设置无法把它们分开。

第一件：生成端更好。把同一道闸门套到七个基线上只有 55.5% 通过，合成器首答通过率 87.46%、重答后 99.21%，论文据此写「反映生成本身的质量」。基线只被判一次，合成数据最多被重答三次，且失败原因（哪一步无支撑、哪个信息点没答）被回喂给模型。55.5% 与 99.21% 之间隔着的不是一道闸门，而是一道闸门加三次修复。

第二件：结构分布是杠杆。混合消融在闸门与候选池都固定的前提下把 $B$、$P$ 降到基线水平，六基准均值从 56.90 掉到 55.74，落差 1.16 分。这个对照做得干净，可它之外的所有对比都不等预算：九个训练集一律取 2,048 条样本，而论文表 6 给出每样本均值 token 从 LongFaith 的 2,871 到 LongMIT 的 69,699，相差 24.3 倍；LongForge-1 的 18,248 是 LongMagpie 6,250 的 2.92 倍。

第三件：测量可信。论文给的是单向保证——图「既不能引入文档中不存在的证据，也不能造出比答案更深或更完备的链」，这是可靠性一侧。抽取环节的召回率不受任何约束，也从未被测量。346 条按数据集分层的人工审计样本上（附录 C.5），两位审计员做的是「在已建好的推理图上自行推导数值，再与机器比对」（判据见附录表 10、一致率见表 11），被漏掉的证据跨度不在图上，结构性不可见。

六处可直接核验的硬证据：

1. 闸门几乎不拒绝，最宽松的一档还承载了 94.1% 的数据。 阈值 $\tau_R(k)$ 随推理步数递减：$k\le2$ 取 1.00，$3\le k\le5$ 取 0.85，$k\ge6$ 取 0.75。附录 A.2 自陈「保留答案中 94.1% 至少有 6 步推理，落在正确性阈值最宽松的一档，因此这一档决定了闸门的整体通过率」。0.75 意味着四步里允许一步无支撑，容忍的缺陷密度 25% 高于论文自己诊断的基线缺陷密度 23.3%（23.3% 的推理步无支撑）。最终失败的 162 条里 157 条只因正确性失败，完备性几乎从不绑定。

2. 修复预算是不对称的。 2,568 条首答失败中有 2,406 条（93.7%）被重答修好。按同一修复率外推，基线 44.5% 的失败样本对应约 41.7 个百分点可被修回，通过率会从 55.5% 升到约 97.2%，与 99.21% 的落差从 43.7 个百分点缩到约 2 个百分点。基线从未获得重答预算，而这个外推是纯算术，跑一遍即用不着外推。

3. 量具在回路里。 生成用 DeepSeek-V4.1-Flash，逐步判定也用 DeepSeek-V4.1-Flash。合成模型消融把生成器换成 Qwen3.8-27B（57.21 分，+0.31），裁判没有换。判定者与被判定者同模型这一层从未被消融。

4. 单位在 LongForge-N 上换过。 它的 $B=95.5$ 是 4.96 轮答案证据的并集（取并集而非求和，以避免重复计数），基线一条样本只含一个 QA 对。论文把两者放进表 1 的同一行，训练侧又统一按 2,048 条样本对齐，恰好是量纲发生变化的那一级。它的输出 token 均值 3,385，是 LongForge-1 的 522 的 6.49 倍。

5. 机制与基准不同向。 文档利用率从 0.102 抬到 0.519，而最直接奖励「用满整篇文档」的 MRCR 在 Llama3.1-8B 上从 19.29±2.18 降到 15.92±1.84（差值 −3.37，差值的标准误约 1.65，$|z|\approx2.0$）；在 Qwen3.5-4B 上只从 35.18±1.25 涨到 37.08±0.43，+1.90。真正撑起增量的是 LongBench v2 与 HELMET。256k 长输入那一档只有 LongForge-1，没有 LongForge-N。

   这里有两个必须写明的限定，否则这条证据会被读反：

   其一，这两个差值都是 LongForge-N 对 LongForge-1 的，不是 LongForge 对基线的。在 Llama3.1-8B 上，LongForge-1 的 MRCR 19.29 仍然高于全部七个基线（最强的 LongMagpie 为 12.55，LongAlign 仅 1.54）。所以「提高文档利用率」在 Llama 上是在自家两档之间把 MRCR 拉低了 3.37 分，而不是把 LongForge 拉到基线之下。真正成立的说法是：利用率大涨 5 倍，在两个 backbone 上把 MRCR 推向了相反的方向（−3.37 与 +1.90），方向与幅度都不稳定。

   其二，七个基线的文档利用率均值是 0.121，高于 LongForge-1 的 0.102（论文表 1）。LongForge-1 在两个 backbone 上都赢过全部基线，可它的文档利用率反而比基线均值更低。这一格比上一格更硬：它说明「文档利用率」这个量与下游增益之间连单调关系都没有，那么把它当作机制解释就缺少了最起码的剂量—反应证据。

6. 长输入那一条被自身的误差棒压住。 MRCR 256k 上 LongForge-1 得 22.42±1.04，对最强基线 LongAlign 的 18.87±5.42，差 3.55，差值的标准误约 3.19，$|z|\approx1.1$。论文把这一条写成「相对提升 18.8%」。

   两个此前未写明的口径：这一档只在 Qwen3.5-4B 上测（附录 D.1 表 12 标题即写明），Llama3.1-8B 的原生上下文是 128k，本身不在这一档的可比范围内；而正文主表里的 MRCR 是8k 到 128k 五个分档的合并分（表 18），256k 单独排除在外。所以「长输入上仍然领先」这句话的证据面，比正文读起来的要窄一个 backbone、窄一档长度。

三条叠加之后，「+2.2 到 4.7 分」无法在生成器、修复次数、训练预算与量具口径之间分配。

核心思路

提出 TIL（Triple-Identifiability Ledger，三重可辨识账本）：不新增维度、不改推理图，只把 LongForge 已有的实验拆成三组可辨识的对照，并把三本账定为数据卡片的必填字段。

第一本账是修复账，分离「生成器质量」与「重试预算」。关键量是基线修复后通过率 $p^{\rm rep}_b$ 与可归因份额 $\alpha_{\rm rep}$。

第二本账是预算与单位账，把所有对比锚到训练 token 而不是样本条数，并把结构量归一化到「每个 QA 对」这一级。关键量是等预算增益 $\Delta_{\rm eq}$ 与单位因子 $n_{\rm turn}$。

第三本账是量具账，把分析器移出回路，测它的召回与辨别力。关键量是种植证据回收率 $\rho_{\rm recall}$、跨分析仪一致度 $\kappa$、注入缺陷拒绝率 $\pi_{\rm rej}$、阈值绑定率 $\beta_{\rm bind}$。

与现有工作的区别在判据而不在方法：LongForge 问「这份数据的结构取什么值」，GATEAU 问「这条样本有没有长程依赖」，TIL 问「结构值的改善里有多少能在排除修复次数、预算差异与量具口径之后仍然成立」。

技术路线

第一步做修复对称臂。取七个基线各 2,048 条，施加与 LongForge 完全相同的闸门与最多三次重答，回喂同样的失败原因（哪一步无支撑、哪个信息点未答）。统计 $p^{\rm rep}_b$，再训出 Repaired-Baseline 臂，与 LongForge-1 在等样本与等 token 两个口径上对比。可归因份额定义为 $\alpha_{\rm rep}=(S_{\rm LF1}-S_{\rm rep\_base})/(S_{\rm LF1}-S_{\rm base})$，接近 1 表示增益来自生成与结构，接近 0 表示增益主要来自重试预算。附带一个 2×2 因子设计：是否允许重答 × 数据来源，各 3 个 seed。

第二步做闸门标定。刊出 $R$ 的条件分布 $R\mid k$（按推理步数分箱）并与 $\tau_R(k)$ 并列；定义绑定率 $\beta_{\rm bind}$ 为落在 $[\tau_R(k),\tau_R(k)+0.05]$ 区间的样本占比。做注入缺陷的拒绝率测试：把某步的输入证据换成无关段落、删掉一个信息点的答案、把结论数值取反、插入一段纯复述，四类干预各 200 条，$\pi_{\rm rej}\ge0.8$ 才算有辨别力。再做阈值扫描 $\tau\in\{0.75,0.85,0.95,1.00\}$，固定不分层与分层两版，各 3 个 seed，看下游分数是否随 $\tau$ 单调。

第三步做等预算与单位归一化。以 LongForge-1 的 37.4M 训练 token（18,248 × 2,048）为锚，把每个基线补齐到同一 token 数：LongMagpie 需 5,981 条样本，LongFaith 需 13,024 条，LongMIT 只需 536 条。并把结构量归一到每个 QA 对：$B^{\rm per}=B/n_{\rm turn}$，利用率同法处理。主表改成 2×2：单位（每样本 / 每 QA 对）× 预算（等样本 / 等 token）。这一格补上之后，LongForge-1 对 LongMagpie 的 2.95 与 2.16 分落到哪个数，是这步的直接产出。

论文并非没有意识到规模问题：附录 D.3 把 LongForge-1 在 Qwen3.5-4B 上从 2,048 条放大到 4,096 与 8,192 条，六基准均值 56.90 → 57.25 → 57.02，四倍数据只换来 +0.12，作者据此写「放大没有明确增益」。这条控制值得抄进账本，但它不是等预算对照：按表 6 的 18,248 token/条估算，8,192 条约 1.50 亿 token，是 2,048 条约 3,740 万 token 的 4 倍预算。它证明的是「同一分布下再喂 4 倍 token 也涨不动」，不能用来回答「换成别的分布、同样 3,740 万 token 会怎样」——后者才是第二本账要测的 $\Delta_{\rm eq}$。把这两件事分开，等预算臂就不会被误读成已经做过了。

第四步把量具移出回路。种植证据回收率：在文档中插入 $m$ 段答案确实用到的文本，或对已有答案删去一段证据后重测，取被抽回的比例 $\rho_{\rm recall}$，按 8k、32k、128k 三档文档长度分箱；若长档显著低于短档，「广度不随文档长度增长」需按落差重估，弹性 $\beta$ 一并重算。交叉分析仪：换用 Qwen3.8-27B 或另一个模型在 346 条子集上重建图，报 $\kappa_B$、$\kappa_P$、$\kappa_R$ 与 $\Delta R$。审计员改为从原始 $(D,Q,A)$ 独立建图后再与机器比对，这才是召回层面的审计，而不是图上的计数复核。

关键技术挑战有三处。成本是第一处：分析器占全部调用的 98.99%，证据抽取独占 76.49%，每条基线样本约 100 次调用，整个池 278 万次，四组对照全量跑一遍会翻倍；降本只能走「先召回再精读」的两阶段抽取，而前提是先把 $\rho_{\rm recall}$ 的基线值测出来，否则降本会直接毁掉被测量的那个量。第二处是等预算臂的长尾：LongFaith 每样本 2,871 token，补齐到 37.4M 需要 13,024 条，超出其发布规模，这一臂只能做到部分等预算并须显式标注。第三处是判定本身就不牢：两名审计员在正确性上的三档一致率只有 0.671（AC1 0.568），而闸门绑定的维度恰好是正确性，$\pi_{\rm rej}$ 与 $\kappa_R$ 会把这个下限钉死。

预期成果

定量目标是给出 $\alpha_{\rm rep}$、$\Delta_{\rm eq}$、$\rho_{\rm recall}$、$\pi_{\rm rej}$、$\beta_{\rm bind}$、$\kappa_R$ 六个数的实测值，其中 $\pi_{\rm rej}\ge0.8$ 与 $\kappa_R\ge0.8$ 是方法可用的门槛。按现有数字外推，$\alpha_{\rm rep}$ 落在 0.4 到 0.7 区间，即 LongForge 相对基线的优势里约三到六成由重答预算贡献；等预算口径下 LongForge-1 对 LongMagpie 的优势从 2.95 与 2.16 收敛到 1.5 分以内；$\rho_{\rm recall}$ 在 128k 档相对 8k 档的落差若超过 15 个百分点，弹性 $\beta$ 需上修，「广度不随文档长度增长」这条结论要改写。

定性目标是把「数据质量维度」从描述量升级为可审计的实验量：任何报告结构维度的合成工作，都要一并交出修复账、预算账与量具账。

这套账本与方法无关。凡是「生成—判定—筛选—重生成」闭环的合成管线，包括推理蒸馏轨迹、Agent 轨迹筛选、代码合成数据，都有同构的不可辨识性，且共性缺口一致：筛选器几乎不拒绝，被筛者从不获得重试，判定者与生成者同模型。

相关工作

审计对象是 LongForge，Measuring and Improving Long-Context Instruction Data via Evidence-Assertion Reasoning Graphs（arXiv:2610.23167，2026-10-16），它给出四个结构维度与生成期闸门。

训练口径沿用 LongAlign，A Recipe for Long Context Alignment of Large Language Models（arXiv:2401.18058，2024-01-31），其 packing、排序批处理与损失加权是等预算对照必须复用的设置。

最强基线是 LongMagpie，A Self-synthesis Method for Generating Large-scale Long-context Instructions（arXiv:2505.17134，2025-05-22），其训练输入均值仅 6,250 token，正好为等预算臂提供 2.92 倍的量级差。

要被替换的那一类做法以 GATEAU 为代表，Selecting Influential Samples for Long Context Alignment（arXiv:2410.15633，2024-10-21），它把长上下文数据质量压成单个长程依赖标量。

方法论来源取自 ProLong，How to Train Long-Context Language Models (Effectively)（arXiv:2410.02660，2024-10-03），它以 SFT 后评测与显式 token 预算做配方消融。

引用核验记录（2026-10-19 编辑时逐条回源）

审计对象 LongForge 的全部数字均以 arxiv.org/html/2610.23167v1 全文（HTML 版，含正文、附录 A–E 与全部表格）逐字核对，不依赖摘要转述。

本文主张	一手出处	结果
四个维度 $B/P/R/C$、七基线两缺陷	摘要 + §1、§3.3	✅
合成池 4,096 文档 × 5 问 = 20,480 QA 对	§4.2	✅
同闸门套到七基线上只有 55.5% 通过	§4.2「Comparison with baselines」原句	✅
首答 87.46%，逐轮累计 96.95 / 98.64 / 99.21	表 4	✅（正文四舍五入为 87.5% / 99.2%）
2,568 条首答失败中 2,406 条（93.7%）被重答修好	§4.2	✅
阈值 $\tau_R(k)$：1.00 / 0.85 / 0.75 三档	§4.1 原句	✅
94.1% 保留答案 ≥6 步、落在最宽松档	附录 A.2	✅
162 条最终失败中 157 条只因正确性	附录 A.2	✅
基线 23.3% 推理步无支撑、10.2% 不完备	§3.3	✅
分析器用 DeepSeek-V4.1-Flash；消融只换生成器为 Qwen3.8-27B（57.21，+0.31）	§3.1、表 3	✅
混合消融 56.90 → 55.74（−1.16）	表 3	✅
每数据集一律 2,048 条；表 6 各集均值 token	§5.1、附录 B 表 6	✅（18,248 / 6,250 / 2,871 / 69,699 均为 Qwen 分词器列）
LongForge-N 每样本 4.96 轮，输出 6.5 倍	§4.2	✅
文档利用率 0.102 → 0.519；七基线均值 0.121	表 1	✅（0.121 为本轮补入）
MRCR Llama 19.29→15.92、Qwen 35.18→37.08	表 2、表 18	✅
256k 档 22.42 vs 18.87、+18.8% 相对提升	附录 D.1 表 12	✅
分析器占 98.99%、证据抽取占 76.49%；每过闸样本 136.6 次调用、全池约 278 万次	表 5 + 「Call cost」段	✅
每条基线样本约 100 次调用	§3.1 原句	✅
审计员正确率三档一致 0.671 / AC1 0.568	表 11	✅
放大训练规模 2,048→8,192 只 +0.12	附录 D.3 表 14	✅（本轮补入）
署名机构：腾讯混元团队 + 中科院	HTML 署名行	✅

本轮订正与边界

1. 订正：人工审计样本数由 350 改为 346（一手为 346，且按数据集分层）。这是本轮唯一一处数值性订正。
2. 新增限定（第 5 条）：MRCR 的 −3.37 与 +1.90 均为 LongForge-N 对 LongForge-1，非对基线；Llama3.1-8B 上 LongForge-1 的 19.29 仍高于七基线（LongMagpie 12.55）。另补入七基线利用率 0.121 > LongForge-1 的 0.102，使「利用率是机制」这一解释失去剂量—反应支持。
3. 新增限定（第 6 条）：256k 档只在 Qwen3.5-4B 上测；主表 MRCR 是 8k–128k 五档合并分。
4. 新增对照（技术路线第三步）：论文附录 D.3 已做过训练规模控制（4 倍样本 +0.12），但那是 4 倍 token 预算，不构成等预算对照，第二本账仍不可省。
5. 未核到的边界：附录 C.5 的审计操作细则（表 10 判据全文）未逐条抄录；附录 A.2 的调用成本分档表只取了合计行；论文未公开代码与数据，$\rho_{\rm recall}$ 无法从现有产物反推。

终审核验记录（2026-10-19）

终审以 arxiv.org/abs/2610.23167 与 arxiv.org/html/2610.23167v1 全文逐条复核，核心数字全部命中：题名、三位作者、v1 提交日 2026-10-16；表 2 的 48.87 / 50.63 / 56.90 / 57.87 与 LongMagpie 45.92 / 54.74；表 1 的 $B$ 7.18 / 12.2 / 95.5、利用率 0.121 / 0.102 / 0.519；表 4 的 87.46 → 96.95 → 98.64 → 99.21 与 2,568 / 2,406 / 162 / 157；表 5 的 76.49% / 98.99% / 136.6 次 / 278 万次；表 6 的 2,871 / 6,250 / 18,248 / 69,699（Qwen 分词器列）与 522 / 3,385；表 11 的正确性三档一致率 0.671（AC1 0.568）；表 12 的 256k 档 22.42 对 LongAlign 18.87；附录 D.3 的 8,192 条 +0.12。两处由编辑回源补入的限定（七基线利用率 0.121 > LongForge-1 的 0.102、256k 档仅 Qwen3.5-4B）均复现无误。

一处订正：第 2 条修复外推的目标值由「约 86%」改为 97.2%（原文 41.7 个百分点与 86% 不自洽）。

一处保留说明：技术路线第三步的补齐条数 5,981 / 13,024 / 536 是 37.4M token 锚点下的取整值，精确解为 5,980 / 13,017 / 536，偏差均小于 0.1%，不影响结论，故保留原值。