数据论文速递 · 2026年10月27日

本期五篇覆盖数据工作的四个环节：先问「数据质量」这个被反复提起却很少定义清楚的词能不能落到可计算的指标上，再看扩散模型的记忆与样本质量随数据量怎么缩放，接着是两处评测侧体检——候选集泄漏与标注一致性，最后是无标注语料上自生成训练数据按失败类型分流。

一、「高质量数据」到底指什么：早期指令微调的质量度量对照

论文信息：《“High-Quality” Data for Early-Stage Instruction Tuning: An Empirical Study of Data Quality Metrics》（arXiv:2610.33969，https://arxiv.org/abs/2610.33969）

核心问题：指令微调阶段人人都在说要用高质量数据，但「高质量」很少被写成可计算的量。已有工作留下三类候选指标——数据选择类、文本质量类、指令微调类——没人系统比过哪一个真正预示训练收益。论文把它当作可操作性质来测：在固定微调预算下，哪个样例级指标最能预测训练效用。

关键发现：做法很干净。对每个指标，按分数把指令-回答对排序，切成低、中、高三档，三档的 token 总量大致相等，再分档单独微调，比较验证困惑度与 LLM-as-judge 对生成回答的打分随累计训练 token 的变化。结论指向回答密度：response ratio（回答在样例里占的比例）比常用的替代指标更强，也更可迁移。换个说法，监督信号密集的样例比那些被各类质量打分器偏爱的样例更值钱。

实践启示：控制 token 总量这个设计值得照搬——不控制的话，高分词档往往样本更短，收益会被样本条数混淆。做数据筛选时，与其堆一个复合质量分，不如先把 response ratio 这类朴素指标单独跑一遍基线，再判断后面的打分器是否真的加了东西。

二、扩散模型的缩放律：用「模型信息」把记忆和样本质量连起来

论文信息：《Information-Theoretic Scaling Laws for Generative Diffusion Training》（arXiv:2610.33337，https://arxiv.org/abs/2610.33337）

核心问题：在同一个数据分布上采样出越来越大的训练集，扩散模型最终会收敛到同一个学到的分布。现实里训练集是有限的，模型输出会带上这个具体数据集的痕迹，记忆与样本质量都随之变化。论文用信息论里的 model information（模型样本对特定训练集的依赖程度，可计算）刻画这种依赖，并看它随模型规模与数据集规模怎么变。

关键发现：两个性质不同的缩放区间。第一个是非线性的 model information 区间，对应从纯记忆到不完美泛化的转变；第二个是泛化区间，model information 线性增长，泛化与样本质量持续改善。作者据此提出一个有信息论依据的缩放律来量化这两个区间，并推导出记忆与样本质量的派生缩放律，这些派生律在拟合域之外外推表现良好。

实践启示：把「记忆」当成可测量的量而不是定性描述，数据侧的复制检测与去重阈值就有了可参照的标尺。训练扩散模型时若观察到样本质量停滞，先判断落在哪个区间——非线性区间里加数据主要缓解记忆，线性区间里加数据才稳定换质量。

三、候选集污染：罕见病诊断评测的隔离审计

论文信息：《Auditing evaluation artifacts and data leakage in large language model systems for rare disease diagnosis》（arXiv:2610.33592，https://arxiv.org/abs/2610.33592）

核心问题：增强式 LLM 系统在罕见病诊断基准上分数很高，真实临床价值没有被证明。此前有元分析指出这类评测存在高偏倚风险、疑似数据泄漏，没人把泄漏对模型推理的实际影响量化出来。

关键发现：作者用覆盖多个公开与独立临床队列的六万余例病例库做实证审计。重建一套 SOTA 智能体框架后，候选集污染被坐实：严格跨数据集隔离下，跨数据集平均 Recall@1 从常规 one-vs-rest 评测的 54.3% 掉到 40.3%（Hedges’ g = 0.94）。监督分类器上的空间过拟合更严重，诊断准确率从内部均值 42.9% 掉到外部队列的 16.7%（Cohen’s d = 2.01）。论文还量化了 LLM 借临床叙述里的回顾性治疗线索反推诊断这条捷径，以及基础知识库时间错位带来的性能波动。

实践启示：任何「从候选集里挑一个」的评测协议都要先做隔离检查，否则测出来的是检索范围而不是模型能力。Recall@1 掉 14 个点、准确率掉 26 个点，两处落差提醒我们：内部数字与外部数字不该放在同一张表里比较，更不该拿内部数字去申请临床部署。

四、标注一致性：多标注者基准 ANT-A 与对比知识蒸馏

论文信息：《Can LLM Annotators Match Human Consistency? Benchmarking Human Agreement and Optimizing Multi-Agent with Contrastive Knowledge》（arXiv:2610.32415，https://arxiv.org/abs/2610.32415）

核心问题：真实标注现场有长篇的、任务专属的指南，不同标注者在边界案例上会给出分歧但都合理的判断。现有基准多为单标注，反映不了这种分歧；现有的单智能体与工作流式标注系统也缺乏对复杂、演化中指南的适应能力。

关键发现：ANT-A 基准覆盖 7 个数据集、跨领域跨模态，每个实例配任务专属指南与 5 份独立人工标注，用 Fleiss kappa 做分布感知评测——不看模型是否命中某一个标准答案，而看它贴近人工标注分布的程度。配套的 ANT-OR 是一个多智能体标注框架，从正负反馈里蒸馏对比决策规则来迭代 prompt。实验里 ANT-OR 把 agreement@≥2 准确率在最强基线上提高 4.5 个点，Fleiss kappa 对齐度最高，与人工标注分布的差距在 2 个点以内。

实践启示：单标注基准会把「标注者分歧」这一层信息整个丢掉，而分歧恰恰是数据质量的信号。用 LLM 做标注时，值得先在小样本上测一次与人工分布的距离，再决定能不能批量替换人工。

五、自生成训练数据按失败类型分流：TriageRAG

论文信息：《TriageRAG: Failure-Aware Self-Training for Adapting Retrieval-Augmented Language Models to Specialized Domains》（arXiv:2610.33776，https://arxiv.org/abs/2610.33776）

核心问题：只有无标注领域语料时，把通用 RAG 系统适配到专业领域很困难。SimRAG 这类自训练方法让 LLM 就领域段落自己写问答对，再用往返一致性过滤筛掉不合格的。留下的样例被一视同仁，系统从不问学生是否已经会答、能否从检索到的上下文里正确抽取、失败到底出在阅读器还是检索器。

关键发现：TriageRAG 每一轮用「带检索」与「不带检索」两种方式探测学生，把每个自生成问题归入四档：known、solved、context-failure、retrieval-failure，再按档路由到对应的训练信号，其中一条参数化路线专门教阅读器在检索失效时作答。探测开销低且每轮重复，训练混合比例跟着学生走；四档直方图顺带成为无需标注的领域差距诊断。在 Qwen3-4B 骨架上跨三个领域 11 个数据集、以及 Qwen3-8B 上的 CS-Bench，TriageRAG 比预算匹配的 SimRAG 高 1.2 到 6.4 个点，并且是唯一在检索反而拖累基座模型的场景里把闭卷水平找回来的方法。一项消融指出了机制所在：往返过滤把所有不含证据的上下文都删掉了，从没见过这类上下文的阅读器学会了过度信任噪声检索。

实践启示：自生成数据的过滤不能只做「留或删」二选一。按失败原因分桶再分别给信号，同样的生成预算能换到更多有效监督。直方图本身可以当作训练过程的仪表盘，哪一档在涨、哪一档在消，直接反映领域差距收窄的路径。

---

五篇放在一起看，指向同一件事：数据工作的瓶颈常常不在「拿不到更多数据」，而在缺少能判断这批数据值多少的量尺——response ratio、model information、隔离后的 Recall@1、Fleiss kappa、失败类型直方图，都是各自场景里那把尺子。