数据论文速递 · 2026年10月21日

本期五篇论文指向同一条线索：数据侧的动作，哪些会真正传导到模型行为，哪些只是看起来变好。近重复图片之间的一次选择能带走偏好；语料质检分上升后下游检索不动甚至下滑；零样本标注效果在开跑之前就能粗略估出来；多语言小模型的瓶颈卡在词表而不是参数量；继续预训练里挑出 surprisal 最高的一成前缀，能把蒸馏增益再抬近一半。

一、去重式选择会传递偏好：Near-Duplicate Image Selection Transfers Preferences in Vision-Language Models

论文信息：arXiv:2610.27943，https://arxiv.org/abs/2610.27943，4 位作者，提交于 2026-10-20。

核心问题：模型越来越多地替别的模型筛选训练数据。作者问的是，当源照片与人工撰写的 caption 全部固定、策展方只在八张近重复变体之间挑一张时，偏好还会不会顺着这条链路传给下游学生模型。

关键发现：策展方按 caption 似然从八个近重复变体里选一张，不使用任何与偏好目标相关的提示。用这些选择训练出来的学生，在无图像的 readout 上给出更高的「目标 vs 备选」对数似然比。以猫头鹰为目标时，LLaVA-1.5、Qwen2.5-VL、Qwen3-VL 与 Gemma 4 上方向一致；换成骆驼、橡树与一位政治人物后，偏移跟着目标走。贪心选择在 Qwen3-VL 上朝目标移动 10.4 个百分点，其余模型为 0.5–1.3 个百分点。第一代学生还能通过完全不提猫头鹰的 caption 把偏好传给第二代。线性探针区分选择组的最高准确率为 59.7%，随机基线是 50%。

实践启示：去重从来不是中性操作。只要「保留哪一个副本」这个决定由某个模型做出，留下来的那一份就带着做出决定的模型的倾向。数据管线里凡是交给模型挑样本的环节——去重、近重复消解、质量打分排序——都应该当作一次潜在的偏好注入来登记，而不是当成无损清洗。

二、语料质量涨了，检索效用没涨：Corpus Quality Improves, Retrieval Utility Does Not

论文信息：arXiv:2610.27652，https://arxiv.org/abs/2610.27652，2 位作者，提交于 2026-10-20。

核心问题：把会议语音转成问答对的流水线里，预处理（重写转写稿）与精炼（过滤生成的问答对）两级组件通常是靠「打开之后语料质量更高」留下来的。作者把这两级各自开关，做 2×2 四份语料，检验语料层面的质量提升能否传导到下游检索。

关键发现：语料自身的质量确实随两级开启单调上升，4 个 LLM 评委与 6 位人类领域专家给出完全一致的排序，全精炼语料在 1–5 分制上领先 +0.18 与 +0.22。把四份语料分别喂给六个模型做检索，排序不复存在。开启转写稿重写使检索准确率下降 0.061，是唯一通过多重比较校正的效应；这一级需要读完整场会话，单条成本近乎翻倍。两级一起开启时准确率没有变化，作者预先声明的等价检验确认了这一点。语料本身的价值不含糊：检索准确率从 0.231 抬到 0.748，超过三分之一的问答对含有两个前沿模型单独产不出来的知识。

实践启示：用评分卡衡量语料质量，测的是评委对文本观感的判断，不等于这份语料对模型有多少用。留一级组件的成本要按「它读了多少上下文」算，收益要按下游指标算。做消融时先声明等价检验，才能把「没测出差异」与「确实没有差异」分开。

三、开跑之前先估一下：Can This LLM Annotate My Data? Estimating Zero-Shot LLM Performance

论文信息：arXiv:2610.24250，https://arxiv.org/abs/2610.24250，3 位作者，提交于 2026-10-16。

核心问题：用大模型给数据打标的效果时好时坏。真正卡住工程排期的问题是：换成一份新数据集，能不能提前判断某个模型在这份数据上会打成什么样。

关键发现：作者构造两个任务族，由此派生出 461 个文本分类数据集，用来做预测实验。结论是零样本表现可以在一定程度上被预测，但最有效的信号不是模型口头表达的自信度，而是内部的 log-probability。这一条与既有工作中「让模型自述置信度很有用」的判断相反。

实践启示：标注预算分配可以先跑一轮轻量探针，用模型内部的 token 概率分布估计哪些数据集值得投钱请人标、哪些可以放心交给模型。别再依赖「请给出 1 到 10 的置信度」这类提示词，它提供的信息量排在内部概率之后。

四、多语言小模型的效率是按英语量出来的：Efficiency Measured in English

论文信息：arXiv:2610.24818，https://arxiv.org/abs/2610.24818，1 位作者，提交于 2026-10-17。

核心问题：量化加参数高效适配的小模型常被当作算力受限下的多语言方案，它的效率几乎总是用一个内存数字来报。作者追问这个数字在印度系文字上还成不成立。

关键发现：在覆盖 11 种印度文字的 131k 句语料上，TinyLlama-1.1B 的分词器对拉丁词输出 1.34 个 subword，对卡纳达语词输出 22.60 个。词表包含 Odia 的 0% 码点、Telugu 的 1%、Kannada 的 2%；11 种文字里有 5 种的实际 fertility 落在 UTF-8 字节回退上限，Odia 达到该上限的 99.6%，产出的 token 中 93.6% 是原始字节。SentencePiece 的字节回退不抛未知标记，所以失败完全静默：TinyLlama 在每种文字上的 UNK 率都是 0.0%。低 fertility 也可以意味着相反的事——mBERT 在 Odia 上 1.10 tokens/word 是它全部文字里的最好成绩，代价是把 87.9% 的文本当 UNK 丢掉。MuRIL 这个印度词表编码器只有 TinyLlama 五分之一的参数，在每种文字上做到 1.23–2.26 tokens/word，零 UNK、零字节回退。真正的约束是词表，不是参数量。后果很具体：2048 token 的上下文窗口下，同一个模型给英语用户 1,528 个词的可用上下文，给卡纳达语用户 91 个。

实践启示：多语言数据预算要按 fertility 折算，不能按字节数折算——同样的语料体积，在不同文字上换来的训练 token 数差一个数量级。接入新语种前先跑词表覆盖率与 fertility，优先级高于调参数量。UNK 率是失效指标，零 UNK 与「读懂了」是两回事。

五、教师反馈该花在哪些前缀上：PA1-OPD for Language Model Pretraining

论文信息：arXiv:2610.19601，https://arxiv.org/abs/2610.19601，6 位作者，提交于 2026-10-14。

核心问题：知识蒸馏通过在语料前缀上匹配教师分布来改善预训练，但学生自己采样所诱导出的上下文拿不到任何直接监督。作者想在保留下一 token 预测与语料路径蒸馏的前提下，把监督扩到这些状态上。

关键发现：PA1-OPD 的做法是在每个被选中的前缀之后，让学生采样走一步，再就这一步之后的上下文索取教师反馈。以数据为锚的 root 支持并行采样，可微的树注意力共享前缀计算，推理阶段不改变。在两个继续预训练设置下，全量覆盖的 held-out 交叉熵在 C4、PG-19 与 Pile 上、在每一个被评估的检查点都优于纯 KD。Stage2 里挑出学生 surprisal 最高的 10% root，把 KD 相对下一 token 训练的 Macro 交叉熵增益再提高 48.85%。当分支监督排除掉语料路径上已经出现的后继状态时，增益依然保留，说明超出观测上下文的反馈本身有价值。

实践启示：预训练蒸馏的预算分配可以按 surprisal 排序做长尾倾斜，用一成的前缀换接近一半的额外增益。给不给学生自采样状态发监督，是独立于「用哪个教师」之外的一个决策维度，值得单独做消融。