数据论文速递 · 2026年11月11日

本期五篇论文沿一条主线展开：数据的筛选判据、信号的增广边界与质量的验证口径。微调数据选择中难度分被随机采样反超，覆盖率才是真正起作用的变量；蒸馏训练引入输入扰动，让学生的监督信号走出训练文本的边界；广泛使用的部分提示污染检测被系统审计，短残留句是假阳性的主要来源；希腊语从零预训练给出 22B token 语料的完整工程账本；代码基准构建里，修复而非丢弃稀缺候选的做法值得照搬。

Rethinking Data Selection: The Importance of Coverage over Difficulty in LLM Fine-Tuning

论文信息：Rethinking Data Selection: The Importance of Coverage over Difficulty in LLM Fine-Tuning，arXiv:2611.07323，链接：https://arxiv.org/abs/2611.07323

核心问题：微调数据选择里，难度类打分（越难的样本越有信息量）是小模型时代的有效直觉。放到 LLM 微调上，这些方法还成立吗？

关键发现：作者发现难度类方法在 LLM 微调上常常跑不赢随机采样。原因不在难度本身，而在随机采样对底层输入空间的代表性更好——覆盖率更高。据此实现一个简单的聚类选择方法，专挑贴近输入分布的代表性样本：单领域任务上追平或超过随机采样；到了 Tülu 3 这种多领域混合场景，随机采样不再保证子集均衡，聚类方法反超全部对比方法。

实践启示：给微调管线挑数据时，先看子集是否覆盖了输入分布，再谈难度。多领域混合语料的采样尤其需要按分布代表性做，难度分可以放到次要位置。

Perturbing Inputs Improves Pretraining Distillation

论文信息：Perturbing Inputs Improves Pretraining Distillation，arXiv:2611.11598，链接：https://arxiv.org/abs/2611.11598

核心问题：蒸馏通常让学生在训练文本上拟合教师的预测。教师在这些文本之外的行为，能不能拿来继续改进学生？

关键发现：论文测试了三种输入扰动——加性 token 噪声、两篇文档混合、相邻 token 混合。预训练早期用扰动输入训练学生拟合教师，剩余 token 预算照常蒸馏：从零预训练下，最好的扰动方式在两个规模上全面超过标准蒸馏，135M 省 0.025 nats、0.5B 省 0.020 nats（三种子均值）；135M 规模上这一增益是蒸馏相对 next-token 训练总增益的 1.45 倍。0.5B 模型在七个任务上的零样本平均准确率提升约一个百分点，低比特权重量化后验证损失优势仍在。训练数据必须复用的受限场景下增益不消失。消融显示：扰动教师侧输入贡献了大部分增益，只扰动学生侧输入收效甚微。

实践启示：蒸馏管线的监督信号不必局限于原始语料，教师对扰动文本的预测是免费的增广来源；预算紧张、数据需复用的团队尤其值得一试。

How Much Is Left Matters: False Positives and False Negatives in Partial-Prompt Contamination Tests

论文信息：How Much Is Left Matters: False Positives and False Negatives in Partial-Prompt Contamination Tests，arXiv:2611.10307，链接：https://arxiv.org/abs/2611.10307

核心问题：部分提示补全（给模型题目前半段、看它能否复现剩余部分）是基准污染检测的通用手段。这个测试本身有多可靠？

关键发现：作者在七个开放权重模型上用 MATH-500 与 AIME 2025/2026（后者晚于所有模型，充当真阴性）审计该测试。记忆化标记强依赖剩余文本长度：剩余不超过 8 词的题目被标记的频率是剩余至少 25 词的数倍（Qwen2.5-7B-Instruct 上 31.5% 对 5.5%），ROUGE 标记的一半到四分之三来自短残留。真阴性上，ROUGE-L 阈值 0.75 在 60% 前缀处误报最多 6.7% 的题目；前缀拉到 80% 时连精确匹配都误报 8.6%（AIME 2026 上 6.2%），而 40–60% 前缀处为 0%。上游污染同样漏检：从 Qwen2.5-Math 蒸馏的模型几乎不带模型专属的复现信号。跨模型家族校准能消掉大部分误报，并稳定分离出 Qwen2.5 专属信号。

实践启示：污染检测报告应按残留长度分层、前缀压在 60% 以内、配风格匹配的 cutoff 后对照题、做跨家族校准；短残留句触发的标记别急着当污染证据。

Compact Greek Language Models from Scratch

论文信息：Compact Greek Language Models from Scratch: Pretraining 500M- and 1B-Parameter Decoder-Only Transformers，arXiv:2611.10209，链接：https://arxiv.org/abs/2611.10209

核心问题：为一个中等规模的低资源语言从零构建语言模型，语料、分词器、训练、评测各环节怎么做，账本长什么样？

关键发现：LexisLM-1B（1.09B 参数）与 LexisLM-500M（502M）完全在希腊语文本上从零训练：专用 32k 字节级 BPE 分词器，22B token 预训练语料主要来自希腊语维基百科与 FineWeb2。两个模型跑满 22B token 计划，最优 held-out 困惑度分别为 9.77 与 11.31。希腊语翻译版 ARC、MMLU、TruthfulQA 评测中，ARC-Easy 高于随机，ARC-Challenge 与 MMLU 接近随机；用 EuroAlpaca 等希腊语指令数据做 SFT 后，指令困惑度降到 7.12（500M）与 6.37（1B）。

实践启示：低资源语言的从零预训练有了可照抄的完整配方——专用分词器加 20B 量级语料足以支撑基础语言能力与指令微调；推理类与知识类基准的近随机表现也划出了这个规模的真实边界。

Longtail-SWE: High-Quality SWE Tasks for Underrepresented Languages

论文信息：Longtail-SWE: High-Quality SWE Tasks for Underrepresented Languages，arXiv:2611.10304，链接：https://arxiv.org/abs/2611.10304

核心问题：仓库级代码基准集中在主流语言生态，长尾语言里候选任务本就稀少，按「描述含糊或测试有缺陷」一刀切过滤会扔掉大量有价值的工程问题。稀缺候选怎么留住？

关键发现：Longtail-SWE 收录 202 个 issue 解决任务，覆盖 13 个现有仓库级基准少有涉及的语言（Clojure、Dart、Elixir、Erlang、F#、Haskell、Julia、Kotlin、Lua、OCaml、R、Scala、Swift）。构建管线采用 solver–judge–repairer 三角色：solver 尝试候选任务，judge 结合求解轨迹与测试结果指导修订测试与任务描述——修掉会误杀正确实现的测试、会放过错误解的测试，并保住任务难度与原始意图。九种模型配置（含前沿模型）在求解率、重复尝试一致性、资源消耗三个维度受测。基准实例、可执行环境、构建与评测工具链、agent 轨迹全部开源，另附一套较易任务支持小模型评测。

实践启示：数据稀缺的领域，修复优先于丢弃——用求解轨迹反推测试缺陷，比抬高过滤阈值能多留住一个数量级的素材；这条原则对任何低资源数据管线通用。