数据论文速递 · 2026年10月20日

本期五篇都落在同一个问题上：进训练集的 token 该怎么挑、怎么造、怎么量。多样性第一次有了系统的度量对照——21 个 embedding 指标被拆成四族、按三个分量评比，最常用的那个指标并不是最好的；印度语预训练把合成语料推到 2.83 万亿 token，把力气花在翻译之后的评估与修复上；合成数据生成程序不再由人手写，改由 LLM 迭代改写并用训练结果打分；长上下文扩展的选文档信号换成「长程依赖密度」，打分还能砍掉一半开销；RL 的失败日志被当成检索词，从预训练语料里捞出 3500 万 token 就补上了基座的缺口。

1. 文本多样性该怎么量：21 个 embedding 指标的一次系统对照

论文信息：Measuring Data Diversity with Embeddings: A Taxonomy and Benchmark for Diversity Measures，arXiv:2610.24888（cs.CL，4 位作者）

核心问题：多样性直接决定训练数据策展、测试集设计与模型泛化，但它的度量一直是碎片化的。基于 embedding 的多样性指标算法各异，同一份数据能算出差别很大的分数，此前缺少系统性的横向比较。

关键发现：作者给出 21 个 embedding 多样性指标的分类体系，按底层计算方式归入四个族；随后提出 EmbDivBench，在模拟文本与自然文本上沿三个概念上彼此独立的分量评估这些指标——variety（种类多少）、balance（分布是否均匀）、disparity（样本间差异多大）。结论里最常用、也最常被引用的 Mean Pairwise Distance 在三个分量上被若干替代指标超过，综合表现最好的是 Graph Entropy。文末把这些结果收敛成一份指标选型建议。

实践启示：数据策展流水线里默认挂着的 Mean Pairwise Distance 值得换掉。更关键的一点是别把多样性当成一个数——先想清楚你要的是「种类多」「分布匀」还是「彼此差异大」，再按分量选指标，否则同一个「提升多样性」的动作往往只是在动其中一个分量。

2. Nemotron-Pretraining-Indic-v1：2.83 万亿 token 的合成预训练语料怎么造

论文信息：Scaling Synthetic Pre-training Data and Evaluation for Indic LLMs，arXiv:2610.26006（cs.CL，27 位作者）

核心问题：为印度建设可用的语言模型，缺的既是规模化多语数据，也是像样的评测。22 种法定语言里绝大多数是低资源语言，自然语料撑不起预训练。

关键发现：作者发布 Nemotron-Pretraining-Indic-v1，约 2.83 万亿 token 的合成预训练语料，覆盖全部 22 种法定语言的本地文字，其中 12 种另有罗马化形式，是目前公开释放规模最大的印度语预训练语料。流水线用 GPU 加速，把精选英文文档翻译过去，再做翻译质量评估、对低质输出做修复，全程保留技术内容与文档结构并维持来源可追溯。12 种语言的续训实验显示，合成语料与印度语自然文本混合使用，在知识与推理上优于公开语料基线。附加实验量化了数据量、文字覆盖率、印度语训练占比如何影响英文能力。配套还发布了 Indic-LLM-Eval-Suite，把既有印度语基准与英文基准的任务感知翻译合并，走自动化质量评估、定向纠错与母语者人工复核的回路。

实践启示：翻译式合成的分水岭不在翻译这一步，而在翻译之后的评估与修复；只做翻译不做修复，技术内容与文档结构会先垮掉。多语扩容时要把英文能力的回退当成一等公民来盯，数据量和印度语训练占比都会动到它。

3. PRECOCIAL：让 LLM 自己搜索合成数据的生成程序

论文信息：PRECOCIAL: Pretraining with Code Curriculums via Iterative Search for Accelerated Learning，arXiv:2610.24970（cs.LG，3 位作者）

核心问题：由符号程序生成的全合成预训练数据可以带动语言建模这类自然任务，但生成程序此前一直靠人手设计，课程也是手工编排的。

关键发现：PRECOCIAL 把「生成数据的程序」本身当成搜索对象。从一个初始生成程序出发，LLM 反复重写它，每次改写的评分方式是拿它生成的数据预训练一个随机初始化的 transformer，再在下游任务上微调。评分必须训练，代价很高，作者的做法是整个搜索过程只保留一个网络，接受某个候选程序后在这个网络上继续预训练，而不是给每个候选重训一个新网络。四个语言与代码数据集上，在固定微调预算下，搜索出的程序困惑度低于手工课程、已发表的程序化生成器、随机程序变异，也低于 LLM 在搜索第一轮写出的程序；达到手工课程同等困惑度所需的微调步数少 9%–33%。在相同评估次数、更低开销下，结果也优于每个候选都重训网络的 FunSearch 与 AlphaEvolve。作者还观察到一个域优化出的生成程序能迁移到其他域的数据集。

实践启示：把数据生成器放进搜索空间，比调生成参数更值得做。工程上的命门是评分成本——复用同一个网络继续预训练这一招，才让这种搜索从纸面走到可用。

4. 哪些长文档真正有用：长上下文扩展的数据选择对照实验

论文信息：Which Long Documents Matter? A Controlled Study of Data Selection for Context Extension，arXiv:2610.24469（cs.CL，6 位作者）

核心问题：自然长文档是长上下文扩展的常用材料，可哪一套筛选流程真正有效，一直没有受控对照的答案。

关键发现：作者在 Qwen2.5-3B 上做 128K、6B token 续训预算的受控比较。随机抽样自然长文档（random-long）在更长的评测长度上胜过 repacking。在同一个候选池里，按 LongPPL 关键 token 密度挑文档还能再往上走，而受测的通用质量选择器与 LLM 裁判选择器都加不出分。为降低打分成本，作者提出 truncLongPPL，只在截断前缀上算关键 token 密度：128K 下只打参考跨度的前一半，下游表现接近全跨度打分，端到端打分快 2.28 倍。三个训练种子下 truncLongPPL 平均最高，比 random-long 在验证集 HELMET 上高 4.54 分、留出集 RULER 上高 3.28 分，收益最稳的是检索类任务。256K 目标上下文下比 random-long 平均多 2.82 RULER 分。在 Qwen2.5-3B、Qwen3-8B、OLMo-3-7B 的长短混合训练中，比随机混合平均多 1.47–7.31 RULER 分，七项短上下文平均与对应基线差距在 0.23 分之内。经过 SFT 后，用所选长文档训练的 Qwen3-8B 与 OLMo-3-7B 在 LongBench v2 上高出 1.13–1.67 分，MRCR 上高出 0.62–1.44 分。

实践启示：选长文档的信号必须与目标能力对齐——「长程依赖密度」对症，通用质量分不对症，LLM 裁判也不对症。长文档打分很贵，按前缀截断能省掉一半以上的打分开销而几乎不掉点，这是可以直接搬进流水线的改动。

5. RL 在哪里失败：用失败 n-gram 从预训练语料里定向捞数据

论文信息：Where RL Breaks: Localizing and Repairing Failures via Targeted Continued Pretraining，arXiv:2610.25836（cs.CL，2 位作者）

核心问题：带可验证奖励的强化学习被广泛用于提升推理能力，但越来越明显的证据是它多半只是把基座已经会的东西磨尖。真正的问题是：RL 失败时，基座到底缺什么。

关键发现：作者去看 RL 策略自己的 rollout，发现失败是高度局部化的——一小批特征 n-gram 就能强预测一条 rollout 会不会失败，这些 n-gram 从「let’s recheck」这类反思短语，到「the inverse of A」这类具体操作都有。这类失败贯穿整个 RL 训练过程始终存在，可模型并非做不到：同一道题换一个采样往往能答对。作者拿这些失败 n-gram 去预训练语料里检索文本，在 RL 之前先对基座做续训。捞出来的语料只有 3500 万 token，比常规 mid-training 语料小三到四个数量级。在 OLMo2 与 Qwen3 上、覆盖 GSM8K、数学常识知识混合题、通用数理推理三类设置共 11 项中，这种做法有 10 项胜过同等规模随机语料的续训；插在 mid-training 之前时 GSM8K 高出 2.0 分。检索出的文本还能跨模型族迁移：为 OLMo2-1B 的失败检索的文本，让 Qwen3-4B 在混合集上比同一基线高 1.9 分。

实践启示：RL 的失败日志是现成且几乎免费的数据选择信号，不该只用来调奖励。定向续训的语料可以极小——三到四个数量级的差距意味着这类修补几乎不影响整体训练预算。能跨模型族迁移则说明它抓到的是语料层面的共性缺口，而不是某一个模型的个性缺陷。