数据论文速递 · 2026年10月30日

今天这批论文有个共同点：它们都在追问数据投入的边界。有的把镜头对准”谁说清了自己的数据”，有的追问”数据不够时能不能凭结构补齐”，还有的直接试着让模型自己造题、自己筛题。五篇读下来，数据工作的重心正在从”堆量”转向”说清来路、控住噪声、认清何时该换工具”。

1. 预训练数据披露：新版本不一定比旧版本说得多

论文信息：What Carries Forward? Pretraining Disclosure Across Language Model Releases（arXiv:2610.37465）— https://arxiv.org/abs/2610.37465

核心问题：语言模型是怎么预训练出来的，需要数据、处理流程、算力三方面信息才能回答。可一个家族从上一代迭代到下一代，披露程度究竟是变好还是变差，此前没有系统性的量化。

关键发现：作者用 2025 基础模型透明度指数（FMTI）的 24 项预训练相关指标，对 17 个家族的 41 个模型条目做了文档审计，在 10 个家族中取到 24 组相邻代际对比。结果里分数下降的有 11 组，上升 6 组，持平 7 组；逐项统计是 38 项指标丢失、28 项新增。总分稳定会掩盖局部退步：OLMo-2 与 OLMo-3 总分相同，内里却是三增三减；Llama-3.1 相对 Llama-2 总分提升，丢了两条数据相关标准的分数。语料构成与训练算力这两块的空白一直没补上。

实践启示：引用模型卡的”透明度总分”做横向比较并不可靠，同一分数底下的指标构成可以是两套东西。做数据溯源时逐条对照指标项，别只看汇总值；写自家模型文档时，把”相对上一版改了什么""继承的部分对当前版本是否仍成立”明写出来，比堆一段泛泛的语料描述有用得多。

2. 极低资源语言：用人工词典撬动合成文本

论文信息：Text Generation in Low-Resource Languages Using Human-Curated Vocabularies（arXiv:2610.37105）— https://arxiv.org/abs/2610.37105

核心问题：合成文本是缓解低资源语言数据荒的常用办法，可如果一门语言在模型预训练语料里几乎不出现，连合成这条路本身都会失效。许多这类语言其实留着人工编纂的词典，附带词性、语义信息。词典能否替代语料，成为合成的起点？

关键发现：作者把人工词典与极少量人工撰写范文组合起来——范文只提供句法信号，候选词按 Zipf 分布采样。评测用词汇多样性、偏离目标语言比例（off-target ratio）和人工 fluency 判断三项指标。带推理能力的模型在极低资源语言上也能生成通顺文本，句子层面表现最稳，段落层面初见成效（代码见 github.com/michaelsinanta/vocab2text）。

实践启示：低资源语种的数据冷启动，未必先去爬语料。先盘一遍语言学田野工作留下来的词典、词表资源，配十几条人工范文就能跑通一条合成管线。Zipf 采样这一步别省，它决定了生成文本的词汇分布是否贴近自然语言，直接影响后续微调的可用性。

3. GEPA-Curator：不是所有失败轨迹都值得学

论文信息：GEPA-Curator: Curated Learning for Self Improving Agents（arXiv:2610.37651）— https://arxiv.org/abs/2610.37651

核心问题：GEPA 这类反思式提示词优化器从失败轨迹里学，可智能体的失败来源杂得很：提示词本身的弱点、工具框架的能力上限、执行过程的随机性、评审模型的噪声。把这类失败一股脑喂给优化器，学习信号被稀释甚至反向。

关键发现：框架由两个部件组成。任务策展先滤掉那些大概率只提供噪声信号的任务；先验成功检索则按任务把过去成功的轨迹挑出来，作为额外上下文交给优化器。在 GoBrowse、ALFWorld、AppWorld、τ-bench 四个环境上，用 Gemini 3.1 Pro 与 Claude Opus 5 分别作优化器，效果持平或超过两个基线，最高比 GEPA 提升 20.7%、比 ACE 提升 21.2%。

实践启示：做智能体数据回流时，失败样本不该默认全部入库。先按失败归因分桶——模型能力、框架缺陷、环境随机、评审噪声各归各类——只把归因于提示词的那一桶送进优化循环。成功轨迹同样是可用资源，按任务检索出来当上下文，比单纯堆失败案例划算。

4. 结构鸿沟：数据再多也补不上的那部分

论文信息：The Structure Gap: When More Data Cannot Replace Structured Reasoning（arXiv:2610.37523）— https://arxiv.org/abs/2610.37523

核心问题：“学习者足够大、数据足够多，显式领域知识就可有可无”这个信念到底能推到哪一步？论文定义了一类结构编码问题：输入输出映射被已知结构（求解器、对称群、图、物理定律、测量算子、语法、组合搜索空间、优化目标）所决定或强约束。

关键发现：对这类任务，要害不是表达能力，而是有限数据下的可辨识性、外推与可认证性。作者提出结构鸿沟——拿到结构的方法与只拿到样本的学习器之间，在有限资源下的差距。结论取渐近形式而非绝对形式：结构无关的学习随覆盖度提升可以逼近结构化求解器，任何有限数据集都会留下残余不确定性，而结构能按构造消掉它。论文在高斯逆问题上给出了精确证明：已知算子的 Wiener 求解器达到 Bayes 风险，正确线性类里的稠密经验学习器存在持续的期望超额风险；此外还证明了单元覆盖下界与未观测轨道的不可辨识性。已知算子反演、稀疏恢复、带规模外推的图可达性实验分别实例化了这些机制。

实践启示：动手加数据之前先判断任务是否属于结构编码型。物理仿真、程序合成、图算法、组合优化这类任务，把已知约束（守恒律、语法、对称性）写进模型或写进数据生成过程，收益通常优于继续扩语料。论文给的判据是可操作的：如果存在能按构造消解不确定性的结构，扩数据的边际收益就有上限。

5. LongZero：不靠外部语料造长上下文推理题

论文信息：LongZero: Enhancing Long-Context Reasoning in LLMs from Zero Data（arXiv:2610.30132）— https://arxiv.org/abs/2610.30132

核心问题：用强化学习增强长上下文推理，需要长、多样、有难度且可验证的训练数据。人工标注贵，自然数据稀缺，现有合成方法又依赖外部语料或更强的教师模型——待训模型越强，教师越难找。已有的零数据 RL 方法只覆盖短上下文任务。

关键发现：LongZero 让模型自己出题，全程不碰外部数据。生成顺序被拆成两步：先在紧凑结构化形式里写出问题、答案及其支撑证据，再单独把证据扩展成长的多文档上下文。这些自造多跳推理题与自造多轮检索题混合，用 GRPO 训练。在两个模型、五个长上下文推理基准上，LongZero 能泛化到真实任务，超过基于外部语料合成数据做 RL 的基线。

实践启示：合成流程里”先造骨架再摊开长度”这个顺序值得抄。直接在长文档上写问答，模型容易退回到局部片段；先把证据结构定死再扩写，长度和可控性同时拿到。教师模型瓶颈难以绕开时，自出题加可验证奖励是一条能持续供给数据的路径。

本期五篇给出三个能立刻落地的检查项：模型卡按指标逐条比对而非看总分；智能体失败样本先做归因分桶再决定入库；扩数据前先确认任务是否存在可编码的结构约束。