数据论文速递 · 2026年10月28日

本期五篇都落在同一条主线上：模型的上限不只由数据体量决定，数据从哪来、怎么挑、怎么配比、由谁生成，每一环都在改写结果。两篇独立工作分别用梯度归因和语言学反馈把「选哪些样本」从人工启发式换成可计算的信号；两篇围绕儿童语言的小数据实验给出了合成语料与真实语料的系统性差异；还有一篇用低资源语言的实证推翻了「数据越多越好」的默认假设。

CIGA：梯度归因挑数据时被措辞和格式带偏了

论文信息：Robust LLM Data Selection via Content-Invariant Gradient Attribution，arXiv:2610.36755，https://arxiv.org/abs/2610.36755

核心问题：基于梯度的归因方法已经成为指令微调数据筛选的常用工具，靠样本对优化过程的影响来估算它的贡献。作者发现这类全局归因方法存在表面形式偏置——改动措辞、排版这些与语义无关的细节，归因分数就会大幅跳动，而样本内容其实一点没变。

关键发现：作者提出 CIGA（Content-Invariant Gradient Attribution）。第一步先找出两类层：一类对归因结果影响大，另一类在保持语义的扰动下梯度稳定；只取交集，把格式噪声从梯度特征里滤掉。第二步把筛选后的归因信号与输入的语义表示做动态融合，让优化层面的影响和内容层面的信息合并成同一个排序依据。多个基准上的结果显示，CIGA 在表面扰动下给出的排序更稳定，下游能力没有损失、平均表现还有提升，归因本身的计算开销也降下来了。

实践启示：用梯度相似度做数据筛选的流水线，值得先做一次扰动自检——把同一批样本换个说法、换个格式重跑一遍，看排序重排了多少。重排幅度大就说明筛出来的是「写法」而不是「内容」。CIGA 给出的做法是先按稳定性筛层再融合语义向量，这一步比换更大的打分模型便宜。

用更少的数据训出更好的多语言 ASR：让智能体来定采样策略

论文信息：Agentic Data Sampling Framework for Multilingual ASR via Linguistic-Aware Error-Driven Optimization，arXiv:2610.36538，https://arxiv.org/abs/2610.36538

核心问题：多语种 ASR 的数据采样策略长期靠人工启发式设计，耗时且难以迁移。作者把采样决策本身交给一个数据采样智能体，让它读评测结果再反过来调整配比，而不是把 WER/CER 当成训练的终点指标。

关键发现：智能体由一份语言学 rubric 驱动，从音系、形态、句法三个层面分析当前轮次的 ASR 错误，再结合训练统计、预算约束和算法画像，在 domain 级、样本级、token 级三个粒度上分别选策略。在 12 种 Common Voice 语言、以 Whisper-medium 为骨干的实验里，这套方法用的训练数据更少、算力更低，效果却超过全量数据训练，收敛也明显更快。

实践启示：多语种数据配比不必固定成一套人工权重表。把错误分析结构化成可机读的反馈，再让它驱动配比更新，闭环就跑起来了。分层做选择也值得借鉴——语种权重、单样本取舍、token 级截断是三个不同的杠杆，混在一个旋钮上调会互相掩盖。

儿童规模的语言模型：数据从「谁」来比「有多少」更要紧

论文信息：Specialization, Diversity, and Scaling in Child-Scale Language Models，arXiv:2610.36679，https://arxiv.org/abs/2610.36679

核心问题：现代语言模型吃的语料量远超儿童的实际语言经验，而小规模、自然场景数据上的学习规律仍不清楚。作者用密集家庭录音（BabyView）和合成亲子对话（TinyDialogues）训练小号 GPT-2，系统地变动数据量、数据来源和数据多样性。

关键发现：只用某一个孩子的语言环境训练，模型预测该环境的能力明显强于预测其他孩子的环境。这种专业化很大一部分是词汇和分布层面的——一个简单的 5-gram 模型就能复现跨儿童的这种模式（r=.91）。把多个孩子的数据合起来训练，对池化后的留出语言预测有清晰提升，在语法基准上却没有同等幅度的改善。跨数据量比较还显示，自然语料与合成语料训练出的模型在语法和词汇语义上呈现不同的模式，不同语法现象之间的差异也很大。

实践启示：小数据设定下报告「数据量—性能」曲线时，必须把数据来源和多样性写进自变量，只报 token 数会丢掉主要解释力。看到一个模型在特定分布上表现好，先做一个 n-gram 基线做对照，很多「学到了语法」的收益其实是分布匹配带来的。

合成亲子对话并不像真实对话

论文信息：Synthetic Child-Adult Interactions Are Not Developmentally Plausible，arXiv:2610.35029，https://arxiv.org/abs/2610.35029

核心问题：合成数据已经是语言模型训练的常规原料，这股风也吹进了发展合理性语言建模。模型生成的亲子对话究竟像不像自然对话，此前没有系统对照。

关键发现：作者把合成的 TinyDialogues 与自然对话放在一整套语言学指标上比较。合成数据在词汇层面能对上自然数据，却严重低估了口语交互那种凌乱、破碎的本来面目。为缓解这个问题，作者提出用真实对话构造的数据做指令微调；一个试点实验显示，小模型经过适度的参数高效微调后，统计倾向能逼近自然数据。

实践启示：用合成语料补齐长尾场景之前，先量一遍它的表层统计特征。词汇分布对得上不代表话语结构对得上，口语里的打断、重复、不完整句恰恰是最容易被生成模型抹平的部分。上面那篇 2610.36679 也在同一批语料上观察到自然与合成输入带来的模式差异，两篇互为印证。

少量高质量标注胜过大规模混合质量数据

论文信息：Quality over Quantity: Rethinking Data and Model Assumptions for Bengali Coreference Resolution，arXiv:2610.35114，https://arxiv.org/abs/2610.35114

核心问题：多语言 Transformer 常被认为能跨语言泛化，但在低资源场景下的共指消解效果缺少验证。作者以孟加拉语为切口——使用者超过 2.5 亿，标注共指资源却很有限——在零样本、微调、数据增强、跨语言迁移等多种设定下检验这一假设。

关键发现：少量高质量标注数据的效果显著优于规模更大的混合质量数据集（p < 0.01）。数据增强，特别是回译，没有带来提升，在共指消解上还会劣化结果。跨语言迁移的表现也不一致：从英语这类远距离语言迁移会降低性能，从印地语这类亲缘语言迁移在各模型间没有稳定收益。作者还发现若干被广泛使用的多语言模型存在嵌入空间坍缩，不适合拿来做基于相似度的聚类任务。

实践启示：低资源语言的预算分配上，标注质量的优先级排在数据量前面。回译增强要按任务类型区别对待，在共指消解这类依赖局部结构一致性的任务上，回译引入的指代扰动是负资产。选型阶段还值得先检查候选多语言模型的嵌入空间是否坍缩，这一项在相似度聚类 pipeline 里会直接决定成败。

---

把这五篇放在一起看，一条共同的教训是：数据工作的杠杆正在从「规模」移向「结构」。选哪些样本、按什么粒度配比、生成的数据在哪些维度上失真、标注质量如何分布，这些变量在小数据设定和低资源语言里往往比再堆几个百分点的语料更能决定结果。度量方式也要跟着变——从统计 token 数转向统计来源构成、扰动稳定性和表层分布距离。