数据论文速递 · 2026年10月31日

本期速递聚焦大模型数据链路的五个环节。头条 AgenticDS 把「找数据集」变成契约治理的智能体搜索问题，用 search-to-train 闭环证明检索质量直接兑换成下游精度；档案语料挖掘一篇为没有网页足迹的语言打开数百年语言学文献这座矿；xPRT 证明无标注文档内部藏着跨段落检索信号；MSafeTemp 用模板槽位填充把安全对齐语料扩到 60 种语言；MTA-OPSD 把蒸馏教师的选择下沉到 token 粒度。

AgenticDS：面向模型训练的智能体数据集搜索

论文信息：From Intent to Improvement: Agentic Dataset Search for Better Model Training，arXiv:2610.39608，https://arxiv.org/abs/2610.39608

核心问题：在百万级机器学习仓库里找训练数据，文本相关性排序不够用。一条查询会耦合语义目标与任务、许可证、训练阶段等硬约束，而验证这些约束的元数据常常缺失。文本检索无法强制执行硬约束；自由工具调用智能体更灵活，但同一个模型自己挑数据集、自己宣布它匹配，没有人核查约束是否真正满足，两边都没有回答「找回来的数据到底能不能提升训练」。

关键发现：论文提出契约治理的 AgenticDS 框架：语言模型的每个决策先实例化为类型化对象，再交给确定性代码消费；查询被编译成类型化搜索计划，经混合检索加有界图扩展的确定性算子执行；接受一个排序之前先核验来源支撑的证据，失败时发出只允许局部修补的类型化诊断。配套基准 HuDS-Bench 包含 200 条查询、24,908 条分级判定、汇集 15 个系统。其上 AgenticDS 的 NDCG@10 比最强的稠密-稀疏混合检索高 25.7%，比商业 LLM 智能体高 18.9%。受控 search-to-train 实验里，它检索到的数据集在数学、代码、医学三个方向训练出最佳下游精度。

实践启示：数据集选型不能停在语义相似层，硬约束与来源证据要成为检索管线的一等公民；评估数据发现系统时，用检索质量兑换为下游精度的闭环指标，比单看检索指标更硬。做训练数据采购管线的团队可以直接参考「LM 决策→类型化对象→确定性执行」的契约模式。

Mobilizing the Archive：从档案文献规模化抽取极低资源语言双语数据

论文信息：Mobilizing the Archive: Bitext Extraction at Scale from Archival Documents for Extremely Low-resource Languages，arXiv:2610.40233，https://arxiv.org/abs/2610.40233

核心问题：从网页挖平行句对只惠及有网络足迹的语言，世界上多数语言几乎没有网页存在感。这些语言拥有的，是语言学家数百年积累的语法书、词典与文献材料——平行数据藏在里面，一直没有被规模化开发。

关键发现：论文用 OCR 模型加视觉语言模型搭了一条抽取管线，靠版面视觉信息对齐识别内容，从语言学档案里抠出翻译例句，覆盖面可扩展到数千种语言。20 种语言的实验里，抽出的 bitext 可用于训练机器翻译模型，也支持给大模型做上下文学习：对低资源目标语言，chrF2++ 较零样本翻译提升 15.78；对高资源目标语言提升 6.94。

实践启示：长尾语料别只盯着网页源。档案、词典、语法书是现成的平行语料富矿，OCR 加 VLM 的版面感知管线能把它们变成训练数据。做低资源语言数据扩建时，这条路径比等网页数据出现更可控、上限也更高。

xPRT：跨段落信号的无监督检索预训练

论文信息：xPRT: Cross-Passage Retrieval Pretraining，arXiv:2610.40122，https://arxiv.org/abs/2610.40122

核心问题：稠密检索器的训练依赖人工标注的查询-文档对，除少数资源充足的领域外获取成本极高。无监督检索预训练从无标注文本里学，但现有方法只在文档内的短片段上优化语言建模或对比目标，单篇文档里分布更广的信号被浪费了。

关键发现：xPRT 从整篇文档的关键信息及其跨段落关联中学习。在 MTEB English v2 上，从公开无监督检查点继续预训练、固定语料与训练流程，与五个先进目标对比，xPRT 平均超最强基线 3.2%。持续预训练设定下多数基线出现明显回退，xPRT 是相对初始检查点增益最大的一个。消融实验证实增益来自跨段落信号本身。

实践启示：无标注文档是被低估的检索信号源，单篇文档内部跨段落的关联足以支撑预训练。做检索器持续预训练时留意基线回退现象——换一个训练目标在同一语料上继续训，掉分是常态，选目标函数要看持续训练设定下的净增益。

MSafeTemp：模板化合成 60 语种安全对齐语料

论文信息：How I Aligned Your Model: Scaling Up Multilingual Safety Training with Templates，arXiv:2610.40516，https://arxiv.org/abs/2610.40516

核心问题：安全对齐研究重英语、轻多语，低资源语言受害最深。开源安全训练语料规模有限，缺少按地区本地化的有害话题，对齐范围越不过文化边界。

关键发现：论文提出可扩展的模板增强管线：从有害提示里抽取安全模板，翻译后用文化本地化的实体（有害与无害两类）填充槽位，批量产出多语拒答与良性语料，并发布覆盖 60 种语言的 MSafeTemp 语料库。三个结论值得单独记录：英语单语评测会误判多语安全，若干在英语下失败的攻击翻译后即可得手；文化本地化变体暴露翻译测不出的漏洞；模板增强提升对齐数据的多样性与质量，把英语之外的安全表现拉了上去。

实践启示：安全语料合成的模板、槽位、文化实体三件套成本低、规模可控，是安全数据稀缺语言的首选路径。评测环节务必加翻译攻击与文化本地化攻击，只测英语等于裸奔。

MTA-OPSD：token 级选择蒸馏教师

论文信息：Every Token Needs Its Own Teacher: Multi-teacher Adaptive On-policy Self-distillation，arXiv:2610.40574，https://arxiv.org/abs/2610.40574

核心问题：在线自蒸馏（OPSD）后训练大模型时，教师由特权参考构造。现有方法要么全程固定教师（始终看完整参考），要么只在响应之间自适应调整部分参考暴露——同一个响应内每个 token 共用一位教师。

关键发现：教师干预实验证实：教师偏好按 token 变化，且能通过多数投票加 KL 选择为每个 token 找出更优教师。据此提出的 MTA-OPSD 建一个候选教师池，让每个 token 在训练中自适应选自己偏好的教师。Qwen3 数学推理实验里，MTA-OPSD 平均增益最高 5.9 个点，全面超过现有 OPSD 方法。

实践启示：监督信号的质量评估粒度应该下沉到 token 级——「哪段数据好」等价于「这个 token 该跟哪位教师学」。构造蒸馏数据时，教师池加逐 token 动态选择比单一全局教师更划算。

小结

本期五篇连起来看是一条数据链路：找数据（AgenticDS 的契约化检索）→ 挖数据（档案 bitext 抽取）→ 用无标注数据（xPRT 跨段落信号）→ 造数据（MSafeTemp 模板合成）→ 选监督（MTA-OPSD 的 token 级教师）。五个环节指向同一件事：数据工作的单位在变小，从数据集到文档到 token，粒度越细，回报越清晰。