数据论文速递 · 2026年11月04日

本期五篇覆盖数据管线的四个环节：SFT 数据生成、图文语料去重、合成数据循环训练理论、代码 agent 轨迹收集，外加一条记忆化标度律补机理认知。生成侧两篇方法工作（SFTProbe、SWE-Trail），清洗侧一篇（VL-Dedup），机理侧两篇（记忆化标度律、高斯坍缩判据）。

SFTProbe：推理 SFT 数据治理从数周压缩到数小时

论文信息：From Weeks to Hours: Fast and Principled SFT Data Generation for Reasoning LLMs（arXiv:2611.00554，https://arxiv.org/abs/2611.00554，2026-10-31，5 位作者）

核心问题：推理后训练依赖高质量推理轨迹做 SFT，现有管线走”多教师大批量生成、再用额外 LLM 按难度与多样性过滤”的 generate-then-filter 路线，动辄消耗数周算力。数据治理本身成了后训练的主要成本项。

关键发现：论文提出 SFTProbe，绕开生成后过滤，直接预测推理数据的质量。做法是一次短暂的 LoRA 适配，加上只计算每条轨迹 5% token 的 loss，就足以估计难度与多样性。理论支撑是一个几何视角：预训练 LLM 位于低秩、各向异性的 loss 盆地，用低秩扰动探测盆地可构造紧凑的 loss 签名——签名的聚类结构刻画多样性，曲率拐点处的 loss 是难度的稳健代理。论文附了一个教师选择的简单准则。实测数据治理时间从数周降到数小时，数学推理任务性能持平或更优。

实践启示：质量预测可以替代”先海量生成再过滤”的重管线；低秩 loss 签名是一套廉价的数据画像特征，聚类与曲率两个统计量分别对应多样性与难度，适合直接搬进内部数据评估工具；教师组合的选择不必再靠试错。

记忆化标度律：更大的模型越训越会记

论文信息：Meta-memorization and memorization scaling laws in transformers（arXiv:2611.01564，https://arxiv.org/abs/2611.01564，2026-11-01，3 位作者）

核心问题：两条被反复观察到的记忆化标度律——模型容量（比特数）大致随参数量线性增长；更大的模型记住一条序列所需的重复次数更少。后者与”大模型泛化更好”的直觉相悖，机理一直缺少解释。

关键发现：作者在随机二进制序列上复现了两条标度律，证明快速记忆化不需要任何语义或组合结构。背后是一个 meta-memorization 效应：在大规模随机序列集合上训练过的模型，学会了”如何记忆”，对新序列记得更快。记忆化速率 r(t) 随训练时间 t 呈幂律增长（r(t) ∝ t 的 β 次幂，指数 β 固定、截断随模型规模上移）。一层 transformer 也能 few-shot 记住 100 比特序列。机制上，结构化 attention head 把位置不变的序列信息传给 MLP 存储；一个带注意力瓶颈的稠密关联记忆简化模型能复现该效应。

实践启示：预训练赋予模型可复用的存储-检索机制，记忆化不只是过拟合的副产品；去重的价值除了省算力，还在于压制”学会记忆”的速度上限；该效应在纯随机数据上就能诱发，评测记忆化时需要把语义内容与训练规模两个变量拆开。

VL-Dedup：图文去重升级为分级实体决议

论文信息：VL-Dedup: Graded Multimodal Entity Resolution for Image-Text Data Deduplication（arXiv:2611.03080，https://arxiv.org/abs/2611.03080，2026-11-02，9 位作者）

核心问题：图文语料的”重复”有四种形态——同一图像的多份拷贝、同一图像的多版描述、描述被复用到别的图、图文根本不匹配，各自需要不同的治理动作。现有去重与多模态实体决议只做”是否相同”的二值判断，且只在标注对上评测，既不反映记录最终聚成什么簇，也不反映有多少有用的 caption 被误删。

关键发现：论文把图文去重形式化为分级多模态实体决议：对每一对记录判定视觉同一性、caption 处理方式、是否错配，并在对、簇、保留集三个层级上评测。方法上，VL-Dedup 先把同一视觉实体的记录聚成簇并限制簇大小，簇内用 VLM 加 CLIPScore 决定 caption 去留。配套的 VL-DedupBench 含 5 万条 COCO 与 SOP 记录、66,788 个标注对。两个反直觉结论：在标注对上零误连的分类器，仍会把数百万条不同实体的记录连进同一簇；VLM 调用花在簇内对比上，比花在分数不确定的对上换来更好的 caption 决策。簇几乎全对时，每簇只保留一条记录仍会丢掉大量事实信息。

实践启示：多模态清洗管线应以簇级与保留集级指标做验收，pairwise 准确率会严重高估清洗质量；“删重”天然连带信息损失，保留、标记、合并的分级动作比二值去留更符合语料治理目标；VLM 调用预算优先投向簇内。

高斯设定下的坍缩判据：合成数据混用不判死刑

论文信息：Model Collapse Is Avoidable Even as Real Data Vanishes: A Sharp Criterion for Iterative Gaussian Estimation（arXiv:2611.00259，https://arxiv.org/abs/2611.00259，2026-10-30，2 位作者）

核心问题：从开放网络收集的训练数据里混着前代模型自己生成的内容，递归训练会引发 model collapse。既有理论用”每一代都有足量新真实数据、且与生成数据严格分开使用”来解释模型为何还在持续进步，可真实世界里两类数据混在一起、不加区分。

关键发现：论文研究更现实的设定：迭代估计多元高斯分布的均值与协方差，每一轮从真实分布与上一轮估计分布的混合中采样，训练时不区分样本来源。主结论是一个单一等价条件，一并刻画均值与协方差估计的一致性、以及估计分布到真实分布的期望平方 2-Wasserstein 距离收敛到零。在该条件下，真实数据占比满足判据时一致性成立——真实数据趋于消失时坍缩才不可避免，混合使用本身不是死刑判决。

实践启示：合成数据混入训练集并不必然坍缩，关键是真实数据比例是否越过判据；“爬取数据里生成内容污染到什么程度还安全”这个工程问题有了可计算的理论模板（高斯设定，迁移到语言模型需谨慎）；数据溯源标签的价值从合规要求上升为训练稳定性输入。

SWE-Trail：历史引导的轨迹收集，上下文外不惹麻烦

论文信息：SWE-Trail: History-Guided Trajectory Collection for Coding Agent Training（arXiv:2611.02074，https://arxiv.org/abs/2611.02074，2026-11-01，6 位作者）

核心问题：代码 agent 的长轨迹正成为后训练数据的主体，收集方式直接决定模型学到什么。通行做法是每个 issue 独立采样多条轨迹再筛选，独立采样让后面的轨迹越来越冗余；把历史轨迹作为建议喂给 agent，又会让模型依赖测试时并不存在的输入，造成 train-test mismatch。

关键发现：论文主张历史应该引导”收集力气花在哪”，生成什么仍由 agent 自己决定。SWE-Trail 在新 rollout 中用早期轨迹定位值得追加投入的状态，在该状态让 agent 从自己的正常上下文提出候选动作，从同一 checkpoint 短暂执行各候选以决定走哪条路线，全程把历史保持在 agent 上下文之外。论文以训练后模型的表现来评价收集策略，历史引导的收集优于独立采样。

实践启示：轨迹收集管线里，历史信息放在上下文外还是上下文内，决定它是有用引导还是分布偏移源；同等采样预算下提升信息密度比堆数量划算；“上下文外引导”模式可迁移到其他 agent 数据引擎。

小结

本期方法与理论并重：SFTProbe 与 SWE-Trail 攻收集与筛选的效率，VL-Dedup 攻清洗动作的精细度，记忆化标度律与高斯坍缩判据补机理认知——前者说明容量与记忆速度都随规模增长，后者给出合成数据循环使用的安全边界。对照着看，“生成—清洗—复用”每个环节都有可落地的改进点。