数据论文速递 · 2026年11月05日

本期收录 5 篇数据侧新论文，来源为 arXiv 近三日提交与 Hugging Face 每日热榜：一篇讲指令微调的数据选择如何建模样本间冗余，一篇把 scaling law 拓展到数据受限的稠密检索场景，一篇用真实执行轨迹规模化合成智能体训练环境，一篇以数据治理 Agent 从原始视频生产多模态指令数据，还有一篇在自监督预训练里定位并补齐欠表征数据。五篇共同指向一个趋势：数据工作正在从”攒语料”转向”对数据分布做闭环干预”。

QSGS：把数据选择做成次模图割

论文信息：Query-based Submodular Data Selection for Efficient Instruction Tuning，arXiv:2611.04059，https://arxiv.org/abs/2611.04059，2026-11-02 提交，Zhenghao Zhao 等。

核心问题：面向特定能力的指令微调里，选哪些样本比选多少样本更关键。现有方法对候选池逐条打分、取最高分的 top-k，这种逐点策略忽略了样本之间的相互作用——预算一紧，选出的子集就被近似重复的样本占据，大量容量浪费在重叠信息上。

关键发现：作者提出 QSGS，把定向数据选择形式化为梯度相似图上的次模图割：相关性项把选中样本拉向目标任务，成对离散惩罚项压制子集内部冗余，两者在同一目标函数下随预算自动权衡。预算越小，多样性感知带来的收益越明显。对于现有数据怎么选都补不上的覆盖缺口，追加一步梯度引导合成，定向生成欠覆盖方向的样本。

实践启示：指令微调数据的选择质量不能只看单条得分，子集层面的冗余控制在小预算场景是第一优先级；选择与合成组合使用，比单纯扩池更省算力。

数据受限场景下的稠密检索 scaling law

论文信息：Scaling Laws For Data-Constrained Dense Retrieval，arXiv:2611.04979，https://arxiv.org/abs/2611.04979，2026-11-03 提交，Bowen Fu、Jingtao Zhan。

核心问题：稠密检索模型靠标注数据或交互日志微调得到，这类监督数据量少且被多个 epoch 反复使用，与标准 scaling law 假设的数据充足场景不同。模型变大、唯一样本变多时，检索性能上限怎么变，缺少定量刻画。

关键发现：论文定义最小可达评估损失（MAEL）——固定模型规模与数据预算下训练全程的最低评估损失。实验跑了 35 个 BERT 家族稠密检索器（MS MARCO 子集微调），结论有三条：学习率强烈影响优化轨迹却几乎不影响最终 MAEL，重标度步数轴后学习曲线跨学习率重合，达到 MAEL 的检查点在 CKA 分析下表征高度相似；MAEL 精确服从非嵌入参数量与唯一样本数的乘性幂律，拟合优于常用的加性形式；达到 MAEL 的训练步数、最优权重衰减各自有可推导的规律，其中最优权重衰减近似服从不变的 EMA 时间尺度。

实践启示：数据受限的微调场景做算力与数据预算规划时，乘性幂律是比加性公式更准的底座；“唯一样本数”才是计量单位，重复 epoch 换不来同等的损失下降。

ToolSpace：从真实执行轨迹规模化合成智能体环境

论文信息：ToolSpace: Scaling Tool-Centric Environment Synthesis for Long-Horizon Agents，arXiv:2611.05036，https://arxiv.org/abs/2611.05036，2026-11-03 提交，Guanting Dong 等，Hugging Face 当日 34 赞。

核心问题：长程智能体需要跨 MCP 服务编排工具的训练环境。主流做法以数据为中心：先合成数据库与场景，再倒推工具和任务，导致工具接口对不上真实服务、工具组合没有执行依据、任务很少跨环境。

关键发现：ToolSpace 把顺序倒过来，以工具为中心：用确定性规则（而非 LLM 判断）从真实 MCP 服务与开源智能体语料的执行轨迹中挖掘相邻调用间的数据、状态、重试依赖，把加权工具组合图聚类成环境；只有状态可变的环境才合成数据库，查询类与无状态工具直接回放录制返回值；再做带回滚的状态感知随机游走，把链反编译成自然语言任务并配断言检查，只保留能从初始状态完整重放的样本。效果上，产出的 AutomationBench 与 tau3-Bench Banking Pro 版让 7 个前沿模型最多掉 38.2 分；7 个长程工具使用基准上，Qwen3.6-35B-A3B 平均分从 23.0 升到 41.0（加 RL 到 43.2），GLM-5.2 从 44.6 升到 56.6，追平 Claude Opus 5。消融显示执行见证的边明显优于 LLM 判断的边，且性能随数据与环境规模持续上升。

实践启示：智能体训练数据合成里，“来自真实执行的依赖关系”比”让 LLM 想象依赖关系”值钱得多；可重放验证是一道高效的样本过滤器，值得作为合成管线的标配。

VidUEU-Agent：数据治理 Agent 从原始视频生产指令数据

论文信息：VidUEU-Agent: A Data-Curation Agent for Multimodal Understanding, Editing, and Unified Tasks，arXiv:2611.04418，https://arxiv.org/abs/2611.04418，2026-11-03 提交，Tengju Ru 等，Hugging Face 当日 23 赞。

核心问题：多模态学习被高质量指令数据的稀缺与标注成本卡住。原始视频是充裕的视觉知识来源，但把它转成精确的指令数据难度很高。

关键发现：VidUEU-Agent 是一条四阶段自动化管线：全局感知过滤低质量镜头，挖掘关键帧与多模态信号，构建元数据并路由到不同任务合成指令样本。管线的关键设计在闭环——Agent 根据下游训练结果自主迭代数据分布，滚动优化数据质量、均衡度与训练效果。规模化跑出 VidUEU-100K（10 万样本、跨领域多任务），在代表性基准上微调基座模型取得稳定一致的增益。

实践启示：数据生产不该是一次性离线作业，把下游训练信号接回数据分布决策，形成”训练—反馈—再配比”的回路，是多模态数据工程值得复制的模式。

BRIDGE：定位欠表征数据并定向补齐

论文信息：Balancing Representations by Identifying and Generating Under-represented Data，arXiv:2611.02952，https://arxiv.org/abs/2611.02952，2026-11-02 提交，Filipe Laitenberger 等。

核心问题：自监督学习的表征覆盖度继承自源数据。无标注语料呈长尾分布时，表征在高频模式附近稠密、在覆盖薄弱处稀疏；现有长尾 SSL 方法只给已有样本重加权，不引入任何新样本。

关键发现：BRIDGE 围绕源集构建免标签反馈回路：当前编码器用平均 kNN 距离给每张源图打分，预算化采集规则在分数分布中”支撑稀薄且生成器仍能产生忠实变体”的带内选锚点，冻结的图像到图像扩散模型为锚点补充局部变体，预训练在扩充后的源集上继续。论文把采集形式化为局部支撑的可恢复性加权分配，推导出有限预算何时应取排除极端尾部的稀疏带、何时应在每轮修复后重分配。五个长尾、网页爬取与合成源场景下，BRIDGE 的七任务线性探测与 kNN 平均分在对比方法中最高，增益延伸到对比与自蒸馏目标、低标注微调与语义分割。

实践启示：长尾问题在数据侧的解法是”先测量哪里的表征薄，再定向生成补充”，比在损失函数上重加权更直接；kNN 距离这类免标签探针可直接搬进预训练语料体检流程。

结语

五篇论文分布在不同任务域，方法论上却有一条主线：数据选择要建模子集级的冗余与覆盖（QSGS、BRIDGE），数据合成要有真实信号做锚（ToolSpace 的执行轨迹、VidUEU-Agent 的视频信号），数据预算的账要按唯一样本算（稠密检索 scaling law）。对做预训练与后训练数据平台的团队，本期最值得动手验证的是次模选择加定向合成的组合，以及把训练反馈接回数据分布的闭环设计。