数据论文速递 · 2026年11月03日

今天这一期从 10 月 30 日（周一）公告批次里选出 5 篇，主线是”数据从哪里来、坏了怎么修、怎么躲开隐私坑”：智能体 SFT 数据的自演化闭环、带全局保证的差分隐私合成数据、黑盒教师身上的推理蒸馏数据、逐字记忆的推理侧压制，以及 LLM RL 训练数据的 off-policy 失配拆解。5 篇里有 4 篇的第一作者单位来自工业界或工业-学术合作团队，落地味都挺重。

EvoMCP：MCP 智能体与训练数据共同进化

论文信息：EvoMCP: Co-evolving MCP agents and training data，arXiv:2610.41479，https://arxiv.org/abs/2610.41479

核心问题：MCP 智能体的监督微调通常在一份静态数据集上完成，学生模型能力在变，数据分布不变，新暴露的短板拿不到针对性训练样本。

关键发现：作者把数据生产做成闭环——先从学生 rollout 反馈里判定哪些能力已建立、哪些有缺口，把缺口翻译成学习目标；任务演化环节改造已验证种子任务的指令与可观测环境状态，生成新任务并保持校验器对齐；轨迹演化环节用可复用技能把失败的教师 rollout 救回来、把成功的打磨得更干净；产出的任务-轨迹对用于微调学生，通过验收的任务再作为下一轮种子。在 Toolathlon、MCPMark、MCP-Atlas 三个基准上，初始学生分别拿到 16.5%、10.2%、12.6% 的绝对提升。

实践启示：给智能体造数据不该一次成型。以学生自身 rollout 反馈为驱动、以已验证任务为种子的演化式生产，比静态堆量更能补齐短板；失败的教师轨迹也别急着扔，技能复用能把一部分救回来。

SPLICE：高维数据下的差分隐私合成

论文信息：Differentially Private Synthetic Data from Sliced Chebyshev Moments，arXiv:2610.42081，https://arxiv.org/abs/2610.42081

核心问题：差分隐私合成数据有两条老路——近似保低维边际的方法，全局结构只能靠运气；带全局精度保证的方法，代价随数据维度指数增长，高维场景用不起。

关键发现：SPLICE 对目标分布的切片 Chebyshev 多项式矩加噪测量，再拟合一个分布去匹配这些矩。理论侧给出 n 条样本、常数隐私参数下，私有分布与目标的 Sliced Wasserstein-1 距离为 Õ(1/√n)，这个界与维度 d 无关；配套证明了一个独立的矩匹配结论：单位球上沿 Õ(d/α²) 个随机方向匹配前 O(1/α) 阶 Chebyshev 矩，就能保证 α 的 Sliced Wasserstein 误差。工程侧借张量分解工具实现，在基准对比中做到 SOTA。

实践启示：需要对外交付训练数据又要过隐私合规的场景，多了一条高维可用的路子；“维度无关”的误差界意味着列数多的表格数据不必先降维再合成。

Stepwise-Querying：不碰教师思维链的推理蒸馏

论文信息：Stepwise-Querying: Distilling Reasoning without Access to Teacher Chain-of-Thought，arXiv:2610.41769，https://arxiv.org/abs/2610.41769

核心问题：黑盒场景下教师 API 只吐最终答案和简短解，中间计算过程与有效性条件拿不到，推理蒸馏的监督质量被卡住。

关键发现：方法很直接——对同一个教师发独立查询，分别索要单步的中间推导、有效性检查与纠错说明，再把拼装好的完整解拿去做标准 SFT。两教师、两学生、四个数学与代码基准的 16 组对比里拿下 14 组最高分（对比三个基线）。作者还提出 SEIG 诊断量，用冻结学生在两种解释下的步骤完成概率对数比来评估数据；GSM8K 上的分析显示，答案错误的轨迹只要中间推理有效，拿来训练依然有用，再往下细拆步骤则收益有限。

实践启示：蒸馏数据的生产不必被”教师不给思维链”卡死，分步追问就能把监督密度提上来；筛选训练轨迹时看中间步骤有效性，比只看对错能多留下一批有用样本。

Fewer Heads, Fewer Memories：剪掉冗余注意力头，压住逐字记忆

论文信息：Fewer Heads, Fewer Memories: Pruning Redundant Attention Heads Suppresses Verbatim Memorisation，arXiv:2610.40974，https://arxiv.org/abs/2610.40974

核心问题：大模型会逐字复述训练语料，隐私与版权风险悬在头上。理论工作说注意力头是联想记忆机制、记忆容量随头数扩展；实证工作说大量注意力头冗余、剪掉对下游影响很小。两条线各走各的，交叉点上没人做过实验。

关键发现：作者把两条线接上了——在推理前把任务冗余头置零，逐字记忆被大幅压制。GPT-2-XL（1.5B）上，剪掉 729 个冗余头后已知记忆序列的复现计数下降 91.5%，WikiText-103 困惑度反倒改善 0.92。整个过程不重训、不动训练数据。

实践启示：训练数据里的敏感内容多了一道推理侧的闸门——数据审计找出风险样本、结构干预压住复现通道，两步组合的成本远低于重训；对做数据清洗的同学来说，“删除敏感语料”之外多了个可量化的备选方案。

拆解 LLM RL 的训练-推理失配

论文信息：On the Origin and Evolution of Training-Inference Mismatch in LLM Reinforcement Learning，arXiv:2610.40945，https://arxiv.org/abs/2610.40945

核心问题：LLM 的 on-policy 强化学习假设训练响应由当前策略采样；实际系统里推理引擎采样、训练器算梯度，两处失配让训练数据悄悄变成 off-policy。失配有两个来源——引擎数值差异与异步采样的陈旧权重——在一种来源下稳定的修正，换一种来源就失效。

关键发现：在采样器权重处评估训练器，每个采样 token 的误差被精确拆成两部分：数值差异在训练中近似恒定，以近似固定的量偏置更新，按前缀对 score 做中心化即可消掉主导偏差；策略滞后由训练器自身更新制造，留下的偏差进入下一轮更新、放大下一轮滞后，形成反馈回路。重要性加权只在滞后比值集中时切得断这个回路——Qwen3-1.7B 上，比值的有效样本量跌破一半的那一刻它就失效了。据此提出的 DLC 修正（中心化数值差异、按采样器权重裁剪滞后比值、有效样本量跌破阈值时重同步采样器）在 Qwen3-0.6B 与 1.7B 上，把与 on-policy 训练的 KL 散度控制在两次独立 on-policy 训练彼此间 KL 的两倍以内。

实践启示：RL 数据的 on-policy 性是工程属性，不是理想化假设。异步 RL 系统里采样器陈旧度值得配一个监控指标（滞后比值的有效样本量就是候选），数据”新鲜度”掉线时重同步，比事后修正更便宜。

小结

这期五篇串起来是一条数据流水线：生产端有 EvoMCP 的闭环演化与 Stepwise-Querying 的黑盒分步追问，合规端有 SPLICE 的维度无关隐私合成，治理端有冗余头剪枝压记忆、DLC 保住 RL 数据的 on-policy 成色。共性启发一句话：数据问题越来越不像”准备阶段”的问题，生产、审计、修复都在训练与推理的循环里持续发生。