数据工程观察 · 2026年10月22日

本期五条，指向同一个问题：一份数据在进入训练之前，我们对它究竟知道多少。一条把预训练语料的成分摊开，量出国家媒体在英文爬取中的占比从 2013 年的 39% 升到 2025 年的 93%；两条处理归因与选择，一条指出线性归因看不见的联合效应，一条指出候选梯度里压过目标信号的是群体主成分；一条把标注预算与训练预算拆成两笔账；最后一条退到最底层的字节——同一份数据换一种编码，校验和就变了，而校验和是当下多数数据交付凭据的基础。

一、WorldStateMedia：1.18 亿篇国家媒体文章，把预训练语料的成分摊开

事件概述：多伦多与纽约大学团队发布 WorldStateMedia，从 FineWeb 系列公开爬取语料中按域名抽出 1.18 亿篇国家媒体文章，覆盖 136 个国家、114 种语言，并用 State Media Monitor 的七级国家控制度给每家媒体打标签。数据集附带一份针对现有预训练语料的成分审计。

技术细节：域名表先用 LLM 为每条媒体资产补全 URL，再逐条人工核对，最终得到 640 家机构、1,910 项资产、1,183 个唯一 URL，覆盖 173 个国家。抽取时保留页面数超过 1 万的国家、超过 10 万的语言，落到 136 国 114 语（不做这两个过滤是 171 国）。1.18 亿这个数沿用 FineWeb 的按 dump 内去重，跨语料去重后是 5,800 万，作者保留前者，理由是这份数据集的作用是当观察预训练语料的透镜。审计结果里最扎眼的是时间趋势：英文爬取中来自受编辑控制（而非独立）媒体的国家媒体页面占比，2013 年 39%，2025 年 93%；换成 2022 版分类法重算是 33% 到 82%，方向一致。按语言看，维吾尔语 17.8%、土库曼语 8.3%、白俄罗斯语 7.8%、拉丁字母塞尔维亚语 7.0%、高棉语 6.8%，俄语与中文因其他网页内容稀释，占比只有 1.0% 与 0.2%。RAG 实验用 BorderLines 的 720 个查询、251 个争议领土，四个模型（GPT-4o、GPT-4o-mini、Command-R 35B、Llama 3.1 8B）：检索英文（对外投放）国家媒体时，Llama 与 Command-R 的地缘偏向指标 Δ_CS 放大超过 100%；Wikipedia 检索在 8 个设置里有 7 个提升事实一致性 KB_CS，国家媒体检索在 16 个设置里 8 个为负、6 个中性、2 个为正。按主题混合各方来源的检索方式跨语言一致性更高、偏向更低，事实一致性却也是最低的。

对大模型数据工作的影响：这份工作的价值不在又多了一个数据集，而在于它把「语料里是谁在说话」变成了可查表。低资源语言的训练数据本就稀缺，现在给出了一组具体数字：某些语言里一到几个国家的官方媒体供给了 5%–18% 的网页内容。做多语言语料配比时，这部分内容过去混在「网页」这个大类里不被单独计量，现在可以按域名和标签切出来单独决定权重。RAG 部分的结论对检索池构建同样直接——只在 Wikipedia 上评测检索配置会系统性高估系统的稳健性。

相关链接：https://arxiv.org/abs/2610.24990、https://arxiv.org/html/2610.24990、https://huggingface.co/collections/manestay/worldstatemedia

二、张量网络数据模型：把训练数据的联合效应塞进低秩表示

事件概述：datamodel 用「训练子集 → 训练结果」的映射来预测某批数据加进来或拿掉会怎样。线性 datamodel 给每个训练单元一个固定贡献，表达不了联合效应。牛津与相关机构提出的 Tensor Network Datamodels（TNDM）用低秩张量网络参数化这种依赖，表示仍然紧凑。

技术细节：d 个训练单元对应 2^d 个子集，子集结果构成一个 d 阶值张量，TNDM 用 CP 分解（TNDM-CP）与 tensor-train（TNDM-TT）两种形式做低秩近似。文章先把「交互阶数」与「张量秩」这两个复杂度概念分开，并证明互补与冗余的训练分组能造出高阶交互却仍保持低秩——这正是需要张量方法的场景。24 组受控推理任务上，观察 512 个子集时线性 datamodel 的预测 NMSE 是 0.687，TNDM-CP 0.148±0.026、TNDM-TT 0.188±0.004；观察 1,024 个子集时 TNDM-CP 0.087、TNDM-TT 0.071，相对线性降 89%，而 1,024 只占 2^24 全空间的约 0.0061%。联合移除效应预测的 RMSE 从线性 2.741 降到 1.395。Qwen2-7B 的事实关联微调（Sport–Music，15 个共享子集划分）上，留出 R² 线性 0.579±0.048、matched-pair 0.556、degree-2 0.565，单拟合 rank-5 的 TNDM-CP 0.668±0.084，rank 3–6 集成 0.734±0.061。AG News 上用 LoRA、128 次观测，Banzhaf 估计误差线性 0.1701、TNDM-TT 0.1634。局限也写清楚了：收益依赖任务结构、秩的选择与优化，TT 还需要合适的分组顺序，重训本身的开销并没有被消掉。

对大模型数据工作的影响：一次拟合、多次复用是这个方法的实际吸引力——同一个拟合好的替代模型可以回答移除效应、单条数据重要性、单元间交互、子集选择四类问题，不用每换一个问题就重跑一遍归因。对数据筛选团队来说，更关键的是它给出了线性归因失效的具体条件：当数据分组之间存在互补或冗余关系时，逐条打分的加性假设会系统性低估或高估一批数据的价值。代价是你要先付重训多个子集的钱，而且秩与拓扑得调。

相关链接：https://arxiv.org/abs/2610.24721、https://arxiv.org/html/2610.24721、https://github.com/farzana0/Tensor_datamodels

三、DeGMatch：候选梯度里最响的，不是目标信号

事件概述：目标感知的数据选择做法是拿一个小参考集指定「要什么能力」，再从大候选池里挑轨迹做后训练。作者发现，把梯度匹配直接用到长推理轨迹上，选出来的东西对目标几乎不敏感，于是提出去混淆的梯度匹配 DeGMatch。

技术细节：诊断先做在前面。五个数学目标各自诱导出的候选总体，中心化后梯度的前 50 个主成分解释了 86.7%–89.4% 的方差，且这些领先主子空间在不同目标之间高度重合——PC1 与梯度范数相关（|ρ|=0.86），PC2 与轨迹长度相关（|ρ|=0.66）。后果是：原始梯度匹配下，五个 top-1K 列表的并集只有 1,317 条不同候选，其中 54.0% 五个目标都选了；五路目标识别准确率（随机基线 20%）只有 56%，只对候选总体去均值是 57%。方法上分两步，先用 Qwen3-Embedding-8B 做语义相关性门（门大小取最终预算的 3 倍，数学 30K、科学 15K、代码 9K），再用学生模型自身的梯度重排；重排前把候选梯度按总体均值中心化，并移除前 k 个主方向。去混淆之后，并集扩到 2,950 条，五个目标都选中的比例降到 2.4%，目标准确率升到 66%–82%。下游结果：从 93K 条数学池里选 10K 条，八个基准平均 60.73、六项第一，高于 Select2Reason 的 58.99，也高于全量训练的 OpenR1-Qwen-7B 的 58.80；10K 档的 41.37 对全量 39.4。开销约为 LESS 或 TAROT 的 29%，与 GIST 相当，且不需要预热检查点。作者顺手给了一个尺度参照：指令微调样本上均值方向只占 1.6% 的能量，长推理轨迹上这个数是 43.8%。

对大模型数据工作的影响：这条把「梯度匹配为什么在推理数据上失灵」讲成了可测的量——不是相似度算错了，是候选池自身的群体结构把目标信号盖住了。给做定向能力补数据的团队的直接提示是：换目标之前，先看一眼你选出来的子集在不同目标之间重叠多少；重叠率接近 1，说明选择器在响应的是池子而不是目标。1.6% 与 43.8% 这组对比还说明，从指令微调搬到长轨迹时，很多默认的梯度处理假设会整体失效。

相关链接：https://arxiv.org/abs/2610.24963、https://arxiv.org/html/2610.24963、https://github.com/CHLee0801/degmatch

四、Hidden Cartographer：标注预算和训练预算是两笔账

事件概述：领域适配的实际情况是——池子大且无标注，专家标注贵，全量微调也贵。Hidden Cartographer（HC）把这两笔预算分开处理：先花标注预算把大池子蒸馏成一个候选池，再花训练预算从候选池里剪出最终训练集。

技术细节：阶段一 Progressive Candidate Expansion 从 5% 的种子标注出发，用目标 LLM 的隐藏状态训练一个代理，预测每条样本的 confidence（C）与 variability（V）。5% 种子下 C/V 的 Pearson r 在医疗 0.79/0.68、法律 0.79/0.68、金融 0.83/0.55，种子从 1% 加到 5% 有明显增益，加到 30%–50% 只有边际改善，这个拐点决定了种子大小。代理打分后取 top-K 交专家标注，合并进池子重算训练 dynamics 并更新代理，迭代 5 轮。阶段二 Exact Cartography Pruning 在已标注的候选池上用目标 LLM 重算精确的 C 与 V，按 α=0.50、β=0.50、γ=0.20 打分，剪到最终预算。预算协议：医疗与金融 30% 候选池 → 15% 训练集，法律 20% → 10%。LLaMA-2-7B 上的结果：医疗 HC 51.54±0.16，随机 48.63±0.38，全量 53.10；法律 HC 44.65±0.60，随机 35.43±0.27，全量 34.20；金融 HC 77.86±0.66，随机 74.56±0.36，全量 58.64。消融里 PCE(15%) 一步到位选 15% 不如 HC，PCE(30%) 精度接近但训练数据翻倍。实验跑在单张 96GB 的 RTX PRO 6000 上，Qwen2-7B 上结论一致。

对大模型数据工作的影响：金融域那个数字值得单独拎出来——全量训练 58.64，比随机抽 15% 的 74.56 还低一大截。这说明「数据越多越好」在领域微调里根本不成立，池子里有相当比例的样本是净负担。两阶段拆分给工程流程的启示也很实际：代理预测只用来决定「请专家标哪一批」，最终选谁进训练集要用标注到位之后的精确 dynamics 再算一遍，两件事的精度要求不一样，不必也不该用同一个信号。

相关链接：https://arxiv.org/abs/2610.25215、https://arxiv.org/html/2610.25215

五、同一份数据，不同字节：数据集发布的序列化不变校验

事件概述：agent 之间交换数据集时，接收方要判断收到的内容与发布方的一致。问题是校验和是对字节算的，而 34 与 34.0、字面字符与 \u0061 转义这些等价写法会产出不同校验和——校验和不匹配，既可能是内容被改，也可能只是序列化方式变了。

技术细节：方法给出一组显式的等价规则：解析 JSON 后对字符串与对象成员名做 Unicode NFC 归一化，用 JCS（RFC 8785）序列化，再把输出重新解析一遍逐个数字比对精确十进制值，不一致就报 NUMBER_PRECISION_LOSS，最后对序列化字节取 SHA-256 作为标识。数字按精确十进制比较，0.1、0.10、1e-1 得到同一个标识，0.1 与 0.1001 不同；对象成员顺序不影响结果，数组顺序、类型、取值变了就算变了；处理不了的输入报 unsupported 或 invalid，不判为不一致。集成进 DataFacts 时，标识只从数据内容算，描述性元数据与访问设置排除在外，另附一个处理 profile 让验证方确认两边用了同一套流程。评测用 36 份 JSON 材料 × 三种场景（等价重编码 / 内容被改 / 参考不可达）× 六个模型（gpt-5.6-luna、terra、sol 与 claude-haiku-5-5、sonnet-5-5、opus-5-5）× 三次重复，跑在隔离 Docker 里走 A2A 通信。结果：等价重编码的接受率，普通工具 18.4%、校验和校验器 28.5%、本文配置 98.8%（分别 +80.4pp 与 +70.2pp）；内容被改时的证据支持拒绝率 65.9 / 93.8 / 97.4（+31.5pp 与 +3.5pp）；参考不可达时的证据支持弃权 99.2 / 99.5 / 99.5。分模型看，Claude Opus 在普通工具与校验和两个配置下的等价接受率都是 0.0%。

对大模型数据工作的影响：数据交付链上，「文件对不对」这件事目前大多靠 md5 或 sha256 兜底。这篇把兜底失效的日常场景量了出来：任何一个中间环节把数字从 64 写成 64.0，接收方的 agent 就会把一份完全正确的副本判成损坏。+80.4pp 这个幅度说明这不是边角问题，而是默认配置下几乎必错。对自建数据分发平台的团队，JCS + NFC + 精确十进制比对的组合可以照搬，成本只是多一次解析与重解；真正要补的是「两边用了同一套 profile」这个前提，否则标识不匹配只会换来另一种误判。

相关链接：https://arxiv.org/abs/2610.24916、https://arxiv.org/html/2610.24916