数据工程观察 · 2026年11月03日
SciGraphSelect 用知识—推理图给科学语料选材附上可审计证据；NormDetect 把机器生成文本检测校准到 0.1% 误报率；OLMo 2 投币实验给出训练暴露的定量答案；塔吉克语适配逐项记下持续预训练的代价账；TOME-Math 从 2118 本教材榨出结构化证明监督。
本期五条动态全部出自 11 月 2 日公布的 arXiv 新批次（论文 v1 提交于 10 月 29 日至 30 日），主线是「证据」二字：数据选择给出可审计的取舍理由，语料清洗给出可控的误报边界，训练数据暴露拿到受控实验的定量答案，小语种适配算清了持续预训练的代价账，教材语料则把「结构」本身做成可规模化的监督信号。其余信源（Hugging Face、Databricks、Anyscale、The New Stack、GitHub Trending、机器之心、量子位）近两日无训练数据方向的新条目，本批全部带数字。
SciGraphSelect：让科学语料选材给出「为什么留它」的证据
事件概述：KT 公司团队发布 SciGraphSelect，一个以参考文献为锚、可审计的科学数据选择框架，论文投 AI4Science workshop。
技术细节：框架先把领域知识、可复用推理操作、文献中验证过的关系组织成带类型的知识—推理图，再按概念覆盖、关系与路径共持、方向对齐三个维度给候选文档打分。设计上刻意不对称：参考侧保留丰富的关系结构，候选侧不做关系蕴含假设，避免过度解读文档向量。在异质难负例与 15.1M 篇 PeS2o 论文池上评测，最终的方向感知选择在化学领域 PeS2o 上 P@1% 达 0.9635（embedding 相似度为 0.8229），生物领域难负例 P@1% 从 0.2519 提到 0.6701。消融显示方向对齐单独作为排序准则表现很差，与结构感知分数结合才起作用——方向证据是过滤器不是排序器。每条选择附带可人工核验的理由。
对大模型数据工作的影响：相关性打分选语料是黑箱，出错无从回溯。这个框架把「为什么留这篇」变成图上可查的证据链，对科研语料与受监管行业的语料建设是合规化选择的可行路径。代价是参考图构建需要前期投入，论文只验证了化学、生物两个领域。
相关链接：
NormDetect：把机器生成文本检测校准到 0.1% 误报率
事件概述：一篇面向内容平台审核场景的论文提出 NormDetect，在 RAID 基准八个板块、十一种攻击下，把 0.1% 校准误报率下的机器文召回率较归一化 Binoculars 提高 5 个百分点。
技术细节：零样本检测器（Binoculars 一类）用冻结模型给文本打分，同形字等不可见编辑会打碎分词、把机器文推进人类区间——原始 Binoculars 在被攻击文本上召回掉到 3.06%，Unicode 归一化恢复到 59.18%，但归一化后的分数在严格误报率下仍漏掉约一半机器文。NormDetect 给每个板块训练一个学习头并锚定在归一化零样本分数上：混合权重在人类误报上限内于训练折上选取，阈值只在人类文本上校准。最终人类误报率在每个板块不超过 1%，同一界内没有其他检测器召回更高。
对大模型数据工作的影响：Web 语料里 LLM 生成文本的占比在涨，预训练数据管线迟早要装这道过滤器。这篇的关键贡献是把「低误报」从口号变成校准程序——误杀人类文本的代价（多样性损失）与漏放机器文本的代价（模型自噬风险）要分开定价，按板块校准的思路可以直接搬进清洗管线。
相关链接：
OLMo 2 受控实验：单次曝光改变似然，却几乎指认不了单篇文档
事件概述：一组研究者重跑 OLMo 2 1B 官方 50B token 中训练阶段，用 7,814 对按领域和难度匹配的文档做投币实验，给「模型是否见过某文档」交出了迄今最干净的定量答案。
技术细节：每对文档由抛硬币决定哪篇进训练、哪篇留出，AI2 发布的同种子运行充当反事实参照。结论分三层：单次曝光平均会抬高未见文档的似然，单篇指认却很弱——参照比值 AUC 0.767，跨领域统一阈值下 1% 误报率只抓住 3.8% 的成员；集合层面可行，13 对匹配文档的配对检验在 5% 水平有 80% 功效；换一颗种子训练的参照模型能恢复反事实 AUC 优势的 92%，无参照攻击跨领域合并后离随机水平不超过 0.07。完整走完官方 SFT、DPO、两阶段 RLVR 后训练配方，曝光证据依然存在——后训练抹不掉。
对大模型数据工作的影响：版权与基准污染争议里，「检测出训练过某文档」的单篇断言从统计上站不住，站得住的是集合级指控——这对合规应诉与污染审计的证据设计是直接指引。数据侧的推论：构建「干净参照模型」（同种子或近种子重训）比调参攻击统计量收益大得多，无参照的检测方法在跨领域场景基本无效。
相关链接：
Saidzoda-Tajik-LFM-2.6B：持续预训练拿走的东西，SFT 要一样样还回去
事件概述：独立开发者发布塔吉克语工具调用模型 Saidzoda-Tajik-LFM-2.6B（基于 LFM2.5-2.6B-Base），价值不在分数，在于把 LoRA 持续预训练的破坏性逐项记账。
技术细节：配方分两阶段——149 万篇清洗后的塔吉克语文档（清洗前 161.5 万篇、24.3 亿 token）LoRA CPT 三个 epoch，再在 176,565 行 SFT 混合上训一个 epoch，混合配比 40% 机翻塔吉克工具调用（70,626 行）、35% 英文工具调用回放（61,798 行）、25% 塔吉克指令（44,141 行）。BFCL v3 改编的 174 题测试上，严格全调用准确率从基座 20.69 升到 64.14（配对差 +43.45，95% 区间 35.2 至 51.7），英文不掉（76.55 对 77.24）。代价清单同样硬：每个 CPT 检查点在工具调用上都是零分——CPT 抹掉了基座原生的调用格式与部分技能，全靠 SFT 重建；英文 MMLU 从 60.8 掉到 52.5；无工具可用时几乎不会拒答（6.9% 对基座 31.0%）。
对大模型数据工作的影响：小语种适配的通行剧本是「母语语料 CPT + 指令 SFT」，这篇把剧本里不写的部分写了出来：领域内 CPT 会先摧毁指令跟随与工具调用格式，英文回放数据不是可选项而是止损必需品。做垂直域 CPT 的团队可以直接对照这份账本设计回放配比。
相关链接：
TOME-Math：2118 本教材转 38 万条证明监督，结构本身值 16.7 个百分点
事件概述：TOME-Math 把 2,118 本大学数学教材转成约 38 万条结构化证明监督记录，保留章节顺序、命题—证明链接、依赖引用与出处，语料将开放发布。
技术细节：与主流「孤立题目—解答对」的摊平做法不同，每条记录携带课程阶段、结构难度、概念数、前置深度等元数据。前置关系数与推理步数的相关系数为 0.633，高于概念数的 0.522——依赖深度是推理链长度的主要驱动。全量微调后，六个评测的未加权平均分从基座 29.17% 提到 45.83%（+16.66pp），在与体量相当的 OpenMath1（182 万条例子）的六项对比中全部占优，说明收益来自来源与组织形式而非规模。结构还能免训使用：基于章节结构的证据检索在冻结的 Qwen3-30B-A3B-Base 上直接提升解题表现。
对大模型数据工作的影响：数学监督数据的竞争已经从「多少对」转向「怎么组织」。教材天然携带的前置依赖图是免费的结构信号，转化管线一次投入、语料与检索两头受益。对合成数据派是条对照路径：先榨干源材料的结构，再谈生成。
相关链接：
五条连起来看：选择要留证据、清洗要控误报、暴露要能验证、适配要算代价、组织要榨结构。数据工程的每一步，都在从「凭经验」走向「留记录」。