数据工程观察 · Vol.171

数据工程观察 · 2026年11月08日

本期聚焦数据资产管理：EEGDash 语料盘点、NLLB 八段清洗管线、重加权子群体账单、标签注册表漂移审计、LoRA 权重数据化

2026年11月8日数据工程训练数据数据清洗去重数据集发布数据配比许可合规 conformal prediction LoRA EEG 机器翻译公平性

本期五条动态围绕一条主线：训练数据正在被当作资产管理。有人把散落 77 个档案的公共语料盘成一份带许可标注、带哈希清单的训练就绪资产；有人把 45k 噪声平行句对精洗到 25k 并给出每一步的判据；有人给最老牌的数据重加权操作开出按子群体拆分的账单；有人量化了标签表增长对校准决策的静默改变；还有人把几十万个 LoRA 适配器本身变成一种可统计、可生成的数据模态。攒数据的阶段过去之后，数据工程的功夫花在盘点、增值、对账、审计和重估上。

EEGDash：把 77 个公开数据集盘成一份训练就绪语料

事件概述：加州大学圣迭戈分校团队发布 eegdash-corpus-v0，一个训练就绪的公共脑电（EEG）语料：77 个数据集、14,075 小时、7,272 名受试者、每 epoch 62.1 亿 token，以 gated Hugging Face 数据集形式发布，附带全部 44,801 个文件的 SHA-256 清单。论文被 IEEE BIBM 2026 的 MLESP 工作坊接收。

技术细节：出发点是一次许可盘点。已发表的最大 EEG 基础模型 REVE 声称在 89 个数据集上预训练，其中 12 个不可再分发——4 个临床档案占了其 61,415 小时中的 82%，另有 8 个小数据集带 no-derivatives 条款。团队从 REVE 论文点名的原始档案重建了 77 个可再分发数据集，统一走 REVE 的转换配方（通道名解析、0.5–99.5 Hz 带通、重采样 200 Hz），存成分块 Zarr store 的 632 个桶，一个桶只装一个数据集的一种通道组合，许可逐数据集写进桶属性：52 个 CC0、11 个 CC-BY、12 个 CC-BY-SA、1 个 GPL-3.0、1 个 CC-BY-NC，前 75 个宽松许可覆盖 98.7% 的小时数。原始文件 14.9 TB，压缩后 3.6 TB。验证环节是两个种子的 REVE-Base（69M 参数）从零重训：linear probe 0.331 对官方发布的 0.333，微调 0.273 对 0.325——用 23% 的小时数、按通道密度折算约 79% 的 token 数，逼近了官方效果。基准任务的全部源数据集按标识符在规划、转换、合并三处拒绝，杜绝评测污染。

对大模型数据工作的影响：这份语料工程把「语料资产盘点」的完整流程做了一遍样板：许可审计定边界、逐数据集许可标注、哈希清单保完整性、桶结构支持任意子集加载、标识符黑名单防污染，每个环节都能平移到 LLM 语料管线。它给出的另一个教训是口径问题：按小时数看公共语料只占 REVE 的 23%，按通道密度折算的 token 数却占约 79%——盘点资产时选哪把尺子，直接决定「可复现部分」看起来有多大。

NLLB 德英微调：45k 到 25k 的八段清洗管线

事件概述：印度 SVNIT 团队发表一篇小而完整的领域适配工作：从 OPUS Books 抽取德英平行语料，八段过滤把 45,000 原始句对精洗到 25,000 高质量句对，用 4GB 消费级 GPU 微调 NLLB-200-Distilled-600M，文学与技术翻译上取得 +3.4 BLEU、+2.6 chrF++、−3.2 TER 的显著提升。

技术细节：八段管线每段判据都写明：编码验证剔除约 2% 的非 UTF-8 与乱码对；长度过滤保留源目标均在 10–200 字符的对（挡掉标题、作者名和疑似错位的段落）；长度比过滤要求目标/源在 0.5 到 2.0 之间；语言识别用 langdetect 以 0.9 置信度确认语种；去重分两档，先哈希精确去重，再用 0.95 阈值的归一化 Levenshtein 距离做模糊去重，压掉文学语料里反复出现的版权页与章节标题样板；质量打分综合字符重叠率（惩罚未翻译内容）、异常字符标记和语言模型困惑度三个因子，剔除 P10 以下；最后按长度分层抽样切成 80/10/10。训练侧混合精度、梯度累积 32 步、梯度检查点，有效 batch 32，3 epoch 早停。数据与代码带 MD5 校验发布，微调模型接入开源文档翻译系统 LinguaHaru 做了格式保持的端到端部署。

对大模型数据工作的影响：25k 句对换来 3.4 BLEU，再次验证小语料路线的性价比来自清洗强度而非规模。这条管线最值得抄的是判据的显式化：每一段过滤的阈值、方向、理由都落在纸面上，模糊去重和质量打分的三因子构成可以直接当作小语料清洗的 checklist。双档去重（精确 + 模糊）对付样板文本的经验，对网页语料里的导航栏、页脚模板同样适用。

Reweighting is not Harmless：给数据重加权开一张按子群体拆分的账单

事件概述：一组研究者用 3,000 个受控模拟数据集系统检验 Kamiran-Calders 重加权——最广泛使用的公平性预处理手段之一——发现它带来的「公平性改善」有相当部分是一笔转移支付：压低一个群体的漏检，靠的是抬高另一个群体的漏检。

技术细节：重加权按「敏感属性与类别独立」的假设给每条数据算权重（期望概率除以观测概率）。模拟设计操纵两个数据特征：群体占比（少数 0.2 / 对等 / 多数）与相对事件率，事件率区间 7–14%，每条件 10,000 观测、70/30 切分、3,000 次重复、六种分类器从逻辑回归到多层感知机。当高基线群体是少数群体时代价最重：其阳性预测率从 12.6% 降到 11.1%（相对降 12%），假阴性率从 30.7% 升到 36.8%（+6.1 个百分点，每万名群体成员多漏 82 例）；FNR 组间差距缩减的 74% 来自这个受害组的 FNR 上升，对等组为 42%、多数组为 15%。模式在六种分类器上全部复现，少数组 FNR 升幅 3.9–6.2 个百分点、多数组 1.4–2.3 个百分点。最隐蔽的一点：总体准确率几乎不动，聚合指标完全看不见这笔转移。

对大模型数据工作的影响：重加权属于「改变样本权重」这个操作族——加权采样、损失加权、组重平衡都在其中，是数据配比工作里最常见的干预。这篇给出的方法论是操作账单：任何权重干预上线前，按子群体拆开算阳性率、FNR、FPR 的变化方向与幅度，只看总体指标和组间差会漏掉代价承担方。对训练数据里语言、领域、来源占比的再平衡，同一套审计逻辑直接适用。

相关链接：https://arxiv.org/abs/2611.07258

Coverage Hides Churn：标签注册表增长的静默漂移

事件概述：弗吉尼亚理工与埃森哲的研究者指出一个被普遍忽略的问题：视觉语言分类器的标签列表每加一个新标签，旧标签的 conformal 决策就会静默改变——图片没变、模型没变、旧校准数据没变，决策却变了。他们提出生命周期审计指标 churn 与修复方案 PrefixCP。

技术细节：常用的 softmax conformal 分数把每个标签的相似度与全体标签的平均值比较，加标签改变均值，连带改变每个旧标签的分数。重校准能保住覆盖率保证，但十一个设置中 53–90% 的新图片至少有一个旧决策翻转。覆盖率暴露不了这件事，因为它只检查真标签：五个受控设置（Food-101 与 Stanford Cars，冻结旧校准）里旧类覆盖率最多移动 0.01，却有 60–67% 的图片决策发生改变。PrefixCP 的做法是让每个类保留它加入时的标签注册表前缀，旧决策从此不变，类条件覆盖率在可交换性假设下精确成立，一次前缀扫描即可算出全部历史归一化器。稳定的代价是预测集合变大：相比「从不更新」，PrefixCP 拿回全量重校准与不更新之间 40.9–58.5% 的集合大小差距。实验覆盖五个数据集、两种编码器（CLIP ViT-B/16 与 SigLIP Base/16）、十一个设置。

对大模型数据工作的影响：标签表是数据资产里最常被「只增不改」的一类——商品类目、评测标签库、审核规则表都在持续生长。这篇把增量更新的外部性量化成可测指标：审计要看决策翻转率，不只看覆盖率。校准集的版本、标签表的每次变更、决策日志的存档，都该进入数据生命周期管理；对下游依赖预测集合做路由或人工复审的系统，一次加标签就是一次全员静默重判。

相关链接：https://arxiv.org/abs/2611.07502

Adapters as Data：把 LoRA 权重本身当数据模态

事件概述：圣加仑大学、蒙特利尔大学与 Weight Space Labs 的团队把约 65,000 个身份 LoRA 适配器当作数据来建模：用 transformer 自编码器把它们嵌入一个结构化潜空间，验证采样、编辑、扰动鲁棒性，并把表示扩展到混合 rank。

技术细节：适配器全部微调自同一个冻结底座（Realistic Vision v5.1，Stable Diffusion 1.5 系社区版），每个编码一张合成人脸身份，带 CelebA 二值属性标注，rank-1 数据集沿用 weights2weights 的发布集。方法是 SANE 式的：LoRA 矩阵按行切成定长 token 序列，GPT 式非因果 transformer 编解码器用掩码重建目标自监督训练，不用对比目标、不做属性条件。三个结论：其一，潜空间完整保留了权重空间已有的能力——采样新身份、沿拟合方向编辑单属性；其二，抗位移能力强得多，权重空间直接扰动会崩成纹理，潜空间只是退化成扭曲但仍有效的脸，且反复编解码稳定；其三，用边界保持的稀疏 tokenizer 加 padding 掩码，一个自编码器能装下 rank-1 与 rank-2 两种适配器，token 位置在两种 rank 下指向网络同一位置。对照组设计值得注意：每个操作都在原始权重空间上直接跑一遍，绕过自编码器，确保发现的结构来自表示而非适配器群体本身。

对大模型数据工作的影响：公共仓库里的 LoRA 适配器以十万计，今天的待遇是各自独立的成品工件。这条研究线把它们变成一种资产：潜空间采样对应合成新适配器，属性编辑对应可控的权重改写，混合 rank 是异构权重资产化的第一步。对数据工程的意义在于边界的移动——当「数据」的定义从样本、标注扩展到训练产物本身，去重（同一身份的近重复适配器）、质量评估、生成新权重这些经典工序会以新形态回来。

五条放在一起看，重心已经清楚：语料要盘家底（EEGDash 的许可审计与哈希清单），清洗要留判据（NLLB 的八段管线），操作要对账（Reweighting 的子群体账单），资产要审计（Churn 的决策翻转率），连权重本身也在进入数据资产的定义域（Adapters as Data）。攒数据的竞赛告一段落，接下来的功夫都在管账上。