数据工程观察 · 2026年11月09日

引言

本期五条动态落在数据管线的五个环节：预训练配方（SLA 把异构机器人语料的整理规则做成可复用的模板）、评测抽样（BestRand 给基准压缩补上误差分布的理论账）、领域语料（CardioCCC 用机器翻译加标注投影扩张七语心脏病语料）、校准数据（英文校准集在 MoE 剪枝中抹掉立陶宛语能力）、训练数据合规（NVIB 在不重训的前提下压低记忆内容的抽取率）。五条指向同一件事：数据工程的账要算到下游指标上——成功率、误差尾部、F1、语言能力存留、抽取率，每一项都有可复现的数字。

SLA：空间对齐前移到持续预训练，异构机器人语料先统一再下采样

事件概述：香港科技大学（广州）联合 OLA Dimensions、北京智源人工智能研究院、清华大学发布 SLA（Spatial-Language-Action Model），把空间对齐从任务级适配前移到持续预训练阶段，在 π0.5 策略基础上做空间能力扩展。论文 v1 于 11 月 5 日提交，11 月 6 日登上 Hugging Face Papers 日榜（84 赞）。

技术细节：模型从预训练好的 π0.5 初始化，联合优化动作预测与中间视觉嵌入对齐（教师信号来自冻结的 3D 感知模型，有深度和相机标定的样本用全量几何，没有的退化为纯 RGB）。数据侧的整理规则值得单独看：六个公开机器人数据集——InternData-A1（630K 轨迹 / 7,430 小时）、AgiBotWorld-Beta（168K / 2,970）、RoboCasa365-Pretrain（630K / 2,090）、RoboCOIN（183K / 1,300）、DROID（95K / 510）、MolmoAct（7.9K / 30）——合计约 171 万条轨迹、14,330 小时示教，统一到一致的末端执行器表示与坐标系。冗余处理按任务下采样：InternData-A1 中轨迹高度重复的任务只保留 3% 的 episode，其余任务保留 10%，MimicGen 子集 5%、组合子集 15%。过滤器只留两指夹爪数据，剔掉灵巧手与带底盘运动的轨迹；训练中用概率性状态 dropout 切断”机器人状态-示教轨迹”之间的捷径。持续预训练在 48 张 H100 上耗时约 110 小时。八种真实部署条件下平均成功率 83.8%，比 π0.5 高 24.0 个百分点，且在每个条件下都是对比方法里最高的；RoboDojo-Real 三种本体联合适配的整体成功率为 33.9%，π0.5 只有 12.8%。

对大模型数据工作的影响：机器人数据团队真正可迁移的是这套整理手册，而不是模型本身——异构统一（末端执行器表示、坐标系）、按任务重复度定下采样比例、按本体形态定过滤规则，这三步在任何跨本体征集上都要重做一遍。状态 dropout 提示了一个数据视角的问题：示教轨迹里的本体状态会变成捷径特征，数据工程需要在训练配方层面主动打断。空间监督进预训练阶段意味着数据要求可以放宽（深度和标定变成可选输入），配比的自由度相应变大。

相关链接：

• 论文：https://arxiv.org/abs/2611.08373
• HF Papers 页面：https://huggingface.co/papers/2611.08373

BestRand：基准压缩的误差长尾有了近似解析解，随机抽样接近够用但不稳

事件概述：Bosch Research 与卡内基梅隆大学的论文《Random Is Almost Enough? Stable and Low-Cost Benchmark Compression via BestRand》给基准压缩（用小子集估计全基准得分）补了理论账，并给出稳定低成本的实现。论文 v1 于 10 月 31 日提交，11 月 6 日登上 HF Papers 日榜（50 赞），代码与数据开源。

技术细节：作者推导了从子集估计全基准得分的误差分布的解析近似，结论是大多数子集误差很小、少数子集误差极大，呈长尾分布。随机抽样以高概率表现不错，但会被罕见的大误差拖垮；这种不稳定是现代基础模型的固有属性，评测的模型数量增加也不消失。BestRand 保留随机抽样的低成本，同时削掉高误差尾部：在 70 多个文本、多模态、智能体基准以及 VLA 评测上验证，对比现有方法把高误差风险降低 50.2%、估计误差平均降低 16.4%，而构建成本只需 51.3%；在分数段、模型家族、时间三类分布漂移下，OOD 估计误差平均再降 21.8%。

对大模型数据工作的影响：评测管线的预算工程多了一份可操作的依据。日常评测用抽样子集跑分的团队，先检查的不是”子集选得聪明不聪明”，而是自己的子集落在误差分布的哪一段——长尾才是风险所在。BestRand 给出的默认选项成本只有竞争方法的一半，适合直接接进 CI 级别的评测流水线；70+ 基准的验证范围也覆盖了从纯文本到智能体的多数评测形态。

相关链接：

• 论文：https://arxiv.org/abs/2611.00883
• 代码与数据：https://github.com/George-Ling3/BestRand
• HF Papers 页面：https://huggingface.co/papers/2611.00883

CardioCCC 与 CardioLM：领域持续预训练把伪困惑度砍到八分之一，下游 F1 只动了 0.04

事件概述：一项面向心血管临床 NLP 的工作发布了两个配套产物：CardioCCC 语料（508 份心脏病病例报告，西班牙语原文加机器翻译扩张的捷克语、荷兰语、英语、意大利语、罗马尼亚语、瑞典语，共七种语言，标注覆盖疾病、症状、手术、用药四类实体）和 CardioLM 模型套件（按语言持续预训练的 CardioBERTa 编码器加在 CardioCCC 上微调的 CardioNER 识别模型）。论文 v1 于 11 月 5 日提交。

技术细节：语料扩张走”机器翻译 + 标注投影 + 临床医生复核”三步，属于低成本多语扩张的典型配方。结果侧的数字更有意思：心脏病领域持续预训练把伪困惑度最多压低到原来的八分之一，可严格跨度级 F1 的变化不超过 0.04——困惑度的收益没有传导到下游标注任务，收益集中在预训练底座本就缺少生物医学覆盖的语言上。联合训练的多语言 XLM-RoBERTa-large 在几乎每种语言、每类实体上拿到最好的严格 F1，比最强的单语系统最多高 0.13。残余错误大头是边界问题：放宽匹配能找回疾病、手术、症状 0.10–0.23 的 F1，但用药只找回 0.01–0.07。临床医生对 CardioNER 的评分（相对规则加词典基线）从 26% 升到 73%。

对大模型数据工作的影响：这份工作给”领域语料值多少钱”提供了一个干净的对照实验——伪困惑度是预训练配方的好指标，不是下游收益的先行指标，中间隔着标注质量、边界一致性、底座覆盖度三层。多语场景下，联合训练加一条部署路径胜过每种语言各自持续预训练，机器翻译加投影加人工复核的三步扩张适合预算有限的领域语料建设。用药实体边界找回量最低这一点提醒标注规范设计者：边界规则最严格的实体类型，恰恰是错误最集中的地方。

相关链接：

• 论文：https://arxiv.org/abs/2611.07940

英文校准集剪 MoE 专家，立陶宛语阅读理解掉了 21.4 分

事件概述：一项针对专家剪枝（expert pruning）的校准数据研究给出反直觉结论：高资源语言研究里”英文校准集迁移良好”的共识，在立陶宛语上不成立，而且代价极不对称。研究用 REAP 方法对四个 MoE 模型做 25% 与 50% 的专家剪除，分别用英文、立陶宛语、混合校准集，论文 v1 于 11 月 5 日提交。

技术细节：25% 剪枝时，英文校准让英文阅读理解中位数掉 1.7 分，立陶宛语掉 21.4 分。反过来用立陶宛语校准，立陶宛语的损失大部分消失，英文阅读理解从不降反升——比英文校准平均好 2.5 分，只有英文语言建模略微变差。路由分析给出解释：最后几层里，立陶宛语把 55–72% 的专家选择集中在仅仅 8 个专家上，英文只有 19–39%，英文校准恰好会删掉其中一部分。

对大模型数据工作的影响：校准集从来不只是剪枝工具参数，它是一次数据配比决策——选英文校准等于宣布其他语言的服务能力可弃。多语模型做任何压缩操作前，应先把每个服务语言的专家集中度审计一遍（这篇的路由分析方法可以直接搬），再决定校准集构成；评测同理，剪完的模型要在它必须服务的每种语言上单独验收。语言能力的损耗是静默的：英文指标全程几乎不动，没有任何告警会提示你一个小语种刚刚塌了。

相关链接：

• 论文：https://arxiv.org/abs/2611.07654

NVIB：给冻结模型加一层信息瓶颈，书籍段落抽取量降三成到九成七

事件概述：针对大模型记忆并复现版权训练数据的合规风险，一项工作提出不改动、不重训主干的缓解方案：在冻结的 LLM 主干与语言建模头之间插入一个非参数变分信息瓶颈（NVIB），压低记忆序列的抽取率。论文 v1 于 11 月 5 日提交。

技术细节：瓶颈层对 token 预测前的最终隐表示做压缩，目标是保住一般语言知识、滤掉高度特定的记忆序列。在 Llama-3.1-8B 上瓶颈层含 2.51 亿可训练参数（主干全部冻结）。书籍段落抽取实验里，Llama-3.1-8B 对四本书的可抽取序列数量：《动物农场》从 1,506 降到 106（插入普通 Transformer 层的对照为 502）、《魔戒现身》从 1,454 降到 48、《银河系搭车客指南》从 1,485 降到 351、《罪与罚》从 1,432 降到 957。下游能力方面，Qwen3-8B 加瓶颈后几乎无损（MMLU 49.7→49.5、GPQA 27.3→28.8、MuSR 40.9→42.5、IFEval 90.6→90.3），Llama-3.1-8B 付出更大代价（MMLU 64.0→59.8）。

对大模型数据工作的影响：存量模型的版权合规多了一个插拔式选项。对”已经训完、语料里混有版权暴露”的模型，重训或继续训练的代价高到不现实，后置瓶颈层把缓解成本压到加一个模块的量级，且架构无关、可按需摘除。这份工作的抽取评测协议（书籍段落加前缀提示、按抽取概率分桶计数）本身就是一份现成的合规回归测试集，数据团队可以直接搬进去，把”记忆内容可抽取率”变成训练管线上一个可监控的数字指标。

相关链接：

• 论文：https://arxiv.org/abs/2611.07669

结语

五条动态串起来是一条主线：数据工程的每一个决策点——配方怎么写、子集怎么抽、语料怎么扩、校准集怎么配、版权风险怎么解——都要在下游找一个可复现的指标对账。SLA 对到部署成功率，BestRand 对到误差尾部，CardioCCC 对到跨度级 F1，立陶宛语研究对到每语言能力存留，NVIB 对到抽取序列数。上游的中间指标（困惑度、校准集规模、子集覆盖率）好看，不等于账算平了。