数据论文速递 · 2026年11月06日

本期收录 5 篇数据侧新论文，来源为 arXiv 近三日提交与 Hugging Face 每日热榜扫描。一篇揭示微调数据里的元数据会变成模型依赖的暗号，一篇用塔吉克语适配证明文本损失降了不等于理解涨了，一篇把 SAE 特征用作小预算指令微调的数据画像，一篇在 ARC-AGI-2 上给出 9.6 万合成任务对 1,920 条真实记录的对账结果，还有一篇把第一视角人类视频扩到 5 万小时并测出对数线性标度律。五篇串起来看：数据价值评估正在从”量与分数”转向”行为与可迁移性”。

元数据暗号：全对的标签也挡不住模型走捷径

论文信息：Correct Labels Are Not Enough: Reliable Metadata Can Silently Control Model Behavior，arXiv:2611.04395，https://arxiv.org/abs/2611.04395，2026-11-03 提交，Renee Jia、Jinzhou Wu。

核心问题：微调数据常附带预测正确答案的元数据——奖励模型打分、质量标签、置信度注释。标签全部正确时，模型会不会放弃看题目本身，转而依赖这些注脚？

关键发现：作者设计了干净的控制实验：三个家族的 7-9B 开源模型，训练数据里的 (Reward: 5) 注释恒定标在正确选项上；测试时把注释挪到错误选项，模型在 CommonsenseQA 上以 97-100% 的比例跟着注释选错。删掉注释后答案大多仍正确——常规评测测不出这种依赖。暗号效应随训练时元数据可靠度的上升而增强，换成中性词甚至无意义词照样形成；Qwen3 实验显示 DPO 之后选项字母打分同样带暗号依赖。审计成本很低：把注释挪位或删除后重测，差距大即中招。

实践启示：奖励打分、质量分、难度标签这类数据管线标配元数据，混进训练文本就等于给模型修了一条暗道。质检环节应加”元数据扰动”一档，中招的数据需要剥离注释再进训练。

塔吉克语适配账本：每 token 损失降 1.45 nats，理解没动

论文信息：Adapting Qwen3 to Tajik from 0.6B to 8B: Lower Text Loss Did Not Mean Better Understanding，arXiv:2611.06062，https://arxiv.org/abs/2611.06062，2026-11-04 提交，Tohir Saidzoda 等 10 人。

核心问题：低资源语言适配上，LoRA 微调把困惑度压下去了，语言理解有没有真提升？文本损失能不能当验收指标？

关键发现：0.6B 到 8B 全尺寸的 LoRA 适配器在塔吉克语新闻与书籍上把每 token 损失降低 0.60-1.45 nats，Belebele 阅读理解却纹丝不动：1.7B 与 8B 持平，4B 掉 3.7 分，0.6B 的 +4.2 分伴随答案字母偏好漂移、分数接近随机线，不能算理解。换成 8B 上约 3.75 亿 token 的持续预训练，Belebele 升 9.9 分；再接一阶段 SFT，主模型 e3 比 Qwen3-8B 高 11.4 分，英文 MMLU 只动 -1.2 分。同一套重配方压到 Qwen3-0.6B-Base，损失接近 8B 水平，选择题仍在随机线附近，英文 MMLU 掉 7.6 分。论文公开 15 个训练模型与 5 个起点模型，并附失败清单：丢失训练记录、“思维链数据集里几乎没有推理”、后续分支的训练数据从未归档、4-bit 发布版不含任何 transformer 层。

实践启示：低资源语言的验收必须用下游理解任务，困惑度会给出成体系的假阳性；LoRA 降损失不等于学到语言，亿级 token 的持续预训练才是硬通货。这份失败清单本身就是高质量的数据工程文档，比成功曲线更有参考价值。

FtF：用 SAE 特征给指令微调数据画像

论文信息：Follow the Features: SAE Feature-Guided Data-Efficient Instruction-Tuning of Large Language Models，arXiv:2611.04085，https://arxiv.org/abs/2611.04085，2026-11-02 提交，Ryan Swift、Konstantinos Psounis。

核心问题：小预算指令微调里怎么选样本？逐条打分的方法难以回答”该保留原数据的哪些方面”。

关键发现：FtF 用稀疏自编码器特征给训练数据画像：数据集级激活统计给特征排序，按样本对高排序特征的表达度打分，特征重采样控制子集多样性。选数据的 LLM-SAE 组合与被微调模型解耦，一次画像可复用到多个目标模型。在 100 条样本、256 token 定长的预算下，两个模型-数据组合里 FtF 与 GRAPE、S2L 互有胜负；Qwen3 8B 配 Alpaca 上，选出的小子集比全量数据训练高 1.59 个百分点。

实践启示：SAE 特征把”数据像什么样”变成可计算的对象，选择器与目标模型解耦的设计降低了画像的摊销成本；百条级预算的场景值得直接上手对照。

ARC-AGI-2 训练数据对账：9.6 万合成任务输给 1,920 条真实记录

论文信息：Rules, Traces and Routing Statistics: Training and Calibration Data for Open Models on ARC-AGI-2，arXiv:2611.06827，https://arxiv.org/abs/2611.06827，2026-11-04 提交，Nguyen Minh Thang、Trinh Thi Phuong。

核心问题：给抽象推理基准做定向训练，合成数据到底值不值钱？什么样的准入标准能造出有用的合成任务？

关键发现：论文为 NVARC Qwen3-4B 构建了 1.2 万条类型化可执行规则与 9.6 万个任务，准入门槛全在行为层面：一条规则只有在探针集上的行为与所有已收录规则都不同才被收录，一个任务必须能反驳最邻近的竞争规则并击败 12 个捷径求解器。对账结果一边倒：1,920 条真实任务记录的持续微调把半私有集均分从 28.96 拉到 33.06（五轮均值，最佳 34.86），9.6 万个合成任务训出的所有检查点没有一个超过真实数据模型。Qwen3.8-27B 上只微调 1,036 条自身正确推理轨迹，配合推理侧工程（serving 引擎强制 thinking cap、每次作答后用 Python 程序核验），分数从 26.81 升到 44.03，大部分增益来自推理流程而非数据本身。

实践启示：合成任务的价值不在量——行为可区分性与反捷径两道准入，比数量重要两个数量级；模型自身的正确轨迹是性价比最高的一档数据；给数据管线做归因时，先把推理侧工程的功劳剥出去。

Open-HumanScale：5 万小时第一视角视频的标度律与全开源配方

论文信息：Open-HumanScale: An Open Recipe for Scaling Human and Robot Experience for Embodied Foundation Models，arXiv:2611.06817，https://arxiv.org/abs/2611.06817，2026-11-04 提交，Juncheng Ma 等 31 人。

核心问题：第一视角人类视频是机器人操作的廉价先验来源，但原始视频的”量”怎么转成策略的”泛化”，缺一条可复现的规模化路径。

关键发现：论文给出首个全开源配方：把第一视角预训练推到 5 万小时，配套 Open-HumanScale-50K 语料，稠密标注手部动作与自然语言。闭环仿真评测显示预训练小时数与下游机器人成功率呈对数线性关系。纯人类视频预训练的 HumanWAM-Vanilla 经机器人后训练，RoboTwin 2.0 Clean2Clean 成功率 92.08%、Clean2Random 68.88%；换成视觉目标条件的人机混合数据扩展（HumanWAM-Goal）后达到 92.70% 与 84.60%，物理机器人上还出现免参数更新的具身上下文学习。语料、数据治理与预训练管线、前后训练检查点全部开源。

实践启示：具身数据把量纲换成”小时”后照样有标度律可循，5 万小时落在对数线性收益区间；人类视频预训练加机器人后训练的两段式，是绕开真机采集成本的可复制路线；全开源配方让这条标度律可以被独立复核。

小结

五篇论文把”数据质量”拆成了三件可操作的事。标注层面，元数据是模型读得到的特征，质检要包含扰动审计。评估层面，损失与合成任务数量都会给出假阳性，行为层面的验收（下游理解任务、反捷径通过率）才是硬指标。规模层面，真实记录与准入质量的边际价值远高于合成数量，而量纲选对之后——token、小时、行为可区分性——标度律依然成立。