数据论文速递 · 2026年10月23日

本期五篇都落在同一个问题上：给模型喂什么、按什么顺序喂、喂之前怎么判好坏。第一篇把「质量」拆成可判定的 rubric，让同一份清单一边做过滤、一边当奖励；第二篇沿语言、文字、容量三轴做多语言预训练扩展，给出收益是局部的证据；第三篇处理廉价标注下的样本估值，指出搬运清洗工具会踩到标签语义错配；第四篇用受控实验去证伪一条被当成默认的预训练惯例；第五篇把数据排序本身当成杠杆，并测出它的饱和上限。

PrismaCoder：一份 rubric 管住数据合成与过滤

论文信息：PrismaCoder: Pushing the Boundaries of Open Multimodal Code Intelligence through Decomposed Rubric Synthesis，arXiv:2610.20538（17 位作者，2026-10-14），https://arxiv.org/abs/2610.20538

核心问题：多模态代码智能要求模型从文字描述或截图生成图表、网页、动画这类可执行产物。开源侧的差距不只在数据量，更在质量：一个样本得在三件事上都过关：程序正确、结构良好、渲染出来视觉上说得通。现有信号没有一个能覆盖这三点——执行只给通过或不通过，代码相似度对不上视觉输出，任务专用验证器又无法泛化。

关键发现：作者从数据侧切入，提出 PrismaForge 分层流水线，核心是一份合成出来的 rubric：把质量拆成可逐条检查的判据。同一份 rubric 兼作过滤器与奖励——先筛监督语料，再驱动视觉编码任务上的强化学习。基于这条流水线造出 PrismaCoder-2M（作者称为同类里最多样、规模最大的开放数据集），并训练发布 9B 与 35B 两个模型，开源结果大幅领先，并逼近头部闭源系统。跨主干的分析显示 rubric 流水线的收益不依赖特定底座。

实践启示：把「质量」显式拆成可判定维度，再让这份清单一头挑过滤、一头挑奖励，比另训一个打分器更划算——过滤与 RL 用同一套判据，避免两套标准互相打架。做含渲染、含执行结果的数据时，值得把「渲染后视觉是否对」从人工抽查改成 rubric 里的自动判据。

多语言像素语言模型的预训练扩展是局部的

论文信息：Scaling Multilingual Pretraining of Pixel Language Models，arXiv:2610.29681（4 位作者，2026-10-21），https://arxiv.org/abs/2610.29681

核心问题：像素语言模型把文本当渲染图像来处理，绕开固定词表，跨语言迁移能力强。但规模更大的预训练会怎样影响这些能力，此前缺少系统证据。

关键发现：作者在每语言算力固定的前提下，沿语言数、文字种类、模型容量三轴训了一族 MPIXEL 模型，在覆盖 83 种语言的 5 个任务上评估。结果是扩展只作用于局部：每根轴抬升的是被加进来的那些语言和文字；加大容量能缓解加语言带来的多语言诅咒。对未见文字的迁移会随着多语言预训练变好，但继续堆规模不再加分。在类型学距离远、资源少的语言上，模型跨多种书写系统胜过 subword 与字符级基线。还有两个观察：更大的像素模型把更多层留给视觉处理；语言加多之后，跨语言对齐反而变弱。

实践启示：多语言语料扩容的收益是局部的，加语言主要利好被加的那些语言，指望「多加点语言顺带抬升全部语言」不成立。扩语料时得同步抬容量，否则多语言诅咒会吃掉扩容收益；跨语言对齐变弱这一点提示扩容之后要重新检查对齐类指标，不能只看平均分。

CAVA：互补标签下的样本估值会在低噪声区反向

论文信息：CAVA: Complementary-Label-Aware Data Valuation，arXiv:2610.26734（3 位作者，2026-10-19），https://arxiv.org/abs/2610.26734

核心问题：互补标签学习用「这个样本不属于哪一类」的标签训练，众包与视觉语言模型都能廉价产出，适合大规模标注。两个来源都会把真实类别错写成互补标签，而这类错误在互补标签学习里格外致命——模型被显式训练去压制正确答案。最优传输数据估值通过与干净验证集比对找出有害样本，但直接搬过来会出现语义错配：标签 c 在训练集里表示「不是 c 类」，在验证集里表示「是 c 类」。

关键发现：这个错配让最优传输的标签组变成噪声混合，行为随噪声率变化——噪声足够高时分数才有信息，到 M 类对应的交叉率 1/M 处退化为无信息，再往下方向直接反转，而实际互补标注恰恰工作在反转区。CAVA 引入互补标签代价与标签间隔，把每个互补标签对传输势的贡献隔离出来：间隔在各噪声率下保持方向一致，用无参数的闭式精度阈值检出对角噪声，被检出的样本还能回收成普通标签监督。在合成与人工标注基准上，CAVA 几乎完美分离对角噪声，直接搬用的最优传输估值表现比随机还差；只用一小部分干净验证数据，就改进了所有被评测的互补标签学习目标。

实践启示：把估值或清洗工具从一种标注协议搬到另一种时，先核对标签语义是否一致，别只盯分数排序。用众包或视觉语言模型批量产出廉价标签的团队，清洗效果要按噪声率分段看——低于 1/M 时工具会反向误删好样本；被检出的样本也不必一律丢弃，回收成普通监督是更省的做法。

文生图不需要先做互联网规模的语言预训练

论文信息：Text-to-Image Generative Modeling Without Language Pretraining，arXiv:2610.26863（8 位作者，2026-10-19），https://arxiv.org/abs/2610.26863

核心问题：现代文生图系统普遍依赖互联网规模的语言预训练来完成文本条件下的图像生成。这条前置步骤是不是必需品，此前没有被直接问过。

关键发现：作者提出 Halcyon，一族早期融合多模态自回归模型，完全从零在 GPIC（1 亿图文对）上预训练。Halcyon-0.52B 用 18.2 倍更少的预训练算力超过 LlamaGen-XL/8（gFD 48.0 对 63.3）；Halcyon-1.6B 用 275 倍更少的预训练算力超过 JiT-T2I-XXL/8++（35.3 对 41.0）。受控实验给出的结论是：纯文本预训练并不改善文生图生成。把 caption dropout 换成图像到文本的监督，模型还顺带学会图像描述，在相同预训练预算下保持有竞争力的生成质量。

实践启示：多模态预训练配比里「先做大规模纯文本预训练」不是默认正确项，值得用受控实验去证伪，而不是沿惯例保留。图文对里的图像到文本方向本来就在数据里，改成显式监督能在不加预算的前提下换到额外能力，属于低成本的配比调整。

课程学习能把长程隐式推理推深，但有饱和上限

论文信息：Curriculum Learning Teaches LLMs Long-Horizon Implicit Reasoning, Up To A Limit，arXiv:2610.25612（4 位作者，2026-10-19），https://arxiv.org/abs/2610.25612

核心问题：大语言模型靠把中间步骤外化成 token 来推理，前沿推理模型在长程任务上仍会出现突然的性能崩塌。隐式推理指单次前向内完成的推理，它能让模型在生成思维链时向前搜索，再决定下一步走哪；隐式推理弱的模型更容易走错路，只能靠回溯补救。已有工作显示大语言模型的隐式推理深度很浅，且堆规模帮不上忙。

关键发现：作者用「词表规模」与「前瞻步数」（模型需要向前搜索多少步才能确定正确的下一步）两个维度渐进递增的样本做微调。同等算力下，课程训练到达了无课程训练完全失败的前瞻深度：Qwen3-0.6B 在有课程时于前瞻至多 256 的问题上拿到 98% 准确率，无课程时是 45%。推进过程中进步持续放缓，呈饱和指数形态，暗示存在一个模型能学会隐式推理的最大内禀前瞻步数。更大模型的拟合上限更高；微调预训练模型远快于从零训练；课程步长过大会卡住进度。合成数据上获得的能力迁移到了自然语言推理，同等算力下课程训练的模型在 11 个自然语言推理基准上胜过无课程训练。

实践启示：数据顺序本身就是杠杆。按可控的难度维度递进编排，能推出规模堆不上去的能力；收益有饱和上限，课程步长也不能开太大。先在可控合成集上试配方、测出拟合上限，再回迁到自然语言任务，是更稳的做法。