数据工程观察 · 2026年10月20日

本期五条动态都卡在同一个位置：一批训练数据在进入优化器之前，由谁给出「留下还是丢掉」的判断。轨迹筛选的规则不再由人手写，改由成对偏好驱动的可执行评分器自己迭代；agent 轨迹的标注单位从一整条轨迹下沉到单个步骤；125 万条带众包标签的新闻评论被用来检查 LLM 标注者会不会凭空造出人类数据里没有的规律；「该建模谁的意见」被拆成两个可以估系数的变量；合成医疗记录则在能力—隐私坐标轴上给出了实测坐标。五条合起来说的是同一件事——给数据定标准的那把尺子，本身也要能被审计。

一、MetaCurate：轨迹筛选规则自己长出来

事件概述：智能体轨迹做监督微调时，挑哪些样本进训练集通常靠人写规则加定性判断。这类规则的设计需要大量专家经验，而验证一次改动又要重新训一遍模型。MetaCurate 给出一个不训练模型的替代方案：用成对 LLM 偏好作为监督信号，让筛选器自己在搜索中迭代。

技术细节：一个筛选器由三个文件组成——rules.py 写确定性规则，rubric.md 写交给 LLM 评判的准则，policy.py 写分数聚合方式。搜索时 proposer 改写当前筛选器并提交候选，solver 把候选应用到轨迹池给出逐条打分，排序与评委偏好最一致的候选被保留。成对比较只发生在搜索阶段，收敛后的筛选器可以独立给轨迹打分，这一步能规模化复用。评委对每一对轨迹按两种呈现顺序各判一次，只保留顺序翻转后仍然一致的偏好。

成本对比是这篇最硬的一处：靠训练反馈来迭代（CurateEvo 一类做法）只评估了 3 个候选，花掉 110.2 B200 卡时，约 659 美元；MetaCurate 在同一张对比图里评估了 45 个候选，成本是前者的三分之一左右。效果方面，1000 条轨迹预算下，Qwen3.5 9B 在 DSv4Pro 上拿到 64.0%、Nemotron v3 上 56.5%，CurateEvo 分别是 62.7% 和 53.6%，全量池 63.1%/54.0%，随机 61.7%/52.9%，按是否解决筛选 61.9%/54.4%。从空白种子出发（只有一条通用准则）的结果反而好过人工写的六条准则种子（64.0% 对 63.3%，56.5% 对 54.7%），两者的选择一致性分别收敛到 0.912（12 轮）和 0.916（20 轮）。同一个筛选器选出的子集直接拿去训 Qwen3.5 27B，不重跑搜索，解决率 74.3%，高于基模 72.3%、随机 72.7%、按解决筛选 73.3%。预算压到 200 条时仍然是 60.3% 领先。

对大模型数据工作的影响：数据筛选这件事长期被当成人写 prompt 的手艺活，验证成本把迭代次数压到个位数。把反馈信号从「训完看分」换成「成对偏好」，迭代次数提上去、单次成本降下来，筛选策略就变成了一个可以搜索、可以版本化、可以跨模型规模复用的工件。论文里那个空白种子胜过人工种子的结果，对依赖专家经验的清洗流程是个直接的反例。

相关链接：https://arxiv.org/abs/2610.23134 、https://arxiv.org/html/2610.23134 、https://github.com/furiosa-ai/MetaCurate

二、Annotrace：把标注单位从「一条轨迹」拆到「一步」

事件概述：研究智能体为什么失败，第一步都是人工标注轨迹，而每个团队都在造一次性工具。可观测平台记录轨迹但不提供结构化标注，通用标注工具又没有「步骤」「委派」「工具调用」的概念。Annotrace 给出一个专门的工位：读入六种轨迹格式，把每次运行转成有序、可嵌套的步骤列表。

技术细节：适配器覆盖 OpenTelemetry GenAI（invoke_agent / chat / execute_tool）、LangSmith（chain / llm / tool / retriever）、Langfuse（agent / generation / tool / span）、纯聊天消息、Who&When、Coordinator（decision / reply / cycle / output），前三者支持嵌套步骤，问题可以限定在自己关心的步骤类型上。标注体系被组织成「问题」而不是标签集：每个问题带提示语、用户手写的标签、适用的步骤类型，还能加前置条件——比如只在严重性判为 Critical 时才追问「哪一步出了错」。系统内置的三套 schema 只是样例，可以删掉。

模型在环里出现两次，两次都被问和人完全相同的问题：读十条随机采样的运行，提出一套初始 schema（至多三个问题、每个至多四个标签，附带判定细则），然后回答一条轨迹。每条答案都记录是人还是模型给的，模型的建议不会覆盖人的判断，人一改就变成标注者自己的答案。可选模型有 46 个，便宜的起草、贵的复核。一致性按问题逐条比较，报原始一致率、Cohen’s κ 和具体分歧的步骤——作者报 κ 是因为原始一致率会被不均衡的 schema 抬高。

证据部分有两处可核对的数字：在一个 40 条运行的多智能体语料上，Coordinator 适配器在 40 条全部运行上完整复现了此前人工标注工作的 235 个 Thinking-Action-Response 单元键；两个模型标注同样六条运行，在 22 个答案上一致率 91%，κ = 0.82。schema 提议约四秒，标注一条运行三到五秒，单次调用成本不到一美分。

对大模型数据工作的影响：轨迹数据要进训练集，先得有可靠的失败归因，而归因的粒度决定了后面能做什么样的筛选。把最小标注单位定义清楚、并让标注者与模型在同一套问题上对齐，等于给「这条轨迹哪一步有问题」提供了一个可复现的口径。κ = 0.82 这个数字也提醒一件事：模型代标注能省人力，但一致率的门限得自己定，不能默认模型之间的一致就等于模型与人一致。

相关链接：https://arxiv.org/abs/2610.23284 、https://arxiv.org/html/2610.23284

三、「你」不是脏话：LLM 标注者会凭空造出一条规律

事件概述：网络社区关于毒性对话的一批结论——比如线程越深毒性越高——多数是用 Google 的 Perspective API 测出来的，而这个 API 正在关停，下一代测量会交给 LLM。这篇论文在 125 万条带众包标签的新闻评论上检查了这件事，结果是 LLM 标注者把第二人称称呼误判成毒性，单靠这一个偏差就造出了人类标签里不存在的「升级规律」。

技术细节：实验比较七个 LLM 标注者和 14 组分类器设置，金标是每条评论众包标注者的多数投票，语料除 Civil Comments 的 125 万条外另有五个。金标下毒性随回复深度是轻微下降的，每级 −0.12 个百分点；Claude Haiku 5.5 在自己的切点上是 +0.93，Sonnet 5.5 是 +1.37。驱动这个假上升的是第二人称：Haiku 对不含「you」的非毒性评论标 12%，对含四个及以上第二人称词的标 51%，而单个众包标注者分别是 6% 和 10%。只改代词、把「you」改写成第三人称，能消掉三分之二的假上升，在线程内则全部消掉。给模型看父评论也没用，Haiku 在回复中的假上升反而从 +1.29 涨到 +1.59。

作者把标注者对规律的扭曲拆成三项：结构化假阳性、结构化真阳性、非结构化误差。Claude 两个模型的升级扭曲里有 81%–94% 来自结构化假阳性，Haiku 假上升的 90% 也来自这一项。Haiku 的线程规模规律是金标的 12.7 倍。

更值得警惕的是协议层面的结论：一致率高不等于规律对。命题 2 给出，在金标标记率下一个 κ = 0.9 的标注者仍可能报出 −1.30 到 +1.65 之间的任意深度规律；5% 抽样上 Haiku-100 与金标的 κ 是 0.31、Gemma 是 0.26，前者报 +0.23、后者报 −0.22，而金标是 −0.16。用教科书式的误差率校正反而把 Haiku 的上升律放大到 +2.02。作者的应对是改成「认证规律而不是认证标注者」，参照风险限制审计的思路做 Threadsafe：按已知采样概率抽金标，估计人类标签下的规律并给出 95% 置信区间。250 条金标起区间覆盖率达标，同为无偏的 PPI++ 在某些组合下只覆盖 55%、DSL 覆盖 79%；区间宽度是 DSL 的 0.75 倍、主动推断的 0.81 倍；1000 条金标就足以排除 Haiku 的上升律。在 1 万到 10 万条评论的样本上，Haiku 关于「升级是否显著」的判定与金标在 70%–100% 的样本中不一致。

对大模型数据工作的影响：用 LLM 当标注者已经是数据生产的默认配置，而这篇给出的是一个具体的失效模型：偏差只要和数据本身的结构相关，就不只是抬高错误率，而是会造出方向相反的结论。对做数据质量评估的团队，可操作的动作有两个——把「一致率达标」从验收标准降级为参考指标；对任何由模型标签算出的分布规律，用少量人工金标做一次规律级认证，而不是靠标注者级别的指标背书。

相关链接：https://arxiv.org/abs/2610.23446 、https://arxiv.org/pdf/2610.23446 、https://github.com/liyu2195/you-is-not-toxic

四、少数派标注者：模型到底在替谁说话

事件概述：视角主义 NLP 主张保留每个标注者的独立判断，不去合并成一个金标。问题是这类模型的表现对谁更好。这篇工作把「标注者的个体差异」拆成两个变量——与其他人的分歧程度、标注条数——分别估系数，并顺手整理了一个规模领先的视角主义序数标注数据集集合。

技术细节：集合共 16 个数据集族，其中 12 个已收录在 AHLV 仓库；此前规模最大的同类专集是 TID-8，本工作纳入了其中的 4 个。算法侧分 6 个族。回归用加权最小二乘，权重是留出测试标注数除以该算法族内的算法数，标准误按数据集聚类，并对两个假设做 Holm 校正。

结果是分裂的。分歧度系数 β_D = 0.025，95% 区间 [0.016, 0.033]，单侧 p = 1.9e-8（Holm 校正后 3.8e-8）——标注者与同数据集其他人每多一个标准差的分歧，算法在该标注者上的归一化均方误差平均高出 0.02 以上，也就是超过标注值域平方的 2%。稀疏度系数 β_S = 0.001，区间 [−0.001, 0.003]，p = 0.158，不构成显著证据。按数据集族做 10000 次块自助抽样后，β_D 中位数 0.0248、区间 [0.0123, 0.0396]，系数为正的比例是 1.0000；β_S 中位数 0.0009、区间 [−0.0028, 0.0054]，正比例 0.6554。对 6 个算法族做留一族重估，结论不变。

对大模型数据工作的影响：「给这个标注者多收集一些数据」和「这个标注者的意见本来就难学」是两种不同的问题，成本上也完全不同。这篇的系数说明，资源应该花在降低分歧上（细化标注指引、拆分主观维度、识别标注者子群），而不是均匀地把每个人的标注量堆上去。对用众包数据做偏好对齐或主观打分评测的团队，这个结论可以直接换算成标注预算的分配规则。

相关链接：https://arxiv.org/abs/2610.22567 、https://arxiv.org/html/2610.22567

五、合成医疗数据：隐私与能力账目实测

事件概述：在敏感数据上训练语言模型，能力与隐私怎么权衡，过去缺一个同口径的对照。这篇用带 canary 的合成医疗记录做了控制实验，比较数据层与训练层两类干预。

技术细节：语料为 5000 条非 canary 记录，外加 100 条格式一致、长度相近的 canary，每条植入一个自造药物名作为秘密，按 ×1、×4、×16、×32、×64 五种重复度分成五组各 20 条插入，训练集共 7340 条。泄漏用 Secret-Sharer 暴露度衡量：把植入的药物名与 6300 个未植入备选按给定前缀的条件似然排名，取 log2(6301/rank)，上限 12.62 bits，随机排名的期望约 1.44 bits。

在两个目标模型（Qwen3.5-4B-Base、gpt-oss-20b）上：不微调 1.49 / 1.39 bits，Rank 1 均为 0%；直接微调 12.22（86%）/ 10.98（73%）；Goldfish（k = 4）10.38（53%）/ 8.90（37%）；DP-SGD（ε = 8，δ = 1e-5，Poisson 采样，期望批大小 512）1.74（0%）/ 1.56（0%）；PII 脱敏 12.16（87%）/ 10.76（68%）；GPT-5.5 改写 6.86（12%）/ 4.46（4%）；GPT-5.5 隐私感知改写 2.21（5%）/ 1.71（1%）；Qwen3.5-4B 改写 7.85（30%）/ 4.91（7%）；其隐私感知改写 6.94（24%）/ 4.03（6%）。

两处值得记：PII 脱敏几乎没用，暴露度与直接微调持平甚至略差，作者给的解释是标准化占位符降低了表层形式的变化，剩下的内容反而更好学；DP-SGD 把泄漏压到接近未训练的水平，代价是能力排序明显下移。隐私感知改写（提示里要求把足以识别单个患者的罕见细节替换成合理的虚构值、保留常见临床信息）在两个目标模型上的隐私与能力排序都优于普通改写。改写模型越强，下游泄漏越低，但留出集拟合并不单调上升，增加测试时算力带来的增益也不稳定。所有改写类方法都要先把每条记录过一遍生成模型，这笔预处理开销得算进总成本。

对大模型数据工作的影响：把敏感语料「洗一遍再训」是常见动作，这篇给出了洗法之间的量化差距：纯脱敏基本无效，简单改写能把暴露度从 12 bits 量级压到 4–8 bits，加一层「唯一性感知」的指令可以再降到 2 bits 量级，接近 DP-SGD 的水平而能力损失小得多。对要做数据合成流水线的团队，结论是可执行的——改写提示里加一句针对罕见唯一细节的替换指令，收益大于换更强的改写模型或堆测试时算力。

相关链接：https://arxiv.org/abs/2610.22659 、https://arxiv.org/html/2610.22659