章节导航 第 17 章 / 共 30 章
后训练数据来源
指令数据、偏好数据、推理数据的来源渠道与采集方式。
预训练数据靠”挖”，后训练数据靠”养”。
四大来源各有死穴：人工贵、开源杂、合成偏、日志脏。
17.1 四大来源全景对比
后训练数据有四大来源，各自的成本、质量、规模、适用阶段截然不同：
| 来源 | 单条成本 | 单条质量 | 规模上限 | 适用阶段 | 主要风险 |
|---|---|---|---|---|---|
| 人工标注 | 5-50 美元 | 极高 | 1 万-10 万 | SFT/偏好 | 成本爆炸 |
| 开源数据池 | ≈ 0 美元 | 中-高 | 10 万-1000 万 | SFT/偏好 | 同质化/污染 |
| 模型合成 | 0.001-0.1 美元 | 中 | 10 万-1000 万 | SFT/偏好/RL | 模型偏置 |
| 生产日志 | ≈ 0 美元 | 高 | 10 万-1 亿 | SFT/偏好 | 隐私/采样偏差 |
⚠️ 读这张成本表之前先看口径。“人工标注”单条成本跨越约两个数量级，差别几乎全部来自”要不要领域资质”：
口径 通用英文 / 批量 需领域资质（法律/医疗/金融） 批量众包 · 平台制 约 $0.1–1/条（SFT/指令）；偏好 $0.5–5/样本 众包 $3–15/小时，真领域专家 $30–60/小时 项目制 · 通用英文 SFT 指令-响应对约 AUD 8–25/对；RLHF 偏好比较约 AUD 15–50/次 SFT AUD 25–75/对；RLHF 偏好 AUD 40–120/次 专家全职团队（InstructGPT 口径） SFT $20–50/条、偏好 $30–80/对 — 三点必须讲清：① InstructGPT 的 20-50 美元属于专家全职团队口径（40 名全职标注员、时薪 30-50 美元、通过率 <5%），不应作为常规 SFT 的单位成本基准——本章 §17.2.1 引用它时未作此区分；② 上表为市场报价区间（单一供应商博客口径，非权威调研），因地区与供应商差异极大，只可用于定数量级，不可直接进预算表；③ 初次报价通常不含隐藏成本——QA、返工循环、合规文档评审、数据导出摩擦，这四项在批量项目里往往能再加 30% 以上。
时间维度：RLHF/偏好数据的价格自 2025 Q1 起上涨约 20–35%（RLHF 管线扩张快于合格评测员供给）。这直接影响 §17.6.3”人工 5-10% 做质量锚”的可行性——同样的预算，2026 年能买到的偏好对数量比 2024 年少了约四分之一到三分之一。
替代档：RLAIF 比人工标注便宜约 10 倍（同一口径），适合作为专家裁决前的规模化基线——这与 §17.6.2 DPO 阶段”RLAIF 50%“的配方是对得上的：先用 RLAIF 铺量，再用那 20% 的人工预算做裁决与校准。
工业级配方通常是”混合四源”：
- 5-10% 人工标注做”质量锚”
- 30-50% 开源数据做”能力底盘”
- 30-50% 模型合成做”长尾补充”
- 10-20% 生产日志做”真实分布对齐”
下面逐一拆解。
17.2 人工标注：贵但准
17.2.1 InstructGPT 的 40 人标准
InstructGPT（Ouyang et al., 2022）是人工标注的标杆案例。OpenAI 招募了 40 名全职标注员：
- 筛选严格：通过率 < 5%，要求本科以上学历、英语母语、通过 SFT 与偏好标注两轮测试
- 培训密集：入职两周培训，覆盖指令理解、安全边界、偏好标定
- 双盲审核：每条数据由 2 名标注员独立标注，分歧 > 1 分的进入仲裁
- 持续校准：每周一次校准会议，对齐标注标准
- 薪酬：时薪 30-50 美元，远高于众包平台
这套体系的产出是 13K 条 SFT 数据 + 33K 对偏好数据，质量极高。但成本惊人——单条 SFT 数据综合成本 20-50 美元，单对偏好数据 30-80 美元。
17.2.2 标注流程 SOP
工业级人工标注的标准流程：
1. 标注规范编写（20-50 页，含正反例）
2. 标注员筛选（测试 100 条，准确率 ≥ 85%）
3. 试标注 100 条 + 双盲交叉校验
4. 校准会议对齐分歧
5. 正式标注（每条 5-15 分钟）
6. 双盲复审（分歧 > 1 分仲裁）
7. 抽检 10% 进入终审17.2.3 标注平台选择
| 平台 | 单条成本 | 适用场景 | 备注 |
|---|---|---|---|
| Surge AI | 5-15 美元 | 高质量 SFT/偏好 | 美国本土标注员 |
| Scale AI | 3-10 美元 | 大规模 SFT | 上市平台，流程规范 |
| Labelbox | 2-8 美元 | 通用标注 | 灵活定义任务 |
| Toloka | 0.5-3 美元 | 大规模粗标 | 众包，质量参差 |
| 自建团队 | 5-30 美元 | 核心数据 | 长期最划算 |
踩坑经验：
- 众包平台（Toloka/Clickworker）的偏好数据质量普遍低于专业平台 20-30%
- 自建团队前 3 个月产能极低，但 6 个月后质量超过外包
- 标注规范不写正反例，准确率永远上不去 80%
17.2.4 标注规范的”三必写”
一份合格的标注规范必须包含：
- 任务定义：明确要标什么，不要标什么
- 正例：5-10 个典型好样本，标注理由
- 反例：5-10 个典型坏样本，标注问题
例如标”有帮助性”偏好时，必须明确：
- 正例：直接回答 + 必要细节
- 反例：绕弯子 + 空话套话 + 不相关
- 边界：在不确定时偏向”提供更多信息”还是”简洁”
17.3 开源数据池：免费但有坑
17.3.1 主流 SFT 数据池速查
| 数据集 | 规模 | 来源 | 质量 | 适用场景 | 机器可读 license（HF API 实测） | 上游是否由商业模型生成 |
|---|---|---|---|---|---|---|
| OpenHermes-2.5 | 1M | GPT-4 合成 | 高 | 通用 SFT | 🔴 无（cardData.license 为空；README 自称 MIT） | 🔴 是 |
| Tulu-3-SFT | 939K | 混合 | 高 | 标杆配方 | odc-by | 混合（需自核） |
| Infinity-Instruct | 7M | 合成+开源 | 中-高 | 大规模 SFT | 未核（API 返 401，需自核） | 未核 |
| ShareGPT | 100K+ | 用户分享 | 中 | 真实对话 | 未核（无 canonical repo） | 🔴 是（ChatGPT 对话） |
| WizardLM/Evol-Instruct | 250K | GPT-4 进化 | 高 | 指令多样性 | mit | 🔴 是 |
| NuminaMath | 860K | 数学合成 | 高 | 数学能力 | apache-2.0 | 未核 |
| Magicoder | 110K | 代码合成 | 高 | 代码能力 | mit | 未核 |
| OpenOrca | 4M | GPT-4 蒸馏 | 中 | 通用 | 未核（API 返 401，需自核） | 🔴 是 |
| Nemotron-Post-Training-Dataset-v2（2025-08） | 1M–10M 行 | NVIDIA 开源 | 高 | 通用后训练 / agentic | cc-by-4.0 | 否（NVIDIA 自述） |
| Nemotron-RL-Super-Training-Blends（2026-03） | — | NVIDIA 开源 | 高 | RL 训练混合 | cc-by-4.0 | 否（NVIDIA 自述） |
| Multi-SFT（2026-10-15，arXiv:2610.22086） | 502,818 | 翻译 + 重生成，五种欧洲语言 | 高（一致率 ≥ 0.87） | 多语言 SFT | MIT / Apache-2.0 / CC BY 等（逐子集不同） | ⚠️ 自称否，但存在未解决的审计争议（见 §17.3.3 一查第 3 条） |
这张表两列的口径必须分开读：license 列回答”能不能用”，上游生成模型列回答”用了之后会不会被追究”——两者独立，都必须查。 OpenHermes / WizardLM / OpenOrca 三行的价值正在于此：它们在这两列上的取值不一致（一边是宽松或缺失的 license，另一边是明确的商业模型血统），而这正是本章此前表格结构无法表达的信息。
Multi-SFT 那一行不要只写”宽松许可”四个字——它的”commercially permissive”主张存在未解决的来源审计争议，引用时必须连争议一起给出（证据链见 §17.3.3）。
2026 新增的开源后训练数据来源（NVIDIA 官方技术报告一手确认，见 16.9.6）：除 Base / Post-Trained / NVFP4 checkpoint 外，NVIDIA 一并开源了训练配方、数据与 RL 环境。数据侧可点名的是：
- Nemotron-Posttraining-v3——报告原文定义为”a collection of post-training datasets for improving agentic, reasoning, and general model capabilities during SFT and RL”（本报告此前因 PDF 文本截断只显示
Nemotron-Pos…，本轮已确认为Nemotron-Posttraining-v3）； - Nemotron-Post-Training-Dataset-v2——HF
nvidia/Nemotron-Post-Training-Dataset-v2，cc-by-4.0，1M–10M 行； - Nemotron-RL-Super-Training-Blends——HF
nvidia/Nemotron-RL-Super-Training-Blends，cc-by-4.0； - 预训练侧另有 Nemotron-Pretraining-Code-v3（173B token，GitHub 代码，截止 2025-09-30）、
Nemotron-Pretraining-Legal-v1、Nemotron-Pretraining-Specialized-v1.2。
对本章读者的价值：这是上表里唯一一个”数据 + 配方 + RL 环境”成套开源的来源，且许可证机器可读（cc-by-4.0），可直接进流水线而不必先做一遍许可尽调。
17.3.2 偏好数据池速查
| 数据集 | 规模 | 来源 | 质量 | 备注 |
|---|---|---|---|---|
| UltraFeedback | 64K | 多模型对比 | 高 | 4 维度评分 |
| HelpSteer2 | 21K | 人工标注 | 极高 | NVIDIA 出品 |
| ShareGPT-Preference | 100K | 用户投票 | 中 | 偏差大 |
| Anthropic-HH | 161K | 人工标注 | 高 | Helpfulness+Harmlessness |
| Capreolus | 18K | 人工标注 | 高 | 金标数据 |
17.3.3 用开源数据的”三查”
开源数据不能拿来就用，必须做三查：
一查：来源可溯
- OpenHermes-2.5 是 GPT-4 合成的，使用时要注意 OpenAI ToS 风险
- ShareGPT 是用户上传的 ChatGPT 对话，含 PII 风险
- OpenOrca 是蒸馏 13B 模型的，质量参差
一查还应该加两条可自动化的检查：
-
检查有没有机器可读的许可证字段，而不只是 README 里的文字声明。 这不是理论担忧——本章速查表第一行就有实例。本轮实测 HF Datasets API（2026-10-10）的返回：
teknium/OpenHermes-2.5的cardData.license为空，即没有机器可读许可证（其 repo README 自称 MIT）。对照之下，同表其他条目是有字段的：allenai/tulu-3-sft-mixture=odc-by、AI-MO/NuminaMath-CoT=apache-2.0、ise-uiuc/Magicoder-OSS-Instruct-75K与WizardLM_evol_instruct_70k=mit。 记住第 13 章的结论：平台 License 标签的遗漏率 70%+、错误率 50%+。因此”hub 页面上写了什么”不构成许可证据——要读的是 API/元数据里的机器可读字段，读不到就按”未授权”处理并留痕。 -
同一数据集的不同 split 许可证可能不同。 例如 Magpie-Pro 系列中
Magpie-Align/Magpie-Pro-MT-300K-v0.1的机器可读许可证是 Llama 3 Community（llama3），而非 Apache-2.0。“因 split 而异”本身就是要在入库时逐 split 记录、而不是整个数据集记一个值的理由。
-
溯到”用什么模型生成的”，而不是只看这一层的许可证字段。 前两条检查的都是直接上游的元数据，但来源污染可以发生在再上一层，而那一层不会出现在任何字段里。
一个现成的、而且是正面标杆级别的反例：2026-10-15 的 Multi-SFT（arXiv:2610.22086，502,818 条、五种欧洲语言、标注者间一致率 ≥ 0.87、九模型三家族十三基准）。它的定义性卖点是”commercially permissive”，论文 §3.1 也确实写了一条硬规则，原文逐句如下：
“Hence, we excluded all datasets where there is evidence that entries were generated using models with such restrictive licensing, regardless of the license applied to the dataset itself. We consider as ‘evidence’ of non-permissive model use any dataset mentioning in its card, git repository or paper the use of commercial models. Whenever a dataset is released under a permissive license but a portion of its entries were generated using a restricted model, we opted for selective regeneration…”
但 Table 2 把 Multi-TableGPT（13,171 条，其中英文 5,279 条） 的 Pipeline 标为 Translation（而非 Regeneration），License 标为 MIT，来源是 Table-GPT（Li et al., 2024）。而 Table-GPT 的论文摘要原文是：
“we propose a new ‘table-tuning’ paradigm, where we continue to train/fine-tune language models like GPT-3.5 and ChatGPT, using diverse table-tasks synthesized from real tables as training data”（arXiv:2310.09263）
按 Multi-SFT 自己的规则，Table-GPT 属于”论文提及商业模型使用”的典型情形，受影响条目应当选择性重新生成；实际走的是翻译——而那 5,279 条英文条目正是”没有可翻译的东西”、被原样保留的部分。审计意见的原话值得记住：翻译不能洗白来源（Translation doesn’t launder provenance）。
为什么这条对本章特别重要：Multi-SFT 的每一行都可以有干净的许可证字段（Table 2 里 MIT / Apache 2.0 / CC BY 一应俱全），前两条检查会全部通过。失效的不是检查动作，是检查的深度。
可落地的形式（写成入库前的一条规则）：
对每个来源数据集，沿 citation 链向上追一层： □ 该数据集或其任何上游的论文/卡/仓库是否提及用商业模型生成？ □ 提及 → 该分支上的"翻译/改写/蒸馏"均视为未洗白，须重新生成或剔除 □ 注意：翻译后保留的原文条目（无东西可翻的那部分）是最容易漏的⚠️ 这条指控的边界：上文的每条证据（§3.1 规则原文、Table 2 的 Translation/MIT/5,279、Table-GPT 摘要的 GPT-3.5 与 ChatGPT）均已在论文正文中逐句核到，不是转述。但”因此 Multi-SFT 违反了自己的规则”这一步是本章的判断，不是已发表的更正或撤稿；论文方面未就此作出回应。引用时应表述为”按其自述规则应当被重新生成，实际被翻译”，不要写成”已被证伪的数据集”。
附带两处同样已核到一手的次要问题：① 论文自述”Every model trains for one epoch with seed 42”——全部实验单 seed，因此任何接近 1 分的组间差异都落在噪声量级之下；② Multi-PersonaIF 的约束列表派生自 IFEval（正文原文：“sampling 1–3 constraints from a predefined list derived from IFEval”），而 IFEval 正是那 13 个评测基准之一——对那一列构成未声明的污染，正好是下面”二查”的实例。
二查：评测污染
# 检查数据是否包含 MMLU 测试集
from datasketch import MinHash
def check_contamination(dataset, benchmark, ngram=13):
# 13-gram MinHash 检查
...工业级要求污染率 < 0.1%，必扫 MMLU、GSM8K、HumanEval、IFEval、MT-Bench 等 20+ 评测集。
前提：这套比对要求你拿得到被怀疑的语料。 对开源数据池，你能拿到的就是数据集本身（而这正是要检查的对象）；对生产日志更是无从谈起。一旦嫌疑对象是一个不公开数据的模型，上面这套手段完全用不上——而 2026-10 的一项实测说明，事后检测这条路在真实规模下基本走不通：
WildTrace（arXiv:2610.16152，南方科技大学，2026-10-12）用完全开源的 Olmo-3 跑完整的 SFT → DPO → RL 管线，产出各阶段的阶段专属模型，并在四个多样任务上构造分布匹配、隶属标签可验证的评测集（专门针对现有评测的两类偏差：事后构造基准带来的分布偏移、小规模受控设置与真实后训练不符）。结果：即使最好的方法，平均 AUC 也只有 0.529，接近随机猜测的 0.5。作者另指出评测协议本身会显著影响测得的检测性能。
推论（与第 13 章交叉引用）：污染必须在数据产生时就被记录，而不是事后被检测出来。本章 §17.5 的生产日志回流、§17.3 的开源数据入库，都应把”来源与 lineage 写入 manifest”当成二查的前置条件，而不是替代品。
判据本身也会假阳性：任何污染检测器都要配一个”不可能被污染”的阴性对照模型。 一项医学 VLM 的污染测量（arXiv:2606.10066）用四个检测器测公开基准，其中队列相对 Min-K%++ 与跨模型 top-K 重叠通不过阴性对照——BLIP-2 这个不可能接触过医学 VQA 数据的模型，复现了它们表面上的阳性信号。作者的结论是：这两者作为独立的污染信号不可靠，必须与一个外部基线模型对照检查。
同一研究还给出一个读数教训：SLAKE-En 有 19.8% 的图像在预训练语料里有异常接近的近邻，但人工检查发现那是同模态同视角的不同病人图像，不是同一张——信号应读作”图像来源重叠”而非”逐图记忆”。
写成 CI 项：每上一个污染检测器，先在一个已知未被污染的对照模型上跑一遍；对照也出阳性 → 该检测器在此分布上不可用。
三查：分布对齐
- 检查任务分布：不要全是闲聊
- 检查语言分布：英文占比过高会拉低中文能力
- 检查长度分布：超长数据（>8K）会拖慢训练
17.3.4 开源数据的同质化陷阱
很多开源数据集底层共享来源：
- OpenHermes / OpenOrca / Infinity-Instruct 都部分来自同一批 GPT-4 合成
- 直接混合会导致严重同质化，4-gram 重复率超过 60%
解决方案：
- 混合前做全量去重（MinHash + Jaccard 0.7）
- 控制单一来源占比 < 30%
- 用 Embedding 聚类找冗余簇，每个簇只保留 N 条
还有一条失效模式必须单独讲：近重复会跨 train/validation 分割泄漏。
同质化不只是”浪费算力”，它有一个更隐蔽的后果。以 meta-math/MetaMathQA 为例：它含大量同一题目的近重复改写。如果近去重只比较 instruction 的 shingles，这些孪生样本会被分到 train 侧与 validation 侧两边——于是模型可以靠记住训练侧的孪生样本通过验证，验证损失系统性过于乐观。
这条为什么危险：它不是让训练变差，而是让你以为训练变好了。做数据消融、选 checkpoint、调配比，全都在看验证集；验证集被污染时，所有结论都朝错误方向偏，而且看不出来。
处理办法：去重必须在切分之前做，或者跨分割边界去重——先固定验证集，再丢弃训练集中与验证集近重复的样本（而不是反过来）。顺序不能颠倒，否则验证集本身已经被训练侧的孪生样本”看过”了。
判据：抽 100 条验证集样本做近邻检索，若前 5 近邻里有训练样本且相似度高于你的去重阈值（本章是 Jaccard 0.7），分割就是漏的。这个检查很便宜，应该做成 CI 里的常规项。
17.4 模型合成：便宜但有偏
17.4.1 三种合成范式
范式 1：强教弱（Distillation）
用 GPT-4 等强模型生成响应，弱模型学习。代表：OpenHermes、OpenOrca。
# 强教弱伪代码
prompts = load_prompts() # 来自开源/合成
for p in prompts:
response = gpt4.chat(p, temperature=0.7)
save_to_sft_data(p, response)优点：质量稳定，单条成本 0.01-0.1 美元 缺点：受限于强模型的能力上限，无法超越强模型
范式 2：自举（Self-Improvement）
用模型自己生成数据训练自己。代表：Self-Rewarding LM、SPIN。
# 自举伪代码
for round in range(3):
responses = model.generate(prompts, temperature=0.8)
filtered = reward_model.filter(responses) # 只保留高质量的
model.finetune(filtered)优点：不依赖外部模型 缺点：容易”模式坍塌”，多样性骤降；需要严格的质量过滤
范式 3：结构化合成
用模板 + LLM 组合生成特定任务数据。代表：Magpie、Evol-Instruct。
# 结构化合成伪代码（数学领域）
template = "Generate a {difficulty} math problem about {topic}, with step-by-step solution"
for topic in ["algebra", "geometry", "calculus"]:
for difficulty in ["easy", "medium", "hard"]:
data = llm.generate(template.format(**...))优点：可控性强，能定向补足能力短板 缺点：模板设计需要领域专家
17.4.2 Magpie 合成方法详解
Magpie（Xu et al., 2024）是 2024 年最有影响力的合成方法，核心思想是”让模型自吐 prompt”。
传统合成的痛点：需要先准备 prompt 池，prompt 池的多样性决定数据多样性。但人工准备 prompt 池容易饱和（Self-Instruct 175 种子 → 52K 数据后多样性饱和）。
Magpie 的洞察：对齐过的模型本身就是优秀的 prompt 生成器。直接让模型从空 prompt 开始生成，输出天然就是 (prompt, response) 对。
# Magpie 算法核心
def magpie_generate(model, n_samples):
results = []
for _ in range(n_samples):
# 空 prompt，让模型自吐
prompt = "<|im_start|>user\n"
response = model.generate(prompt, temperature=1.0, max_tokens=2048)
# response 的前半部分是 user prompt，后半部分是 assistant response
user_msg, assistant_msg = parse_magpie_output(response)
results.append((user_msg, assistant_msg))
return resultsMagpie 的关键参数：
- temperature：1.0（必须高，否则多样性坍塌）
- top_p：0.95
- 采样数量：100K-1M
- 后过滤：去重 + 质量过滤，保留 50-70%
Magpie 的效果：
- 4-gram 多样性比 Self-Instruct 高 35%
- 任务覆盖率比 Evol-Instruct 高 20%
- 在 Llama-3-8B 上 SFT 后，MT-Bench 7.8（接近 GPT-3.5）
17.4.3 模型合成的偏置陷阱
合成数据天然带有”模型偏置”：
- 风格偏置：合成数据风格高度一致，模型学后会”千篇一律”
- 能力偏置：合成数据只能覆盖强模型已有的能力，无法引入新能力
- 价值观偏置：合成数据继承强模型的价值观，可能与目标用户群体不符
- 安全偏置：合成数据可能过度安全，导致模型拒答率过高
应对方案：
- 用 3-5 个不同模型合成，混合降低偏置
- 在合成数据中混入 20% 真实数据
- 做严格的多样性度量（4-gram ≥ 0.6，InsTag ≥ 1000）
给每个合成切片定价，而不是给整个合成数据定价。 本章 §17.6 有配比、上面有三条应对，但没有”如何判断某个合成切片值不值”的方法。一份面向小模型后训练的综述性整理把散落的几处要求收成了一份发布前清单，四条值得直接抄：
- 按任务族设配额，并对安全关键族设下限（而不是只设总量上限）；
- 在任何评测之前先做去污染（顺序不能颠倒——先评后清会让评测结论本身失真）；
- 每次语料发布都做版本化的来源记录；
- 用消融阶梯（ablation ladder）给每个合成切片对着 held-out 任务族定价。
它也如实标注了一条社区尚未解决的分歧：合成占比高的混合是很快饱和（收益递减、重复衰减）还是随体量继续有回报，在小模型尺度上证据稀薄且偏向成功案例。因此本章 §17.6 的配比表（合成 30-50%）在引用时应带上这个不确定性，而不是当作已确立的共识。
⚠️ 置信度低-中：来源为综述类站点（SciXa Research Desk，2026-10-09，26 个引用源），非一手论文，故本段只取”清单形式”与”未解决分歧”两点，其中任何数字都不进入正文。
17.5 生产日志：免费但脏
17.5.1 生产日志的价值
生产日志是模型上线后用户与模型的真实交互记录，包含：
- 用户 prompt
- 模型 response
- 用户反馈（点赞/点踩/重新生成/复制）
- 后续追问
这是最接近”真实分布”的数据，但也是最脏的数据。
17.5.2 生产日志的四大风险
风险 1：隐私泄露
用户 prompt 中可能包含 PII（姓名、电话、身份证、地址）。
应对：用 Presidio 等工具做 PII 检测与脱敏，单条数据 PII 检出率必须 < 0.01%。
风险 2：采样偏差
活跃用户 ≠ 全体用户。重度用户的数据会主导训练。
应对：
- 按用户 ID 哈希采样，每用户最多贡献 N 条
- 按活跃度分层采样
风险 3：反馈信号噪声
用户的”点踩”未必表示质量差，可能是答案不符用户预期（用户错了）。
应对：
- 只用”点赞 + 复制”作为正信号
- “点踩 + 重新生成”作为弱负信号
- 用 Reward Model 做二次过滤
风险 4：分布漂移
用户行为会随时间变化（节日、热点事件），直接用历史数据训练可能错配当前需求。
应对：
- 用最近 30 天数据
- 按周重新采样
17.5.3 生产日志的回流闭环
工业级生产日志回流闭环：
1. 日志采集：用户交互 + 反馈 → 数据湖
1.5 来源落盘：为这一批日志写入 manifest
└── 采集时间窗、入口、采样规则、用户分层口径
└── 脱敏前是否含 PII（不记内容，只记检出率）
└── 与哪些外部数据集混合过（混合即产生 lineage 分支）
└── 理由：事后检测在真实后训练规模下 AUC ≈ 0.529（见 §17.3.3），
污染与来源只能在上游记录，不能靠下游重建
2. 隐私脱敏：Presidio + 规则过滤
3. 质量过滤：Reward Model 评分 + 长度过滤
4. 反馈加权：点赞+3，复制+2，点踩-2，重生成-1
5. 多样性采样：用户去重 + 任务聚类
6. 标注转化：高分自动转 SFT，低分转偏好负样本
7. 配方注入：控制日志数据占比 ≤ 20%
8. 训练 + 评测 + 上线踩坑经验：
- 日志数据占比超过 30% 会让模型”过拟合”当前用户群
- 必须用 A/B 测试验证日志数据的实际贡献
- 日志数据的”复制率”比”点赞率”更可靠
- 日志数据一旦与外部开源数据混合，lineage 就分支了——后续若发现某个开源源有问题（例如 §17.3.3 那种”翻译未洗白”的情形），没有 manifest 就无法定位受影响的那批日志衍生数据。上面第 1.5 步写的”与哪些外部数据集混合过”就是为这一刻准备的；它同时也是第 13 章数据溯源在本章的落点。
17.6 四大来源的工业配比
不同团队的来源配比差异巨大，但有几个经验法则：
17.6.1 按团队规模配比
| 团队规模 | 人工 | 开源 | 合成 | 日志 |
|---|---|---|---|---|
| 大厂（百人+） | 10-15% | 30-40% | 30-40% | 15-20% |
| 中型（20-50人） | 5-10% | 40-50% | 35-45% | 5-10% |
| 初创（<20人） | 2-5% | 50-60% | 35-45% | 0-5% |
17.6.2 按训练阶段配比
- SFT 阶段：开源 50% + 合成 30% + 人工 10% + 日志 10%
- DPO 阶段：人工 20% + RLAIF 50% + 开源 20% + 日志 10%
- RLVR 阶段：合成 70% + 开源 30%（必须可验证）
17.6.3 按”质量锚”思路配比
不管比例如何，必须有 5-10% 的人工金标数据作为”质量锚”，用于：
- 校准 Reward Model
- 评估其他来源数据的质量
- 训练最后的精修阶段
17.7 来源选择的决策树
要补什么能力？
├─ 通用对话 → 开源（OpenHermes/Tulu-3-SFT）+ Magpie 合成
├─ 数学推理 → 开源（NuminaMath）+ 模板合成
├─ 代码能力 → 开源（Magicoder）+ 真实 GitHub 数据
├─ 工具调用 → 合成（xLAM/Glaive）+ 真实 API 日志
├─ 安全对齐 → 人工标注（不可外包）+ Constitutional
├─ 多轮对话 → 合成（UltraChat）+ 生产日志
└─ 偏好对齐 → 人工（金标）+ RLAIF（规模）+ UltraFeedback（开源）第 18 章将深入 SFT 指令数据的构建方法，重点拆解 Self-Instruct、Evol-Instruct、Magpie 三大合成范式。