返回数据集雷达
Cosmopedia
★ 重点关注Cosmopedia
发布方 HuggingFace 发布 2024-02 规模 25B token 教科书风格合成
合成与数据飞轮 单一数据集 全球 商用友好 synthetic huggingface
访问 huggingface.co 来源描述
Mixtral-8x7B 大规模合成教育内容，证明合成数据可用于预训练
Apache 2.0
HuggingFace 实测指标
HuggingFaceTB/cosmopedia ↗近 30 天下载
27.1K
点赞
773
最近更新
2024-08-12
HF 授权标签
apache-2.0
datasets-server 实测规模
31.1M 条 · 85.9 GB
由 HuggingFace datasets-server 现算，不是榜单页手写的数字
HF 规模档 10M<n<100M en
训练阶段（本刊判断）
用途与主题（本刊判断）
合成数据
为什么值得盯
25B token 的教科书风格合成语料，合成数据路线最大规模的一次公开实践。值得盯的是它的反面：合成数据带来的模式坍缩与自我强化，目前还没有公认的检测手段。
同领域 · 合成与数据飞轮
Self-Instruct
用 LLM 自迭代生成指令的奠基方法 (Alpaca / Vicuna 路径起点)
Constitutional AI
RLAIF 奠基方法 - 用 AI 反馈替代人工反馈
Self-Rewarding
Self-Rewarding LM - 模型自评分自训练，3 轮可超越 GPT-4 (AlpacaEval)
WizardLM Evol-Instruct
用 LLM 进化简单指令为复杂指令 (depth + breadth evolving)
Synth-Caption (PALI-3)
PALI 系列用 SDXL 反向蒸馏 caption，证明合成 caption 优于网页 caption
RLAIF-V
VLM 的开源 RLAIF 数据，幻觉降低 70%
领域、训练阶段、用途、License 分级与本刊判断由本刊维护； 下载量 / 点赞 / 更新时间 / 实测规模来自 HuggingFace Hub 官方 API 与 datasets-server，每周自动刷新。 规模、许可证与商用授权最终请以 原站 为准。