返回数据集雷达
按训练阶段看
145 项里有 118 项能明确归入某个训练阶段,其余 27 项是平台或知识库入口,不属于任何单一阶段(列在页尾)。 阶段划分对齐《AI数据全书》ch04 → ch23 的主线;同一份数据常跨多个阶段,所以这里是视图而非分组。
预训练
73 项这一阶段要什么
量大、覆盖广、可清洗的原料:网页抓取、书籍、代码、图文对。关心的是 token 总量、语言分布与去重成本,不是标注精度。
常见坑
真正的成本不在下载而在解析—过滤—去重这条链路。快照版本不对齐,任何「复现某语料」的说法都无法验证。
LAION-5B
多模态
RE-LAION-5B
多模态
DataComp-1B
多模态
PixelProse
多模态
JourneyDB
多模态
Aesthetics-V2.5+
多模态
ShareGPT4V
多模态
DALL-E 3 PE
多模态
MegaStyle
多模态
InstructPix2Pix
多模态
MagicBrush
多模态
UltraEdit
多模态
OmniEdit
多模态
AnyEdit
多模态
StyleID
多模态
SubjectsScale
多模态
X2I
多模态
Subjects200K
多模态
LLaVA-Instruct-150K
多模态
ShareGPT4o
多模态
Cauldron
多模态
PixMo
多模态
Idefics-Instruct
多模态
OBELICS
多模态
MMC4
多模态
Docmatix
多模态
WildWorld
多模态
Very Big Video Reasoning Suite
多模态
FineWeb ★
FineWeb-Edu ★
DCLM-Pool ★
Dolma ★
RedPajama-V2 ★
Nemotron-CC
MAP-CC
TeleChat-PT
Self-Instruct
合成数据
Constitutional AI
合成数据
Self-Rewarding
合成数据
WizardLM Evol-Instruct
合成数据
Synth-Caption (PALI-3)
合成数据
RLAIF-V
合成数据
Magpie-Pro
合成数据
Cosmopedia ★
合成数据
Phi-1.5 Synthetic
合成数据
The Stack v2 ★
CodeAlpaca-20K
Magicoder-OSS-Instruct-75K
OctoPack-CommitPack
OpenCodeInterpreter Data
AceCode-87K
Common Voice 17 ★
多模态
GigaSpeech
多模态
People's Speech
多模态
Emilia
多模态
AudioSet
多模态
AudioCaps
多模态
WavCaps
多模态
InstructSpeech
多模态
Common Crawl ★
The Pile ★
LAION-2B-en ★
多模态
Flickr Audio Caption Corpus
多模态
ImageNet ★
多模态评测基准
COCO Dataset
多模态评测基准
CIFAR-10/100
多模态评测基准
Cityscapes Dataset
多模态评测基准
Labelme
多模态评测基准
Stanford Dogs Dataset
多模态评测基准
LibriSpeech ★
多模态
Speech Commands Dataset
多模态评测基准
Waymo Open Dataset ★
多模态
KITTI Vision Benchmark
多模态
中训练
78 项这一阶段要什么
领域定向的语料:把通用能力压向某个专业分布。领域纯度 > 体量,配比与退火曲线是主要变量。
常见坑
最容易忽略的是灾难性遗忘——领域数据纯度越高,通用能力掉得越快,必须留通用回放集做对照。
LAION-5B
多模态
RE-LAION-5B
多模态
DataComp-1B
多模态
PixelProse
多模态
JourneyDB
多模态
Aesthetics-V2.5+
多模态
ShareGPT4V
多模态
DALL-E 3 PE
多模态
MegaStyle
多模态
InstructPix2Pix
多模态
MagicBrush
多模态
UltraEdit
多模态
OmniEdit
多模态
AnyEdit
多模态
StyleID
多模态
SubjectsScale
多模态
X2I
多模态
Subjects200K
多模态
LLaVA-Instruct-150K
多模态
ShareGPT4o
多模态
Cauldron
多模态
PixMo
多模态
Idefics-Instruct
多模态
OBELICS
多模态
MMC4
多模态
Docmatix
多模态
WildWorld
多模态
Very Big Video Reasoning Suite
多模态
WMT24 (General MT)
评测基准
WMT 23 Bilingual
CCMatrix
ParaCrawl v9
OpenSubtitles 2018
WikiMatrix
OPUS-100
JParaCrawl v3
TED Talks 2020
UN Parallel Corpus v1.0
BWB Bilingual Web Books
NIST OpenMT 中英
ALMA-R Preference
FLORES-200 ★
评测基准
NLLB Seed
Aya Collection ★
Glot500
MADLAD-400
Common Voice 17 ★
多模态
GigaSpeech
多模态
People's Speech
多模态
Emilia
多模态
AudioSet
多模态
AudioCaps
多模态
WavCaps
多模态
InstructSpeech
多模态
MS MARCO ★
RAG 知识库评测基准
BGE-Pretrain-Data
RAG 知识库
MEDI
RAG 知识库
GTE-Synthetic-Pairs
RAG 知识库
Open X-Embodiment ★
DROID
Objaverse-XL
ScanNet++
Web-crawled Interactions
LAION-2B-en ★
多模态
Flickr Audio Caption Corpus
多模态
ImageNet ★
多模态评测基准
COCO Dataset
多模态评测基准
CIFAR-10/100
多模态评测基准
Cityscapes Dataset
多模态评测基准
Labelme
多模态评测基准
Stanford Dogs Dataset
多模态评测基准
LibriSpeech ★
多模态
Speech Commands Dataset
多模态评测基准
Waymo Open Dataset ★
多模态
KITTI Vision Benchmark
多模态
MuJoCo
Robotics Datasets
Atari Games
SFT
41 项这一阶段要什么
指令—回答对,覆盖任务类型与格式。质量与多样性远比条数重要,几千条干净数据常胜过几十万条噪声。
常见坑
指令数据多为自建或合成,公开集中最常见的两个坑是:来源许可证不清晰,以及格式同质化导致的窄化。
WMT24 (General MT)
评测基准
WMT 23 Bilingual
CCMatrix
ParaCrawl v9
OpenSubtitles 2018
WikiMatrix
OPUS-100
JParaCrawl v3
TED Talks 2020
UN Parallel Corpus v1.0
BWB Bilingual Web Books
NIST OpenMT 中英
ALMA-R Preference
FLORES-200 ★
评测基准
NLLB Seed
Aya Collection ★
Glot500
MADLAD-400
OpenOrca
Tulu 3 SFT Mix ★
OpenHermes 2.5 ★
WildChat-1M
OASST1 / OASST2
UltraFeedback ★
ShareGPT (anon)
Magpie ★
Self-Instruct
合成数据
Constitutional AI
合成数据
Self-Rewarding
合成数据
WizardLM Evol-Instruct
合成数据
Synth-Caption (PALI-3)
合成数据
RLAIF-V
合成数据
Magpie-Pro
合成数据
Cosmopedia ★
合成数据
Phi-1.5 Synthetic
合成数据
The Stack v2 ★
CodeAlpaca-20K
Magicoder-OSS-Instruct-75K
OctoPack-CommitPack
OpenCodeInterpreter Data
AceCode-87K
偏好与奖励
7 项这一阶段要什么
同一 prompt 下的优劣回答对,供 DPO / 奖励模型训练。标注一致性比标注人数更关键。
常见坑
偏好数据里混着长度偏置、格式偏好等伪信号,模型学到的常常是「写长一点」而不是「答得更好」。
RL与Agent
8 项这一阶段要什么
可验证奖励的环境:能自动判定成败、可并行跑 rollout。要的是可判定性,不是数据量。
常见坑
环境的判定规则就是奖励函数本身,判定有漏洞会被直接利用;仿真环境的动力学与真实世界差距决定 sim-to-real 的上限。
入口与知识库类
27 项 · 不属于任何单一训练阶段平台、检索入口与纯知识库类数据横跨所有阶段,硬塞进某一阶段只会制造假精确,因此单列于此。
HuggingFace 开源数据集 ★
检索入口
OpenDataLab 开源数据集 ★
检索入口
谷歌数据集搜索
检索入口
Kaggle 开源数据集 ★
检索入口
ModelScope 开源数据集 ★
检索入口
LUGE 千言
检索入口
GitHub 公开数据集索引
检索入口
AWS Open Data
检索入口
天池数据集
检索入口
UCI 机器学习仓库 ★
检索入口评测基准
智源 BAAI 数据集 ★
检索入口
百度飞桨数据集
检索入口
启智 OpenI 数据集
检索入口
Visual Data Discovery
检索入口
arXiv Dataset
RAG 知识库
AI2 ARC Dataset
RAG 知识库评测基准
COVID-19 Open Research Dataset
RAG 知识库
Eurostat
RAG 知识库
World Bank Open Data
RAG 知识库
Data.gov ★
RAG 知识库
NASA Earth Data
RAG 知识库
OpenStreetMap
RAG 知识库
FiveThirtyEight Datasets
RAG 知识库
Yelp Open Dataset
RAG 知识库
WHO 全球健康观察站
RAG 知识库
CDC Data
RAG 知识库
Human Protein Atlas
RAG 知识库评测基准
训练阶段与用途由「统一领域」推导,为本刊编辑判断;来源数据取自现代训练语料与经典数据集两个来源层,核于 2026-10-21。