数据集雷达 DATASET RADAR

CommonCrawl 重新过滤的高质 web 语料，质量比肩 Llama-3 私有数据

HuggingFace · 2024-04 · 15T tokens (英文)

FineWeb 中教育相关高分子集，下游 benchmark 显著提升

HuggingFace · 2024-05 · 1.3T tokens (英文教育子集)

DataComp-LM 公开 baseline 数据，与 FineWeb 对位竞争

Apple / U Washington · 2024-06 · 240T tokens (raw) / 4T (filtered)

OLMo 模型的开源预训练语料，多源混合 + 全链路开放

Allen AI · 2023-08 · 3T tokens

Llama 训练数据复刻 + 扩展，含质量分数 + 重复检测

Together AI · 2023-10 · 30T tokens (5 语言)

CommonCrawl 经 LLM 重写 + 质量分类的高质语料

NVIDIA · 2025-04 · 6.3T tokens (英文)

中文社区开源最大预训练集 (Wudao 之后)

MAP / 01.AI · 2024-04 · 800B 中文 token

电信 TeleChat 模型的中文预训练数据 (部分)

中国电信 · 2024-07 · 1T 中文 token

提供了大量的网页爬取数据，可用于语言模型的训练。

由多个数据集组成的大型语言模型训练数据集，涵盖多种文本类型。

迄今最大开放图文对数据集，SD 1.5/SDXL 训练基础

LAION · 2022-10 · 5.85B image-text pairs

LAION-5B 净化版，移除 2236 条 CSAM 嫌疑链接

LAION · 2024-08 · 5.5B image-text pairs

高质过滤的 CLIP 训练对，CommonPool 基础上人工 filtering

U Washington / LAION / AI2 / Apple · 2023-04 · 1.4B image-text pairs

Gemini 1.0 Pro 合成的密集长 caption (CC12M/CC3M/RedCaps 重新标注)

ServiceNow / Mila · 2024-06 · 16M long captions

Midjourney 社区精选图，含 4 大下游任务标注

OpenGVLab / SJTU · 2023-07 · 4M Midjourney 高质图 + prompt

美学评分 ≥ 5 的子集，SD 美学微调常用

LAION · 2022-08 · 625M aesthetic-filtered subset of LAION-5B

GPT-4V 蒸馏的高质图像描述，VLM 训练显著提升

USTC / Shanghai AI Lab · 2023-11 · 1.2M GPT-4V 生成精细 caption

DALL-E 3 训练用的 prompt-enhancement caption 范式 (合成密集描述)

OpenAI · 2023-09 · 未公开 (估 ~B 量级)

风格内一致 / 风格间多样的 T2I 风格 dataset + curation pipeline (利用大模型 consistent style mapping)

论文作者 · 2026-04 · unspecified

GPT-3 + SD 合成的图像编辑三元组，编辑模型奠基集

UC Berkeley · 2023-01 · 454K (image, edit-prompt, image)

DALL-E 2 + 人工 curation 的高质编辑数据，多轮编辑

Ohio State U / Stanford · 2023-06 · 10K 人工标注编辑三元组

GPT-4 / SDXL 合成的大规模编辑指令 + 区域编辑数据

PKU / Shanghai AI Lab · 2024-07 · 4M 编辑三元组

专家模型蒸馏 + GPT-4o 评分筛选，覆盖 add/remove/swap/style/bg 等

Waterloo / TIGER-Lab · 2024-11 · 1.2M 高质编辑对 (跨 7 类任务)

覆盖 25 类编辑任务的最大开源编辑集

ZJU / Shanghai AI Lab · 2024-11 · 2.5M 多任务编辑数据 (25 类编辑动作)

面向风格化的人脸身份识别 dataset + metric, 包含卡通/素描/绘画等多种风格 (含 metric "Stylization-Agnostic Identity Recognition")

论文作者 · 2026-04 · unspecified

Subject-driven generation (类 IP-Adapter 训练) 的大规模主体一致数据

Adobe / Apple · 2024-10 · 2M 主体保持图对

OmniGen 模型的训练数据，含 image+text+image 多种条件组合

ByteDance · 2024-09 · 8M 多模态条件 → 图

FLUX.1-dev 合成的同主体多视角图，subject-driven 训练标杆

ByteDance / Stanford · 2024-12 · 200K 同一主体多视角

GPT-4 (text-only) 基于 COCO caption 合成的 VQA 指令，开源 VLM 起点

U Wisconsin / Microsoft · 2023-04 · 158K 视觉指令对话

GPT-4o 高质蒸馏的多模态指令 (升级 ShareGPT4V)

Shanghai AI Lab · 2024-06 · 200K GPT-4o 蒸馏指令

Idefics2 训练用的 50 公开 VQA/OCR/grounding 集合并集

HuggingFace · 2024-04 · 50 数据集合 / 30M VQA 对话

Molmo VLM 的训练集，含 pointing/counting/dense caption 创新模态

Allen AI · 2024-09 · 1M 人工 + 合成多模态数据

Idefics3 的训练集，强化 OCR 和文档理解

HuggingFace · 2024-08 · 50 子集 / 含 OCR/Doc/Chart

交错图文文档大规模语料，多模态预训练用

HuggingFace · 2023-06 · 141M 网页 + 353M 图 + 115B token

C4 + 图，按 CLIP 相似度对齐的交错图文文档

U Washington · 2023-04 · 100M 文档 / 571M 图

PDF/扫描件大规模 DocVQA 数据，DocOwl 等模型训练用

HuggingFace · 2024-07 · 1.3M 文档 / 9.5M QA

面向 dynamic world modeling 的大规模 dataset, 含 actions + explicit state, 用于 generative ARPG

论文作者 · 2026-03 · large-scale

大规模视频推理 dataset suite, 强调时空一致性、连续/交互/因果, 弥补现有视频质量评测忽略推理的局限

论文作者 (56 author) · 2026-02 · large-scale

包含25亿张图像和相应的文本描述，适用于多模态模型的训练。

大型图像数据集，包含数百万张标注图像，广泛用于计算机视觉任务。

通用物体识别与分割数据集，适用于目标检测和图像分割任务。

经典的小规模图像分类数据集，包含10或100个类别的标注图像。

城市街景语义分割数据集，支持自动驾驶和计算机视觉研究。

包含大量标注图像的数据集，适用于计算机视觉任务。

包含20,500多张不同狗品种的图像数据集。

由Waymo发布的最多样化的自动驾驶数据集。

自动驾驶领域经典数据集，包含立体视觉、激光雷达等多模态数据。

WMT 年度 General MT 任务评测集 · 业界翻译金标准 · 翻译模型上线前必抱

WMT 组委会 · 2024-09 · 11 语对·多领域高质评测集

WMT23 双语训练集集合 (Europarl + News-Commentary + ParaCrawl + CommonCrawl + UN 等)

WMT 组委会 · 2023-12 · 中英/俄英/德英 等 × 多百万 句对

从 CommonCrawl 挖掘的双射2 句对 · 迄今最大 web 挖掘平行语料

Meta · 2020-11 · 45B 句对 · 90 语种

欧盟资助的 EU 多语种 web crawl 平行语料 (正式社区最大之一)

欧盟 / U Edinburgh · 2022-06 · 3.5B 句对 · EU 23 语种

影视字幕平行语料 · 口语化上下文训练首选

OPUS / Helsinki NLP · 2018-05 · 3.7B 句对 · 65 语种

维基百科跨语言对齐句对替代联网 · LASER 句嵌入挖掘

Meta · 2019-07 · 135M 句对 · 1620 语对

OPUS 语料的 100 语对采样子集 · 学术评测最常用 baseline

Helsinki NLP · 2020-04 · 55M 句对 · 100 语对 (与英对)

NTT 从日本 web 挖掘的高质日英平行语料

NTT 实验室 · 2021-09 · 21.8M 日英平行句对

TED 演讲多语种字幕平行语料 · 口语/报告风格训练集

OPUS / TED Open Translation Project · 2020-08 · 2.7M 句对 · 100+ 语种

联合国官方文件全人工翻译五五对齐 · 中英/法英 高质金标准平行语料

UN / U Edinburgh · 2016-05 · 86M 完美对齐句对 · 6 UN 语种 (en/zh/fr/es/ar/ru)

腾讯 WeChat AI 开源的中英书籍译本平行集 · 面向文学型高质译集

WeChat AI / Tencent · 2022-10 · 9.6M 中英书籍句对

中英机译经典评测集 · 近 20 年中英 MT 论文金标准

NIST / LDC · 2002-2012 · 多年度评测集 (MT02-MT08 等)

ALMA 翻译模型 CPO 训练用偏好集 · 译质超 GPT-4 (在 LLM 译者赛道)

JHU / Microsoft · 2024-04 · 6 语对 · 三元偏好数据

200 语种平行评测集 (NLLB 训练 + 评测标准)

Meta · 2022-07 · 200 语种 × 2009 句

NLLB 数据生成种子，39 个低资源语种人工翻译

Meta · 2022-06 · 39 低资源语种 × 6193 句

全球 3000+ 语言学者贡献的多语 SFT 数据

Cohere For AI · 2024-02 · 513M 样本 / 114 语种

534 语种文本语料，扩展 BLOOM/Glot 训练覆盖

LMU Munich · 2023-05 · 534 语种语料

Google 大规模多语 web 语料，419 语种

Google · 2023-09 · 3T tokens / 419 语种

FLAN + GPT-4 推理过程蒸馏的指令数据

Open-Orca · 2023-07 · 4M GPT-4 + 1M GPT-3.5 augmented

Tulu 3 模型的 SFT mix，覆盖数学/推理/代码/对话

Allen AI · 2024-11 · 939K 高质 SFT 数据

社区最流行 SFT mix，多源 GPT-4 数据混合

Teknium · 2024-01 · 1M GPT-4 蒸馏指令

真实用户与 ChatGPT 交互日志，研究用户分布最佳数据

Allen AI / Cornell · 2024-05 · 1M 真实用户 ↔ ChatGPT 对话

众包多语多轮对话，含人工评分 (RLHF reward 训练用)

LAION / Open Assistant · 2023-04 / 2023-12 · 161K conversation trees

GPT-4 评分的偏好数据，DPO 训练标准集

OpenBMB / THU · 2023-10 · 64K (prompt, 4 responses, GPT-4 ratings)

用户共享 ChatGPT 对话，Vicuna 训练源

社区匿名 · 2023-03 · 90K 真实 ChatGPT 对话

Llama-3 自蒸馏 + alignment-only prompting，零成本生成 SFT 数据

U Washington / Allen AI · 2024-06 · 1M 高质合成指令

用 LLM 自迭代生成指令的奠基方法 (Alpaca / Vicuna 路径起点)

U Washington / Tehran U · 2022-12 · 52K 自生成指令

RLAIF 奠基方法 - 用 AI 反馈替代人工反馈

Anthropic · 2022-12 · 方法 / 未公开数据

Self-Rewarding LM - 模型自评分自训练，3 轮可超越 GPT-4 (AlpacaEval)

Meta · 2024-01 · 方法

用 LLM 进化简单指令为复杂指令 (depth + breadth evolving)

Microsoft / Peking U · 2023-04 · 70K 进化指令

PALI 系列用 SDXL 反向蒸馏 caption，证明合成 caption 优于网页 caption

Google · 2023-10 · 方法 / 内部数据

VLM 的开源 RLAIF 数据，幻觉降低 70%

OpenBMB / THU · 2024-05 · 83K AI 反馈对

alignment-only prompting 让 LLM 主动生成训练数据 (无需任何 seed)

U Washington / Allen AI · 2024-06 · Llama-3 self-distillation 范式

Mixtral-8x7B 大规模合成教育内容，证明合成数据可用于预训练

HuggingFace · 2024-02 · 25B token 教科书风格合成

Phi 系列证明高质合成数据让小模型超越大模型

Microsoft · 2023-09 · 20B token GPT-3.5 合成教科书

Software Heritage 全量代码语料，去毒去 PII，StarCoder2 训练基础

BigCode · 2024-02 · 67TB / 658 lang

Code 任务版 Alpaca-style 指令

Sahil2801 · 2023-04 · 20K instruct

OSS 真实代码片段 → seed 指令生成，多样性强

ISE-UIUC · 2023-12 · 75K

GitHub commit 语料，code-instruct 微调佳品

BigCode · 2023-08 · 4TB / 350 lang

代码生成 + 执行反馈 + revision 多轮数据

OpenCodeInterpreter · 2024-02 · 68K turn

test-case 验证过的高质代码 SFT，用于 RLVR

TIGER-Lab · 2025-02 · 87K

RLHF 经典 helpful + harmless 偏好对

Anthropic · 2022-04 · 170K

Process Reward Model: 数学解题每步打标

OpenAI · 2023-05 · 800K step-level label

RewardBench top1 训练集，SFT-friendly preference

Skywork · 2024-09 · 80K

Starling-7B 用的 7-way 排序偏好数据

Berkeley-Nest · 2023-11 · 183K

众包多语 OASST 数据，含偏好对比

LAION · 2023-04 · 161K conversation

去除 reward model 6 类偏见的 debias 训练对

NCSOFT · 2024-07 · 20K

数学 step-level DPO 数据

xinlai · 2024-06 · 10K

众包多语 ASR 大型公开数据

Mozilla · 2024-09 · 30K+ 小时 / 124 lang

英文大规模高质量 ASR

SpeechColab · 2021-06 · 10K 小时 audiobook+podcast

MLCommons 开源大型英文 ASR

MLCommons · 2021-10 · 30K 小时

野生场景 TTS 训练大数据

Amphion · 2024-07 · 101K 小时 / 6 lang

YouTube 通用声音事件分类大型集

Google · 2017-03 · 5800 小时 / 632 类

AudioSet 子集众包 caption，audio-LLM 训练

Korean Univ. · 2019-06 · 51K

ChatGPT 重写音频字幕，audio-text 大规模

XinhaoMei · 2023-03 · 400K

speech-LM 通用指令数据

Audio-AGI · 2024-03 · 23K instruct

包含超过40,000个口语描述的音频数据集。

包含1000小时英语语音数据，适用于语音识别模型训练。

包含数千个语音命令的音频数据集，适用于语音识别任务。

搜索引擎查询日志 → 段落检索经典

Microsoft · 2018-11 · 8.8M 段落 / 530K 查询

BGE-M3 预训练用文本对

BAAI · 2023-08 · 100M+ pair

Instruction-tuned embedding 训练集

HKUST · 2022-12 · 330 任务

GTE 模型用的多语合成对

Alibaba · 2023-08 · 788M 对

21 机构联合开放的机器人操作数据集，RT-X 训练

DeepMind+ · 2023-10 · 1.4M 轨迹 / 22 机器人

野生场景大规模操作数据

Stanford · 2024-03 · 76K 轨迹 / 564 场景

迄今最大开源 3D 资产库，3D LLM/Gen 训练

Allen AI · 2023-07 · 10M 3D 物体

高精度室内 3D 重建 + 注释数据集

TUM · 2023-08 · 460 室内场景

从网络平台上爬取的用户行为数据，适用于训练交互式代理。

用于物理模拟的机器人交互数据集，适用于强化学习和机器人控制任务。

提供了多种机器人交互数据集，支持机器人学习和控制任务。

经典的Atari游戏数据集，用于强化学习算法的基准测试。

包含数百万篇arXiv学术论文的元数据和全文，适用于文本挖掘研究。

用于评估AI常识推理和解决问题能力的多选题数据集。

包含45,000篇关于COVID-19的学术文章，适用于医疗AI研究。

欧盟统计局提供的经济、人口、社会等多领域统计数据。

世界银行提供的全球经济指标、发展数据及统计报告。

美国政府开放数据平台，涵盖农业、气候、教育、能源等领域的公开数据集。

NASA地球科学数据，涵盖气候、地质、环境等领域的遥感数据。

开源地理数据协作项目，提供全球范围的道路、建筑等地理信息数据。

涵盖政治、体育、文化等领域的数据集，常用于数据新闻分析。

包含商家信息、用户评论和图片数据，适用于商业分析和NLP任务。

世界卫生组织提供的全球公共卫生统计数据，包括疾病、营养等主题。

美国疾病控制与预防中心发布的公共卫生数据集，涵盖疾病追踪和健康统计。

包含人体蛋白质分布的组织图像数据，支持生物医学研究。

提供了丰富的开源数据集，涵盖多种领域和语言，支持自然语言处理、计算机视觉等多种任务。

致力于收集和整理高质量的开源数据集，方便研究人员和开发者使用。

谷歌提供的数据集搜索工具，可帮助用户找到来自不同来源的公开数据集。

Kaggle平台上的开源数据集，涉及各种领域和任务，常用于数据竞赛和实践。

提供了多种开源数据集，支持模型的训练和评估，涵盖多个领域。

专注于中文领域的开源数据集，包括自然语言处理、语音识别等方向。

在GitHub上整理的优秀的公开数据集资源，涉及多个领域和方向。

提供了大量的公开数据集，涵盖多个领域，可在亚马逊云服务上直接访问和使用。

阿里云天池平台提供的开源数据集，涵盖多个领域的竞赛数据和公开数据。

加州大学欧文分校提供的开源数据集，涵盖多个领域，常用于机器学习研究。

北京智源人工智能研究院提供的开源数据集，涵盖多个领域，支持大模型的训练。

百度飞桨平台提供的开源数据集，支持深度学习模型的训练和评估。

开源平台提供的多种开源数据集，涵盖多个领域，支持模型的训练和研究。

专注于计算机视觉领域的开源数据集，支持相关模型的训练和评估。