Dolma

CommonCrawl 重新过滤的高质 web 语料，质量比肩 Llama-3 私有数据

FineWeb 中教育相关高分子集，下游 benchmark 显著提升

DataComp-LM 公开 baseline 数据，与 FineWeb 对位竞争

Llama 训练数据复刻 + 扩展，含质量分数 + 重复检测

提供了大量的网页爬取数据，可用于语言模型的训练。

由多个数据集组成的大型语言模型训练数据集，涵盖多种文本类型。