Nemotron-CC

CommonCrawl 重新过滤的高质 web 语料，质量比肩 Llama-3 私有数据

FineWeb 中教育相关高分子集，下游 benchmark 显著提升

DataComp-LM 公开 baseline 数据，与 FineWeb 对位竞争

OLMo 模型的开源预训练语料，多源混合 + 全链路开放

Llama 训练数据复刻 + 扩展，含质量分数 + 重复检测

提供了大量的网页爬取数据，可用于语言模型的训练。