FineWeb

★ 重点关注

FineWeb

发布方 HuggingFace 发布 2024-04 规模 15T tokens (英文)

预训练语料单一数据集全球商用友好 pretrain huggingface

来源描述

CommonCrawl 重新过滤的高质 web 语料，质量比肩 Llama-3 私有数据

ODC-By v1.0

近 30 天下载

370.4K

3.7K

当今开源英文预训练语料的事实基准：15T token，把「Common Crawl 怎么洗才算洗干净」这件事做成了可复现的公开配方。想验证自己的清洗链路够不够好，先用它当对照——它的价值不在数据本身，在于它公开了每一刀为什么切。

FineWeb 中教育相关高分子集，下游 benchmark 显著提升

DataComp-LM 公开 baseline 数据，与 FineWeb 对位竞争

OLMo 模型的开源预训练语料，多源混合 + 全链路开放

Llama 训练数据复刻 + 扩展，含质量分数 + 重复检测

提供了大量的网页爬取数据，可用于语言模型的训练。

由多个数据集组成的大型语言模型训练数据集，涵盖多种文本类型。

领域、训练阶段、用途、License 分级与本刊判断由本刊维护；下载量 / 点赞 / 更新时间 / 实测规模来自 HuggingFace Hub 官方 API 与 datasets-server，每周自动刷新。规模、许可证与商用授权最终请以原站为准。