返回数据集雷达

DCLM-Pool

★ 重点关注

DCLM-Pool

发布方 Apple / U Washington 发布 2024-06 规模 240T tokens (raw) / 4T (filtered)
预训练语料 单一数据集 美国 商用友好 pretrain
访问 www.datacomp.ai

来源描述

DataComp-LM 公开 baseline 数据，与 FineWeb 对位竞争

DCLM 协议

HuggingFace 实测指标

mlfoundations/dclm-baseline-1.0 ↗
近 30 天下载
333.7K
点赞
333
最近更新
2024-07-22
HF 授权标签
cc-by-4.0
datasets-server 实测规模
该语料按分片文件组织，datasets-server 数出来的是分片数而非文档数，只给字节量；标称规模请回原站核对。
HF 规模档 1B<n<10B

训练阶段（本刊判断）

预训练

为什么值得盯

DCLM 的原料池，240T raw / 4T filtered。真正的看点是它把「模型-based 过滤」的成本与收益摊开算了一遍——过滤不是免费的，这笔账值得所有人抄一遍算法。

同领域 · 预训练语料

FineWeb ★

CommonCrawl 重新过滤的高质 web 语料，质量比肩 Llama-3 私有数据
FineWeb-Edu ★

FineWeb 中教育相关高分子集，下游 benchmark 显著提升
Dolma ★

OLMo 模型的开源预训练语料，多源混合 + 全链路开放
RedPajama-V2 ★

Llama 训练数据复刻 + 扩展，含质量分数 + 重复检测
Common Crawl ★

提供了大量的网页爬取数据，可用于语言模型的训练。
The Pile ★

由多个数据集组成的大型语言模型训练数据集，涵盖多种文本类型。

领域、训练阶段、用途、License 分级与本刊判断由本刊维护； 下载量 / 点赞 / 更新时间 / 实测规模来自 HuggingFace Hub 官方 API 与 datasets-server，每周自动刷新。 规模、许可证与商用授权最终请以 原站 为准。