返回数据集雷达
Aya Collection
★ 重点关注Aya Collection
发布方 Cohere For AI 发布 2024-02 规模 513M 样本 / 114 语种
翻译与多语 单一数据集 全球 商用友好 multilingual
访问 huggingface.co 来源描述
全球 3000+ 语言学者贡献的多语 SFT 数据
Apache 2.0
HuggingFace 实测指标
CohereLabs/aya_collection ↗近 30 天下载
14.6K
点赞
251
最近更新
2025-04-15
HF 授权标签
apache-2.0
datasets-server 实测规模
511.4M 条 · 144.2 GB
由 HuggingFace datasets-server 现算，不是榜单页手写的数字
HF 规模档 100M<n<1B ace afr amh ara aze ban
训练阶段（本刊判断）
为什么值得盯
513M 样本 / 114 语种的人工标注指令数据，多语指令微调少有的真实来源。非英语后训练长期以来缺的就是这个量级的东西。
同领域 · 翻译与多语
FLORES-200 ★
200 语种平行评测集 (NLLB 训练 + 评测标准)
WMT24 (General MT)
WMT 年度 General MT 任务评测集 · 业界翻译金标准 · 翻译模型上线前必抱
WMT 23 Bilingual
WMT23 双语训练集集合 (Europarl + News-Commentary + ParaCrawl + CommonCrawl + UN 等)
CCMatrix
从 CommonCrawl 挖掘的双射2 句对 · 迄今最大 web 挖掘平行语料
ParaCrawl v9
欧盟资助的 EU 多语种 web crawl 平行语料 (正式社区最大之一)
OpenSubtitles 2018
影视字幕平行语料 · 口语化上下文训练首选
领域、训练阶段、用途、License 分级与本刊判断由本刊维护； 下载量 / 点赞 / 更新时间 / 实测规模来自 HuggingFace Hub 官方 API 与 datasets-server，每周自动刷新。 规模、许可证与商用授权最终请以 原站 为准。