JParaCrawl v3

发布方 NTT 实验室发布 2021-09 规模 21.8M 日英平行句对

翻译与多语单一数据集全球仅研究 translation

来源描述

NTT 从日本 web 挖掘的高质日英平行语料

NTT 授权 · 仅限研究使用

这一条没有可靠的 HuggingFace 仓库——它只在自家站点发布（WARC / tar 包 / 需签署协议 / 仅存于 GitHub），或者 HF 上的同名仓库是第三方子集与镜像，接上去会给出误导性的下载量。宁可留空，也不挂错数字。

200 语种平行评测集 (NLLB 训练 + 评测标准)

全球 3000+ 语言学者贡献的多语 SFT 数据

WMT 年度 General MT 任务评测集 · 业界翻译金标准 · 翻译模型上线前必抱

WMT23 双语训练集集合 (Europarl + News-Commentary + ParaCrawl + CommonCrawl + UN 等)

从 CommonCrawl 挖掘的双射2 句对 · 迄今最大 web 挖掘平行语料

欧盟资助的 EU 多语种 web crawl 平行语料 (正式社区最大之一)

领域、训练阶段、用途、License 分级与本刊判断由本刊维护；规模、许可证与商用授权最终请以原站为准。