OpenSubtitles 2018

发布方 OPUS / Helsinki NLP 发布 2018-05 规模 3.7B 句对 · 65 语种

翻译与多语单一数据集全球不明 translation

来源描述

影视字幕平行语料 · 口语化上下文训练首选

字幕原始版权不明 · 学术使用广泛但商用需谨慎

这一条没有可靠的 HuggingFace 仓库——它只在自家站点发布（WARC / tar 包 / 需签署协议 / 仅存于 GitHub），或者 HF 上的同名仓库是第三方子集与镜像，接上去会给出误导性的下载量。宁可留空，也不挂错数字。

200 语种平行评测集 (NLLB 训练 + 评测标准)

全球 3000+ 语言学者贡献的多语 SFT 数据

WMT 年度 General MT 任务评测集 · 业界翻译金标准 · 翻译模型上线前必抱

WMT23 双语训练集集合 (Europarl + News-Commentary + ParaCrawl + CommonCrawl + UN 等)

从 CommonCrawl 挖掘的双射2 句对 · 迄今最大 web 挖掘平行语料

欧盟资助的 EU 多语种 web crawl 平行语料 (正式社区最大之一)

领域、训练阶段、用途、License 分级与本刊判断由本刊维护；规模、许可证与商用授权最终请以原站为准。