返回数据集雷达

WMT 23 Bilingual

WMT 23 Bilingual

发布方 WMT 组委会 发布 2023-12 规模 中英/俄英/德英 等 × 多百万 句对
翻译与多语 单一数据集 全球 商用友好 translation
访问 www2.statmt.org

来源描述

WMT23 双语训练集集合 (Europarl + News-Commentary + ParaCrawl + CommonCrawl + UN 等)

混合 license; 多数可商用, 少量子集只能研究

HuggingFace 实测指标

这一条没有可靠的 HuggingFace 仓库——它只在自家站点发布（WARC / tar 包 / 需签署协议 / 仅存于 GitHub）， 或者 HF 上的同名仓库是第三方子集与镜像，接上去会给出误导性的下载量。宁可留空，也不挂错数字。

训练阶段（本刊判断）

中训练 SFT

同领域 · 翻译与多语

FLORES-200 ★

200 语种平行评测集 (NLLB 训练 + 评测标准)
Aya Collection ★

全球 3000+ 语言学者贡献的多语 SFT 数据
WMT24 (General MT)

WMT 年度 General MT 任务评测集 · 业界翻译金标准 · 翻译模型上线前必抱
CCMatrix

从 CommonCrawl 挖掘的双射2 句对 · 迄今最大 web 挖掘平行语料
ParaCrawl v9

欧盟资助的 EU 多语种 web crawl 平行语料 (正式社区最大之一)
OpenSubtitles 2018

影视字幕平行语料 · 口语化上下文训练首选

领域、训练阶段、用途、License 分级与本刊判断由本刊维护； 规模、许可证与商用授权最终请以 原站 为准。