数据工程·语种识别过滤台
《AI 数据全书》· 第 6 章 · 语种识别与质量过滤从「这是什么语言」到「该留还是该删」——语种识别是第一道关卡，质量过滤决定数据池的形状
🔴 为什么必须分组：下方第二组的 0.966 是 语码转换场景、0.929 是 GlotLID-C 基准、0.836 是阿拉伯方言 Avg——把它们与第一组的 CommonLID 分数放进同一行比较， 会读出「XLM-R > UniLID > Gherbal > CommonLingua」，与书籍结论完全相反（书里：CommonLingua macro F1 领先次优基线 +11.5 个点，0.788 vs 0.673）。 另：新闻稿宣传的「准确率 83%」取的是 Equiv Acc 82.92%，不是 Strict Acc 77.63%。
无分词器 · UTF-8 字节级 · Causal Conv1D×3 + 双向 Attention×1 + RoPE
📖 联合新闻稿宣传的「准确率 83%」取的是 Equiv Acc 82.92%， 不是 Strict Acc 77.63%——两列口径不同，看到 83% 别以为工具错了。
- 📖 输入按 ≤512 字节截断（paragraph 为单位，不足则 padding）
- 📖 trigram 哈希嵌入消融：+1.2 macro F1
- 📖 官方原句：not assessed on very short text segments and will likely perform less well than alternatives
切换模型时两个阈值会自动回到该模型的默认值——CommonLingua 是 0.6 / 15，fastText 是 0.5 / 10。 阈值不是通用常数，跟着置信度分布走。
ni hao shi jie wo men yi qi lai xue xi da mo xing shu ju gong cheng zhe men ke cheng fei chang you yi si
- 误判为
- en / id
- 原因
- 拼音被识别为印尼语
- 解决
- 用 CommonLingua / GlotLID 补充
Macro F1 差距仅 0.015，但 UniLID零额外模型 · 零额外内存——直接复用 LLM 自带的 UnigramLM 分词器算各语种子词单元的负对数似然（arXiv:2602.17655，ICML 2026）。
⚠️ GlotLID-C 与 CommonLID 是不同基准，数值不可横向对比。
| 文本类型 | 误判为 | 原因 | 解决 |
|---|---|---|---|
| 代码 + 英文注释 | en | 注释主导 | 先剥离代码再识别 |
| 超短文本（<10 字符） | unknown | 信息不足 | 拒绝短文本 |
| 拼音（拉丁化中文） | en / id | 拼音被识别为印尼语 | 用 CommonLingua / GlotLID 补充 |
| 古文（繁体） | ja | 繁体字与日文汉字相似 | 用专门古文分类器 |
| 纯数字日志 | unknown | 数字不含语种信息 | 先剥离数字 |
| 阿拉伯语方言 | ar（MSA） | 方言与现代标准阿语混淆 | 用 Gherbal v4（16/16 方言分类，Avg Acc 0.836，200MB） |
⚠️ 上方概率为按各模型在 CommonLID / GlotLID-C 等基准上的公开指标折算的示意性分数，用于演示「阈值 × min_text_length × 模型能力」三者如何共同决定判定结果， 并非真实模型推理输出。真实部署请以 CommonLingua / fastText / GlotLID 官方推理结果为准。
一手源： PleIAs/CommonLingua 官方模型卡 · google/cld3 · arXiv:2608.00581（语码转换，XLM-R LID v2 0.966）
LangID 概率为按各模型公开指标折算的示意性分布，3-gram 归因基于字符码位与拉丁语系特征词做确定性 判定， PPL 分布与 QuRating 打分为示意性生成——全部用于演示判定与采样逻辑，非真实模型推理结果。 章节中标注「待验证」的数字（UniLID 0.929 / XLM-R LID v2 0.966 / 双模型一致性 98.91%）已在对应位置保留标注。
📖 = 文献值（引自书籍 / 官方模型卡 / 论文）· 🧮 = 浏览器内真算 · ⚠️ = 教学参数或教学模型，非官方指标。
数据截至 2026-10-27，来源：《AI 数据全书》§6.2（含 2026-09-19 与 2026-10-08 两次订正）+ PleIAs/CommonLingua 官方模型卡 + CommonLID 论文。