Phi-1.5 Synthetic

发布方 Microsoft 发布 2023-09 规模 20B token GPT-3.5 合成教科书

合成与数据飞轮单一数据集美国受限 synthetic

来源描述

Phi 系列证明高质合成数据让小模型超越大模型

数据未公开，方法 + 模型公开

这一条没有可靠的 HuggingFace 仓库——它只在自家站点发布（WARC / tar 包 / 需签署协议 / 仅存于 GitHub），或者 HF 上的同名仓库是第三方子集与镜像，接上去会给出误导性的下载量。宁可留空，也不挂错数字。

合成数据

Mixtral-8x7B 大规模合成教育内容，证明合成数据可用于预训练

用 LLM 自迭代生成指令的奠基方法 (Alpaca / Vicuna 路径起点)

RLAIF 奠基方法 - 用 AI 反馈替代人工反馈

Self-Rewarding LM - 模型自评分自训练，3 轮可超越 GPT-4 (AlpacaEval)

用 LLM 进化简单指令为复杂指令 (depth + breadth evolving)

PALI 系列用 SDXL 反向蒸馏 caption，证明合成 caption 优于网页 caption

领域、训练阶段、用途、License 分级与本刊判断由本刊维护；规模、许可证与商用授权最终请以原站为准。