PRM800K

★ 重点关注

PRM800K

发布方 OpenAI 发布 2023-05 规模 800K step-level label

偏好与对齐单一数据集美国仅研究 rlhf reward-model

来源描述

Process Reward Model: 数学解题每步打标

MIT (代码) + 研究用途

近 30 天下载

800K 步级标注，过程奖励模型（PRM）的起点。它的核心贡献是一个判断：只奖励最终答案不够，得奖励「每一步对不对」——这个判断后来成了推理 RL 的共识。

RLHF 经典 helpful + harmless 偏好对

RewardBench top1 训练集，SFT-friendly preference

Starling-7B 用的 7-way 排序偏好数据

众包多语 OASST 数据，含偏好对比

去除 reward model 6 类偏见的 debias 训练对

数学 step-level DPO 数据

领域、训练阶段、用途、License 分级与本刊判断由本刊维护；下载量 / 点赞 / 更新时间 / 实测规模来自 HuggingFace Hub 官方 API 与 datasets-server，每周自动刷新。规模、许可证与商用授权最终请以原站为准。