LOADING載入中
課程介紹
HuggingFace 官方对齐配方手册,提供复现 Zephyr-7B-β、SmolLM3、StarChat2 等开源对齐模型的完整训练命令、YAML 配方与数据说明,从继续预训练、SFT 到 DPO、ORPO、RLAIF、Constitutional AI 全链路覆盖。适合已经会调用大模型、想亲手把开源基座『对齐』成可用产品的进阶工程师,照着做即可复现与论文一致的知名模型。
課程目錄
手册导读与安装(README + 环境准备)
训练与评估脚本总览(SFT / DPO / ORPO 三套入口)
复现 Zephyr-7B-β(SFT + DPO 基准配方)
复现 SmolLM3-3B(Mid-Training → SFT → DPO 进阶配方)
复现 StarChat2-15B / Zephyr 141B(ORPO / 大模型配方)
RLAIF 与 Constitutional AI 配方
評論
0