前OpenAI安全VP翁荔发布Scaling Laws长文,聚焦模型数据配比偏差

前OpenAI安全研究副总裁、Thinking Machines Lab联合创始人翁荔在个人博客Lil’Log发布逾万字文章《Scaling Laws, Carefully》,系统梳理大模型Scaling Laws研究。文章对比OpenAI Kaplan论文与DeepMind Chinchilla实验,指出模型参数与训练数据应接近等比扩展,约为1:20;Kaplan结论受小模型外推和参数统计口径影响。她还提及Epoch AI复现发现Chinchilla拟合代码问题,并强调高质量文本数据或在2026至2028年趋紧,重复训练收益递减。

上一篇:

下一篇:

发表回复

登录后才能评论