上海AI Lab与上交大提出NCP预训练范式,发布8.9B隐空间模型

上海人工智能实验室与上海交通大学人工智能学院LUMIA Lab提出预训练任务“下一个概念预测”(NCP),并发布8.9B规模离散隐空间基座模型NCP-ArchPreview。该模型基于5.73T Dolma-3语料预训练,以51.3%的Token预算追平OLMo-3-7B最终预训练Loss,等效收敛速度提升1.95倍,计算帕累托效率提升1.74倍。下游任务综合表现提升2.45分,GSM8K提升近6分。团队称,仅微调17M隐空间参数可超越LoRA,并降低显存占用;相关Checkpoint、评测框架等资产已开源。

上一篇:

下一篇:

发表回复

登录后才能评论