上海AI Lab与上交大发布8.9B隐空间模型NCP-ArchPreview，预训练Token开销降至51.3%

上海人工智能实验室与上海交通大学人工智能学院LUMIA Lab提出新预训练范式“下一个概念预测”（NCP），并发布8.9B离散隐空间基座模型NCP-ArchPreview。该模型基于5.73T Dolma-3语料训练，仅用51.3%的Token预算即追平OLMo-3-7B最终预训练Loss，等效收敛速度提升1.95倍、计算帕累托效率提升1.74倍。下游任务综合成绩领先2.45分，GSM8K提升近6分。团队称，其微调仅需17M隐空间参数即可超越LoRA，并已开源阶段性Checkpoint、评测框架等资产。