LOADINGLoading
斯坦福与Together AI提出NCM文本生成范式,速度提升最高31倍
斯坦福大学与Together AI研究人员提出新型文本生成范式Next-Concept Modeling(NCM,下一概念建模),区别于传统自回归和扩散模型。该方法采用两阶段训练:先通过多尺度残差VQ-VAE构建分层离散文本编码,再训练Transformer预测下一层编码。生成时,NCM先并行生成概念层大纲,再逐层补充细节并组合成完整文本。实验显示,在生成质量相近或更优的情况下,NCM较扩散语言模型提速10至31倍,并减少训练所需Token数量;在数独等推理任务中也优于相关基线模型。目前其模型规模较小,扩展后的性能及长文本生成能力仍待验证。
Comments
0