月之暗面在GTC2026公布Kimi K2.5技术路线,三项基础组件替代方案开源

在GTC2026演讲中,月之暗面CEO杨植麟介绍Kimi K2.5背后的技术路线,称公司已开源三项Transformer基础组件替代方案:以MuonClip替代Adam优化器,提升数据利用效率,并通过QK-Clip支撑万亿参数训练稳定;以Kimi Linear和KDA线性注意力优化长上下文效率;以Attention Residue替代传统残差连接,使模型可在前序层历史中选择信息。杨植麟还披露,K2.5采用视觉与文本早期融合训练,并支持Agent Swarm多智能体协作,K2.6并行上限提升至300个Agent。

上一篇:

下一篇:

发表回复

登录后才能评论