LOADING加载中
美团开源1.6T参数大模型LongCat-2.0,基于5万卡国产算力训练
近日,美团发布并开源万亿参数大模型 LongCat-2.0,总参数量约1.6T。该模型在约5万卡国产算力集群上完成全流程训练与推理,验证了国产软硬件在超大规模分布式计算中的可行性。LongCat-2.0 采用动态范围架构设计,激活参数约48B,动态范围为33B至56B。模型预训练数据规模超过30T tokens,覆盖中英文、多语言及高质量代码语料,并原生支持最高1M上下文长度,可用于长文档分析、复杂代码处理等场景。美团表示,此次全面开源旨在推动开发者社区协作,加速大模型技术交流与应用落地。
评论
0