LOADINGLoading
美团开源LongCat-2.5,长序列微调单卡吞吐提升86%
美团11月10日开源原生多模态模型LongCat-2.5,采用MIT协议,支持商业推理部署和二次训练。模型权重已上线Hugging Face,并同步开放技术博客及API平台。该模型面向长程智能体任务,总参数量1.6万亿,每个token激活约480亿参数,支持100万上下文;视觉信息以多层级离散token形式与文本由同一主干处理,面向代码开发、视觉编程和专业办公等场景。推理侧采用W4A4量化方案;训练侧通过FSDP双重分片和混合词表并行缓解显存压力。在长序列监督微调中,其单卡吞吐量较DDP基线提升86%。
Comments
0