面壁智能联合清华大学及OpenBMB开源社区发布并开源基于华为昇腾平台训练的三值(1.58-bit)大模型BitCPM-CANN,实现低比特大模型训练突破。模型提供0.5B至8B多种规模,在对比同尺寸MiniCPM4评测中表现良好,推理阶段可节省约6倍显存,使8B模型可在主流旗舰手机运行。项目基于MindSpeed与Megatron-LM构建完整低比特训练体系,支持32K长序列等能力,相关权重已上线HuggingFace和ModelScope。
面壁智能联合清华大学及OpenBMB开源社区发布并开源基于华为昇腾平台训练的三值(1.58-bit)大模型BitCPM-CANN,实现低比特大模型训练突破。模型提供0.5B至8B多种规模,在对比同尺寸MiniCPM4评测中表现良好,推理阶段可节省约6倍显存,使8B模型可在主流旗舰手机运行。项目基于MindSpeed与Megatron-LM构建完整低比特训练体系,支持32K长序列等能力,相关权重已上线HuggingFace和ModelScope。