面壁智能联合清华大学及OpenBMB社区发布并开源低比特大模型BitCPM-CANN,基于华为昇腾平台原生开发,提供0.5B至8B多尺寸模型。相比传统BF16精度方案,其在推理阶段可释放约6倍显存,显著降低大模型运行硬件门槛,使8B级模型可在主流旗舰手机端流畅运行。测试显示,该模型能力保留率达90%至97.2%,兼顾轻量化与性能稳定性。项目同时构建完整低比特训练体系,支持32K长序列与算子融合,验证了技术的工程可复现性与扩展潜力。
面壁智能联合清华大学及OpenBMB社区发布并开源低比特大模型BitCPM-CANN,基于华为昇腾平台原生开发,提供0.5B至8B多尺寸模型。相比传统BF16精度方案,其在推理阶段可释放约6倍显存,显著降低大模型运行硬件门槛,使8B级模型可在主流旗舰手机端流畅运行。测试显示,该模型能力保留率达90%至97.2%,兼顾轻量化与性能稳定性。项目同时构建完整低比特训练体系,支持32K长序列与算子融合,验证了技术的工程可复现性与扩展潜力。