LOADING載入中
微软完成MAI-Base-2预训练:总参数2.8万亿,算力效率据称为DeepSeek 4至12倍
微软宣布,新一代基础模型MAI-Base-2已完成预训练,官方称其性能超过所有参与测试的开源权重模型。该模型总参数量达2.8万亿,活跃参数800亿,使用6000块英伟达GB200 GPU训练38天,平均浮点算力利用率为21%,有效吞吐量达89%。微软表示,其预训练算力效率是DeepSeek-V4-Pro-Base的4至12倍,并将成果归因于规模化训练、模型与基础设施协同设计及数据规模化。微软同时已启动MAI-Base-3筹备工作。
評論
0