百度开源2800亿参数文心5.5Flash Base基座模型

11月5日，百度开源文心5.5Flash Base基座模型。该模型采用MoE架构，总参数量2800亿、激活参数140亿，使用33.5万亿Token完成预训练；预训练上下文长度达128K，微调及推理阶段支持最长100万Token。百度称，模型在知识、推理、数学、代码、多语言和长上下文等基准测试中刷新同尺寸模型最佳成绩。模型还引入稀疏注意力机制、多路由专家机制及ECHO训练目标，并优化分布式Muon优化器、推出FlashMask-4注意力算子，以提升训练效率。