由德国人工智能协会协调的研究联盟近日发布开源大语言模型 Soofi S30B-A3B。该模型采用混合专家架构，结合 Mamba-2 与标准注意力层，总参数量316亿，生成时每个 token 约激活32亿参数，在4万 token 上下文下吞吐量约为同规模稠密模型8倍。模型训练使用27万亿 token，并提高德语语料占比。测试显示，其在英语、德语、代码生成和专业推理等任务中超过 OLMo 32B、Apertus 70B 等开源模型。训练在德国电信工业人工智能云完成，使用512块 Nvidia B200 GPU，后续将开源权重、评估代码和数据清单。
