阿里通义千问团队近日开源多模态MoE模型Qwen3.8-Flash-Next，定位为Qwen4架构早期预览。模型总参数1250亿，另含510亿参数N-gram嵌入表和40亿参数多token预测模块，每个token仅激活60亿参数。其采用48层网络、512个专家与top-10路由，引入GDN与QSA混合注意力、门控残差连接和稀疏注意力设计，原生256K上下文可通过YaRN扩展至1M。官方称训练成本为Qwen3.7-Plus的九分之一，SGLang已在发布首日提供部署支持。
阿里通义千问团队近日开源多模态MoE模型Qwen3.8-Flash-Next，定位为Qwen4架构早期预览。模型总参数1250亿，另含510亿参数N-gram嵌入表和40亿参数多token预测模块，每个token仅激活60亿参数。其采用48层网络、512个专家与top-10路由，引入GDN与QSA混合注意力、门控残差连接和稀疏注意力设计，原生256K上下文可通过YaRN扩展至1M。官方称训练成本为Qwen3.7-Plus的九分之一，SGLang已在发布首日提供部署支持。