腾讯近期推出混元4预览版（Hy4preview），模型参数规模达770B，支持百万级上下文。此前腾讯在约四个月内完成混元大语言与多模态部门重组。公开信息显示，混元4在网络结构上采用6144隐藏维度、78层和64个注意力头，并在长上下文处理上融合稀疏注意力、跨层索引复用等开源技术成果，以降低超长上下文计算开销。曾参与智谱GLM-5架构及DSA工作的白雨石已加入腾讯混元团队，并参与相关长上下文稀疏注意力论文。
腾讯近期推出混元4预览版（Hy4preview），模型参数规模达770B，支持百万级上下文。此前腾讯在约四个月内完成混元大语言与多模态部门重组。公开信息显示，混元4在网络结构上采用6144隐藏维度、78层和64个注意力头，并在长上下文处理上融合稀疏注意力、跨层索引复用等开源技术成果，以降低超长上下文计算开销。曾参与智谱GLM-5架构及DSA工作的白雨石已加入腾讯混元团队，并参与相关长上下文稀疏注意力论文。