寒武纪完成 DeepSeek-V4 Day 0 适配,显著提升模型推理效率

寒武纪宣布成功完成对深度求索公司最新开源 AI 模型 DeepSeek-V4 的 Day 0 适配,实现模型发布当天即稳定运行。此次适配基于寒武纪自主研发的高性能融合算子库 Torch-MLU-Ops,对 Compressor、mHC 等关键模块进行了加速优化,并显著提升推理性能。寒武纪还采用 vLLM 技术支持 TP、PP、SP、DP、EP 等多种并行计算方式,同时引入通信计算并行、低精度量化和 PD 分离部署方案,以在满足延时约束的前提下提高处理速度。通过优化 MLU 访存与排序,公司进一步加快了稀疏 Attention 和 Indexer 等结构的运行,降低多场景通信占比,提升分布式推理利用率。DeepSeek-V4 拥有百万字级超长上下文,在 Agent 能力和推理表现方面居国内外开源模型前列,现已通过官网及 API 服务开放使用。

上一篇:

下一篇:

发表回复

登录后才能评论