小红书开源模型 dots3-note preview 获华为昇腾 0 Day 适配

小红书近日发布开源大模型 dots3-note preview,模型总参数量 280B、激活参数量 16B,具备文本、视觉和语音全模态感知与理解能力,面向推理、Agent 及多模态任务。华为随后宣布,昇腾 Atlas800A3 与 Atlas900A3 SuperPoD 超节点已完成对该模型的全量适配,并通过 vLLM Ascend 开源推理引擎提供部署和运行支持。昇腾还针对多模态处理、MoE 推理吞吐和增量解码进行优化,原生适配 MTP 投机解码能力,以降低推理延迟。

上一篇:

下一篇:

发表回复

登录后才能评论