LOADING加载中
北大与 DeepSeek 联合开源大模型推理加速框架 DSpark
6月28日,北京大学与深度求索(DeepSeek)联合发布并开源大模型推理加速框架 DSpark,面向高并发推理中的响应延迟和算力浪费问题。该框架采用半自回归候选生成架构和置信度调度验证机制,以提升长序列生成的候选有效率和吞吐表现。经通义千问3、Gemma4等模型在代码、数学、对话场景测试,DSpark 相比 Eagle3、DFlash 等基线在单轮有效生成长度上具备优势。目前已用于 DeepSeek-V4-Flash 与 DeepSeek-V4-Pro 预览版服务引擎,相关训练代码、权重和评估工具已在 GitHub 开源。
评论
0