DeepSeek发布V4 Flash小型推理引擎,专注Metal平台优化

DeepSeek公司发布了专为Metal平台设计的小型本地推理引擎DeepSeek V4 Flash。该引擎针对DeepSeek V4 Flash模型进行优化,旨在提升本地推理效率。其参数数量较少,推理速度较快,在“思考模式”下处理复杂问题的思考时间可缩短至其他模型的五分之一。DeepSeek V4 Flash支持高达100万令牌的上下文窗口,并可在配备128GB RAM的MacBook上运行2位量化。该引擎提供HTTP API和专用GGUF模型,构成完整的本地推理解决方案。当前版本为Alpha阶段,未来将发布更强版本。

上一篇:

下一篇:

发表回复

登录后才能评论