DeepSeek 开源推理框架 DeepInfer，支持英伟达与昇腾平台

DeepSeek 宣布开源内部推理框架 DeepInfer，并同步公开生产级 Token 编解码组件 deepseek-recipe，代码分别托管于 GitHub。DeepInfer 集成高性能算子和推理引擎，支持分布式推理、推测解码、SWA Bounded Replay及结构化输出，兼容英伟达和华为昇腾平台。DeepSeek称，官方已基于该框架运行 DeepSeek V4.1 Flash 的大规模推理服务，后续新模型推理代码及优化也将持续更新。该框架面向开发者和企业部署场景，旨在提升推理吞吐、降低延迟与算力成本。