DeepSeek 开源推理框架 DeepInfer，支持英伟达与昇腾平台

DeepSeek 10月20日宣布全面开源内部推理框架 DeepInfer，旨在分享大规模模型部署经验，帮助开发者和企业提升推理吞吐、降低延迟及算力与能源成本。该框架集成高性能算子和推理引擎，支持分布式推理、推测解码、SWA Bounded Replay及结构化输出，并兼容英伟达和华为昇腾平台。DeepSeek 已基于 DeepInfer 部署 DeepSeek V4.1Flash 高吞吐、低延迟推理服务，后续新模型推理代码及优化也将持续更新。公司还同步开源生产级 Token 编解码组件 deepseek-recipe，其处理逻辑与 DeepSeek 官方 API 对齐。