DeepSeek全面开源推理框架DeepInfer，支持英伟达与昇腾平台

DeepSeek于10月20日宣布全面开源内部推理框架DeepInfer，并同步开源生产级Token编解码组件deepseek-recipe。DeepInfer集成高性能算子与推理引擎，支持分布式推理、推测解码、SWA Bounded Replay和结构化输出，兼容英伟达及华为昇腾平台。DeepSeek称，已基于该框架为DeepSeek V4.1Flash提供高吞吐、低延迟的大规模推理服务，后续新模型推理代码和优化也将持续更新。两项代码已在GitHub开放，技术报告发布于知乎。公司表示，开源旨在帮助开发者和企业优化推理吞吐与延迟，支持私有化及公有云部署，降低算力成本和能源消耗。