小红书开源 RedKnot 推理引擎，显著提升大模型长上下文推理效率

小红书技术团队近日开源自研大模型推理引擎 RedKnot，针对长上下文任务提出新的推理优化方案。该引擎通过重构传统 KV Cache 机制，将缓存从 token 维度拆分至注意力头维度，并引入头分类稀疏、稀疏 FFN 与 SegPagedAttention 等技术，以降低内存与计算开销。在 8 卡 H800 环境测试中，RedKnot 将首字生成时间（TTFT）提升 1.6 至 3.54 倍，单卡并发能力提升 4.7 至 7.8 倍，预填充阶段 FLOPs 降低 67% 至 79.5%。在 DeepSeek‑V4‑Flash 的 128K 上下文任务中，首字生成速度提升 5.16 倍，KV 传输效率提升 6.3 倍，同时推理精度保持在稠密模型 95% 以上。相关代码已正式开源。