谷歌研究院发布大模型“睡眠框架”，探索持续学习与记忆巩固

谷歌研究院10月27日公开“睡眠框架”（Sleep Framework），相关论文题为《Language Models Need Sleep》，旨在缓解大模型持续学习时吸收新知识与保留旧能力难以兼顾的问题。该框架将运行分为清醒和睡眠阶段：清醒时接收信息并存入短期记忆；睡眠时暂停处理新输入，通过参数扩展、混合专家记忆模块和知识蒸馏巩固信息，并生成合成样本用于训练。论文称，实验中该方法在持续翻译、长上下文理解、事实吸收和数学推理等任务上优于多数基线，可处理最长约1000万token的上下文；在未见语言的多阶段持续学习中，性能几乎没有下降，AIME 24/25数学基准成绩也有所提升。