Google Research·· 3 小时前AI 评分43
sleep framework：让 LLM 在持续学习中保留知识的新方法
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出 sleep framework，让 LLM 在活跃交互与离线记忆整合间循环，持续吸收新事实并保留长上下文知识。实验显示，其长上下文知识可保留至 10M tokens，并可提升复杂推理；睡眠阶段通过 MoE 专家扩展、GKD 与 RL 巩固记忆，并生成、筛选合成样本继续优化。
来源：Google Research · research.google