Google 提出大语言模型持续学习的 Sleep 睡眠框架
Google Research 提出面向大语言模型持续学习的 Sleep 睡眠框架,通过清醒交互与离线记忆巩固的周期性交替,将短期上下文知识固化到长期参数中以克服灾难性遗忘。
推荐理由:该研究借鉴人脑睡眠机制交替进行清醒交互与离线巩固,为解决大模型灾难性遗忘与长期记忆保留提供了新路径。
Google Research 提出面向大语言模型持续学习的 Sleep 睡眠框架,通过清醒交互与离线记忆巩固的周期性交替,将短期上下文知识固化到长期参数中以克服灾难性遗忘。
推荐理由:该研究借鉴人脑睡眠机制交替进行清醒交互与离线巩固,为解决大模型灾难性遗忘与长期记忆保留提供了新路径。
Berkeley AI Research(BAIR)撰文系统综述了自适应并行推理(APR)的研究进展,分析大语言模型如何自主决定子任务拆解与多线程并发以解决串行推理的高延迟和上下文退化问题。
推荐理由:文章系统拆解了自适应并行推理在系统架构与强化学习奖励设计上的路线差异,为长链条推理降延迟提供了系统级视角。