Google Research 介绍一种持续学习框架，把模型的活跃交互阶段与离线记忆巩固阶段交替安排。短期上下文通过额外的记忆模块与训练过程转为较长期的参数知识，目标是减轻学习新内容时遗忘旧能力的问题。
研究还引入生成练习样本的阶段来改善推理。这里的“睡眠”和“做梦”是训练流程的类比，模型结构与训练规则仍由人类设定，并不是模型获得了生物意义上的睡眠或意识。
图片来源：Google Research 官方资料。
Google 探索用“睡眠阶段”巩固模型新知识
Google Research 介绍一种持续学习框架，把模型的活跃交互阶段与离线记忆巩固阶段交替安排。短期上下文通过额外的记忆模块与训练过程转为较长期的参数知识，目标是减轻学习新内容时遗忘旧能力的问题。
