OLGA 减少语言模型持续学习遗忘

11 月 2 日公布的 OLGA 面向语言模型的在线持续学习。方法利用无需标签的合成梯度匹配，在吸收新任务信息时保留既有能力，降低对完整历史样本回放的依赖。

作者在多项分类任务上测试了方法，关注新任务学习与旧任务保留之间的平衡。公开结果仍受限于所测模型和任务序列，尚不能直接推广为任意模型的无损持续训练方案。

来源：arXiv · 2611.03496。