一篇 11 月 10 日提交的论文尝试梳理大模型在没有新外部信息时,如何通过解释、反思和内部推演产生新的任务见解。作者提出一个认知框架,将相关方法分为反思推理、合成记忆、内部模拟和概念自组织四类。
论文结合思维链、自洽性、自我反思、思维树和自生成指令等已有方法,讨论它们在哪些条件下能够改善任务表现。作者强调,推理时回答得更好,并不一定意味着模型参数已经发生持久学习。
文章同时整理了幻觉扩散、闭环训练导致退化、概念漂移与计算成本等问题。这是一篇理论框架论文,尚不能据此认定模型具备与人类相同的自主学习机制。
图片来源:论文作者 / arXiv。
