11 月 18 日上传至 arXiv 的预印本研究了训练数据和能力迁移。作者在棋类及文字任务中留出部分技能样例,并跟踪模型在其他数据上继续学习后,对相关问题的表现如何变化。
作者发现,在部分受控任务中,模型可凭其他样例学到相关规则,或在后来见到被留出的数据时更快学会。论文同时设置了难度相近、迁移关系较弱的对照。
论文的证据来自所列训练和任务设置。研究者报告的迁移程度随任务和模型训练进展而变。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
GETAI EDITORIAL DISPATCH新闻报道
研究用棋类和语言任务检验,模型在其他数据上的训练进展如何影响被留出的技能。