研究者用九类实体比较任务分析模型预训练,观察到按出现频率猜测、按提示位置选择、再到按正确属性作答的不同学习阶段。
在小模型的受控实验中,任务数据数量与实体频率分布会改变这些阶段的出现方式;团队还在 OLMo-2 32B 中观察到类似动态。论文说明数据统计能影响模型学习的捷径,并未证明所有能力都遵循同样三阶段规律。
来源:arXiv。
图片来源:Yik Siu Chan、Jing Huang、Yanai Elazar、Atticus Geiger,CC-BY-4.0。图片为项目演示或论文原图,并非本站独立测试。
