跳转到正文
GETAI.APP
开发动态arXivGETAI.APP查看原文

研究发现训练数据分布会改变模型比较实体的方式

受控实验连接频率、位置等学习捷径与训练数据的统计性质。

实体比较研究展示的学习阶段与数据频率关系原图

研究者用九类实体比较任务分析模型预训练,观察到按出现频率猜测、按提示位置选择、再到按正确属性作答的不同学习阶段。

在小模型的受控实验中,任务数据数量与实体频率分布会改变这些阶段的出现方式;团队还在 OLMo-2 32B 中观察到类似动态。论文说明数据统计能影响模型学习的捷径,并未证明所有能力都遵循同样三阶段规律。

来源:arXiv。

图片来源:Yik Siu Chan、Jing Huang、Yanai Elazar、Atticus Geiger,CC-BY-4.0。图片为项目演示或论文原图,并非本站独立测试。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?