如果预训练形成的习惯突然失效,奖励是否足以让模型改选另一种动作?一篇 11 月 19 日的预印本从头训练小型语言模型,使用由贝叶斯玩家生成的解谜记录,让过去的规律和当前正确动作都可以被研究者准确计算。
基础模型会保留多种选择。加入按结果给奖的强化学习后,有的训练运行学会了罕见动作,有的完全没有。研究者统计每次训练开始前,正确动作预计能在多少组采样尝试中胜出,发现这个数比仅看总尝试次数更能解释差异。
在论文的一组设定里,约 35 组这样的成功样本对应大致一半的学成机会。作者测试了不同采样组大小及 130 万至 8500 万参数的模型;训练配置会改变门槛。这个数字描述特定实验中的转折点,不能直接套到大型助手。
配图为 GETAI 原创 AI 主题插画。
