研究团队比较决策模型在长任务中的三种角色:自己选择动作、事后评价动作,以及为强化学习策略提供教学信号。结果显示,执行能力较弱并不必然意味着评价与教学能力同样弱。
在 ALFWorld 和 WebShop 上,JEV 作为教师改善了一个 Qwen2.5-1.5B 策略的成功率。论文指出,完整轨迹让评价者看到了执行时尚无法知道的后果,因此不能仅凭模型单独行动的成绩判断全部用途。
这是指定环境中的预印本实验,并非弱模型在任何训练任务中都可替代强模型。
来源:arXiv。
配图:GETAI.APP 原创主题插画,非新闻现场实拍或官方产品界面。
