11 月 19 日,Yajie Qi 等人公布了一种给强化学习智能体挑选中间目标的方法。在 Craftax-Classic 这样的生存游戏里,从收集木材到采出钻石要经过很长一串动作,很多中间动作没有即时奖励。研究团队因此把“当前该追求什么”交给另一个专门训练的模型。
团队利用游戏交互轨迹构建 CCGP-2M。数据包含 200 万条目标偏好样本,涉及 43 种可选目标和全部 22 项游戏成就。视觉语言模型先离线学习怎样根据当前画面挑选更合适的目标,强化学习智能体再在游戏中尝试执行。作者还比较了随机抽样和按质量筛选的数据,后者带来了更高的得分与奖励。
实验中,这套方法在约 338 万次环境交互后首次采到钻石,使用 DeepSeek-R1 生成规划代码的 SGRL 对照组约需 371 万次。按各项成就的成功率比较,新方法在 15 项上排第一,其余 7 项排第二。论文在同一游戏环境中用五个随机种子绘制学习曲线,迁移到其他游戏后的表现仍需另行测试。
配图为 GETAI 原创 AI 主题插画。
