跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

让模型选择下一步目标,Craftax 智能体更早采到钻石

研究者用 200 万条偏好样本训练视觉语言模型,指导智能体在游戏中探索。22 项成就里,这套方法在 15 项上取得最高成功率。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 19 日,Yajie Qi 等人公布了一种给强化学习智能体挑选中间目标的方法。在 Craftax-Classic 这样的生存游戏里,从收集木材到采出钻石要经过很长一串动作,很多中间动作没有即时奖励。研究团队因此把“当前该追求什么”交给另一个专门训练的模型。

GETAI 原创主题插画

团队利用游戏交互轨迹构建 CCGP-2M。数据包含 200 万条目标偏好样本,涉及 43 种可选目标和全部 22 项游戏成就。视觉语言模型先离线学习怎样根据当前画面挑选更合适的目标,强化学习智能体再在游戏中尝试执行。作者还比较了随机抽样和按质量筛选的数据,后者带来了更高的得分与奖励。

实验中,这套方法在约 338 万次环境交互后首次采到钻石,使用 DeepSeek-R1 生成规划代码的 SGRL 对照组约需 371 万次。按各项成就的成功率比较,新方法在 15 项上排第一,其余 7 项排第二。论文在同一游戏环境中用五个随机种子绘制学习曲线,迁移到其他游戏后的表现仍需另行测试。

论文与版本记录 · 作者全文

配图为 GETAI 原创 AI 主题插画。