MBZUAI 的基础模型研究所在 11 月 11 日新闻稿中介绍 PAN 2。模型根据起始场景和文字动作,模拟接下来可能发生的画面,用于研究行动结果与多步骤规划。
系统把语言层面的事件规划与视频生成分开:语言模型组织动作和时间,视频模型再生成对应过程。研究所公开视频模型权重、训练和推理代码,采用 Apache 2.0 许可。
官方报告了物理一致性和规划测试,但也指出长时间世界一致性仍是难题。演示属于模型生成的模拟结果,不代表机器人在现实环境中已具备同等成功率。
来源:MBZUAI 原文;MBZUAI 新闻稿。
图片来源:MBZUAI。PAN 2 官方模型生成演示截图,非实拍。
