跳转到正文
GETAI.APP
开源项目MBZUAIGETAI.APP查看原文

MBZUAI 介绍 PAN 2 开放世界模型

将文字描述的动作转成模拟视频,公开权重及训练、推理代码。

PAN 2 官方模型演示,AI 生成模拟画面,非实拍

MBZUAI 的基础模型研究所在 11 月 11 日新闻稿中介绍 PAN 2。模型根据起始场景和文字动作,模拟接下来可能发生的画面,用于研究行动结果与多步骤规划。

系统把语言层面的事件规划与视频生成分开:语言模型组织动作和时间,视频模型再生成对应过程。研究所公开视频模型权重、训练和推理代码,采用 Apache 2.0 许可。

官方报告了物理一致性和规划测试,但也指出长时间世界一致性仍是难题。演示属于模型生成的模拟结果,不代表机器人在现实环境中已具备同等成功率。

来源:MBZUAI 原文;MBZUAI 新闻稿。

图片来源:MBZUAI。PAN 2 官方模型生成演示截图,非实拍。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?