跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

ZeroVLN 测试视觉语言模型的分层导航

研究把场景理解与动作执行分开,在连续模拟环境中比较训练方案。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 19 日公开的预印本介绍 ZeroVLN。体系由负责理解图像和指令的视觉语言模型与较快的动作模块组成,分别处理较长范围的目标和当前动作。

AI 生成主题插画

该研究让两部分在环境交互中共同学习,比较是否对负责语义判断的模型先做导航领域的有监督微调。作者在连续环境导航基准上报告了任务效果。

论文同时衡量原模型的通用视觉能力是否保留,结果范围以所列模拟场景和模型配置为限。

arXiv · 原文 · arXiv · 全文

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。