基准包含九类任务、100 个场景和约 3.5 万条轨迹,三个受测视觉语言动作模型的成功率都低于 3%。
许多桌面操作评测检查夹爪是否接触到物体。PhyDEX 另外检查物体与环境的相互作用,在模拟场景中改变质量分布、摩擦力和目标位置,以观察同一动作的结果怎样变化。
作者发现,许多失败发生在完成抓取之前。提供真实物理属性后,受测模型成功率约提高一倍;研究团队将这项对照与预训练模型执行动作时的稳定性分开分析。
配图出自 Vo, Hao 等 的图 2,等比缩放并留白。CC BY 4.0。
GETAI EDITORIAL DISPATCH新闻报道
基准包含九类任务、100 个场景和约 3.5 万条轨迹,三个受测视觉语言动作模型的成功率都低于 3%。