11 月 19 日公开的预印本介绍 EgoWitness。研究用第一人称视频评估模型能否在不同时间、不同佩戴者的视角中认出同一件物体。
作者为约 324 小时视频整理了 8,453 道题,覆盖七类能力。人工复核的标注把问题和对应视频证据联系起来。
在用抽取画面直接答题的 12 个模型中,作者发现,判断谁最后看见一个物体尤其困难。论文还对比了能回看指定片段的设置。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
GETAI EDITORIAL DISPATCH新闻报道
基准用跨时段视频检验模型能否认出同一个物体,并判断谁最后看见它。