跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

EgoCaptioner 为第一人称视频生成带时间标记的步骤说明

研究团队从八个视频来源制作 5 万条训练样例,以检验短动作、动作顺序和拍摄者自身的移动。

返回资讯研究arXiv作者 · GETAI.APP查看原文

研究团队从八个视频来源制作 5 万条训练样例,以检验短动作、动作顺序和拍摄者自身的移动。

第一人称视频描述的评价维度

系统先概括环境、人物和整段活动,再把短时动作写进带时间标记的步骤。训练时分别检查叙述是否覆盖事件、时间是否对齐,以及是否把同一动作反复拆开描述。

在有传感器数据时,团队加入由姿态推导的运动信息作为参考。论文按字幕质量、基于字幕的问答与时间对齐分别评测,便于区分描述丰富与时间准确。

原始来源 · 延伸材料

配图出自 Tang, Yuqi 等 的图 2,等比缩放并留白。CC BY 4.0。