研究团队从八个视频来源制作 5 万条训练样例,以检验短动作、动作顺序和拍摄者自身的移动。
系统先概括环境、人物和整段活动,再把短时动作写进带时间标记的步骤。训练时分别检查叙述是否覆盖事件、时间是否对齐,以及是否把同一动作反复拆开描述。
在有传感器数据时,团队加入由姿态推导的运动信息作为参考。论文按字幕质量、基于字幕的问答与时间对齐分别评测,便于区分描述丰富与时间准确。
配图出自 Tang, Yuqi 等 的图 2,等比缩放并留白。CC BY 4.0。
GETAI EDITORIAL DISPATCH新闻报道
研究团队从八个视频来源制作 5 万条训练样例,以检验短动作、动作顺序和拍摄者自身的移动。