11 月 19 日,Youngwoo Shin 等人公开 VETO,针对视频问答模型微调中的一个问题:题目和选项的措辞有时已经透露答案。模型在测试集上多答对几题,可能是更会理解视频,也可能是更会猜文字。研究者把视频拿掉再做一遍问答,用它来观察后者。
论文先以 Qwen2.5-VL-7B 为例比较两种测试环境。Something-Something v2 的答案来自固定动作模板,而 Perception Test 的视频、问题和选项都不同,选项又是自由书写。常规微调在第一种环境里提高成绩时,也增强了模型单凭文字作答的能力;题目换了写法后,这种规律很难直接迁移。
VETO 先输入纯文字,估计基座模型内部哪些变化方向主要反映这部分信息,再把微调更新沿这些方向的分量移除。作者在七个视频语言模型上对照常规监督微调,并在六个分布有变化的基准上评估。论文报告,模型保留了训练分布内的收益,在迁移测试中也更能利用完整输入。这个结论依赖视频与纯文本两种测法的共同对照。
配图为 GETAI 原创 AI 主题插画。
