MIT News 在 11 月 20 日刊出的访谈中,请 Jim Glass 回顾团队如何评估模型对声音和图像的理解。一个听觉选择题即使切换为随机噪声,模型有时仍能根据题干与选项的搭配给出正确答案。
Glass 以辨认动物叫声为例:如果选项中只有一种动物通常被描述为会咆哮,模型就能绕开听觉证据。团队因此比较多类基准,并考察让模型更依赖音频的方法。开放式回答可以减少选项提示,但又引入了人工评分成本和模型评分偏差。
视觉任务中,他们把常见物体临时改用无关的人名,让模型在少量展示后定位目标。这样的测试能区分模型是否利用当前画面,还是依赖训练中熟悉的类别名称。访谈回顾了多项既有研究。
配图为 GETAI 原创主题插画。
