跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

MIT 访谈:把音频换成噪声,为什么模型仍能答对选择题?

MIT–IBM 团队用噪声替换音频、用化名替换物体名称,检查多模态模型究竟依赖哪一类线索。

返回资讯研究MIT News作者 · GETAI.APP查看原文

MIT News 在 11 月 20 日刊出的访谈中,请 Jim Glass 回顾团队如何评估模型对声音和图像的理解。一个听觉选择题即使切换为随机噪声,模型有时仍能根据题干与选项的搭配给出正确答案。

GETAI 原创主题插画

Glass 以辨认动物叫声为例:如果选项中只有一种动物通常被描述为会咆哮,模型就能绕开听觉证据。团队因此比较多类基准,并考察让模型更依赖音频的方法。开放式回答可以减少选项提示,但又引入了人工评分成本和模型评分偏差。

视觉任务中,他们把常见物体临时改用无关的人名,让模型在少量展示后定位目标。这样的测试能区分模型是否利用当前画面,还是依赖训练中熟悉的类别名称。访谈回顾了多项既有研究。

原始报道或公告 · 延伸核对

配图为 GETAI 原创主题插画。