11 月 19 日上传的预印本研究音频语言模型的声音事件幻觉,例如把一段未出现的声音写进描述。
作者报告,真实和虚构声音在部分样例中的总注意力权重接近,模型聚焦的声音位置则不同。研究进一步比较这些内部表示能否支持输出中提到的事件。
论文将这种信号用于检测和缓解虚构事件,对照范围限于所列模型、数据和实验任务。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
GETAI EDITORIAL DISPATCH新闻报道
论文比较模型所关注的声音片段与其文字描述,检验模型是否说了录音中不存在的事件。