跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

研究检测音频模型虚构的声音事件

论文比较模型所关注的声音片段与其文字描述,检验模型是否说了录音中不存在的事件。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 19 日上传的预印本研究音频语言模型的声音事件幻觉,例如把一段未出现的声音写进描述。

AI 生成主题插画

作者报告,真实和虚构声音在部分样例中的总注意力权重接近,模型聚焦的声音位置则不同。研究进一步比较这些内部表示能否支持输出中提到的事件。

论文将这种信号用于检测和缓解虚构事件,对照范围限于所列模型、数据和实验任务。

arXiv · 原文 · arXiv · 全文

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。