跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

声音在哪一秒出现?研究用注意力信号修正音频模型的时间戳

无须再训练模型,研究者保留模型对声音是否存在的判断,只调整候选时间段的评分,再与真实事件区间比较。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 19 日,Jongbhin Woo 等人公开一项音频语言模型研究。模型有时能认出录音里有某种声音,却报错它出现的时间。作者观察到,少数注意力头会跟随所问的声音:换一个问题,关注的位置会变;把声音移到别处,注意力也随之移动。

作者用同一录音说明注意力跟踪与模型原始时间戳之间的差异

团队据此设计一种无须训练的解码办法。方法保留模型对目标声音“有或没有”的原始判断,只把这些注意力头给出的时间信息作为先验,重新排列候选时间区间。用于定位的注意力头先在开发数据上选定,换到新的录音和自由措辞的问题时沿用同一组。

在模型训练结束后才公开的录音上,三个受测模型的平均交并比从原先的 0.07 至 0.36 区间,提高到 0.48 至 0.56。交并比衡量预测时段与真实时段重叠多少,越高代表定位越接近。实验说明部分时间戳错误出现在模型组织回答的环节;研究没有声称所有声音识别错误都能靠调整时间戳解决。

原始来源 · 核对材料

配图为 Jongbhin Woo 等 的图 1。封面等比缩放并留白。CC BY 4.0 许可。