跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

研究分析冻结语言模型在语音识别中的作用

实验发现参与文本序列匹配的注意力头也参与转录,在部分噪声条件下有助于降低误差。

返回资讯研究arXiv作者 · GETAI.APP查看原文

一项 11 月 18 日公开的预印本分析 SLAM-ASR 语音识别架构。该架构保留固定的语音编码器和语言模型,只训练连接两者的投影模块。预印本

AI 生成主题插画

研究者在 LibriSpeech 等测试上观察到,语言模型中负责匹配重复序列的归纳注意力头也会参与从语音特征生成转录。有些注意力头成对工作,有助于突出与上一词相关的语音特征。

作者调整这些注意力头后,在三种解码器中的两种观察到部分噪声条件下的转录改善。不同解码器和噪声设定下,收益并不一致。实验表与结论

配图为 GETAI.APP 使用 imagegen 生成的主题插画。