一项 11 月 18 日公开的预印本分析 SLAM-ASR 语音识别架构。该架构保留固定的语音编码器和语言模型,只训练连接两者的投影模块。预印本
研究者在 LibriSpeech 等测试上观察到,语言模型中负责匹配重复序列的归纳注意力头也会参与从语音特征生成转录。有些注意力头成对工作,有助于突出与上一词相关的语音特征。
作者调整这些注意力头后,在三种解码器中的两种观察到部分噪声条件下的转录改善。不同解码器和噪声设定下,收益并不一致。实验表与结论
配图为 GETAI.APP 使用 imagegen 生成的主题插画。
