跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

多语言混合语音分离研究加入语义线索,改善目标语言提取

实验在 CommonVoiceMix 上比较只利用声学信息的方法和加入目标语言语义表示的方法。

返回资讯音频arXiv作者 · GETAI.APP查看原文

在多人用不同语言同时说话的录音中,告诉系统“提取哪一种语言”只能提供一个类别。研究者让预训练语音模型从混合声音中生成更偏向目标语言的语义表示,用于指导分离。

目标语言语义表示与声学分离模型结合的论文框架图

团队用与语言有关的提示和参数高效微调改造语音模型,再把提取到的表示送入原有分离模型。这样,分离步骤可以同时参考声音特征与语言内容线索。

论文报告,在 CommonVoiceMix 实验中,相较仅做声学建模的基线,尺度不变信号失真比(SI-SDR)最高提高 1.16 分贝。这个指标描述分离后的信号质量,不能直接换算成听众理解率。

原始来源 · 核对材料

配图取自 Mehmet Sinan Yıldırım 等 的论文图 1,等比缩放并留白。CC BY 4.0 许可。