普通语音转写擅长记录说了哪些词,却容易遗漏一句话中的呼吸等声音。11 月 19 日发布的 Xing-Audio-NVVASR 研究给出一套联合识别方案:同一个 17 亿参数模型输出文字,并在发声位置插入六类非语言声音的标签。
作者先用两个模型交叉核对标注,把有分歧的样本交给教师模型复标,再用额外的呼吸检测器发现两个模型共同遗漏的声音,由人工复核。五轮处理累计改进 17 万条既有语料的标注,并加入另行挖掘的 63 万条语音。
在四个人工标注的测试集上,作者报告模型平均综合得分为 64.46,比比较组中表现最强的 StepAudio 3 Chat Preview 高 6.03 分。论文把模型权重和评测代码列为计划发布的材料,实际可用范围仍取决于后续发布。
配图为 GETAI 原创 AI 主题插画。
