跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

Xing-Audio 在转写语句中标出呼吸等非语言声音,四项测试覆盖六类发声

团队用约 80 万条语音训练 17 亿参数识别器,让口语转写保留非语言发声标签。

返回资讯研究arXiv作者 · GETAI.APP查看原文

普通语音转写擅长记录说了哪些词,却容易遗漏一句话中的呼吸等声音。11 月 19 日发布的 Xing-Audio-NVVASR 研究给出一套联合识别方案:同一个 17 亿参数模型输出文字,并在发声位置插入六类非语言声音的标签。

GETAI 原创主题插画

作者先用两个模型交叉核对标注,把有分歧的样本交给教师模型复标,再用额外的呼吸检测器发现两个模型共同遗漏的声音,由人工复核。五轮处理累计改进 17 万条既有语料的标注,并加入另行挖掘的 63 万条语音。

在四个人工标注的测试集上,作者报告模型平均综合得分为 64.46,比比较组中表现最强的 StepAudio 3 Chat Preview 高 6.03 分。论文把模型权重和评测代码列为计划发布的材料,实际可用范围仍取决于后续发布。

原始来源 · 核对材料

配图为 GETAI 原创 AI 主题插画。