跳转到正文
登录
← 开发动态

C3 针对长语音任务优化 KV 缓存检索

C3 研究根据音频注意力的结构组织 KV 缓存:不同查询头共享检索预算,系统再动态调整检索粒度,以减少每步读取的数据量。

GETAI.APParXiv查看原文 ↗

C3 研究根据音频注意力的结构组织 KV 缓存:不同查询头共享检索预算,系统再动态调整检索粒度,以减少每步读取的数据量。

作者在语音识别、翻译与摘要任务中测试四种语音语言模型,报告在有限缓存访问预算下的质量和效率改善。研究同时观察到,早期检索错误可能随生成逐步累积。

来源:arXiv · 2611.00333

登录

还没有账号?