C3 研究根据音频注意力的结构组织 KV 缓存:不同查询头共享检索预算,系统再动态调整检索粒度,以减少每步读取的数据量。
作者在语音识别、翻译与摘要任务中测试四种语音语言模型,报告在有限缓存访问预算下的质量和效率改善。研究同时观察到,早期检索错误可能随生成逐步累积。
C3 研究根据音频注意力的结构组织 KV 缓存:不同查询头共享检索预算,系统再动态调整检索粒度,以减少每步读取的数据量。
C3 研究根据音频注意力的结构组织 KV 缓存:不同查询头共享检索预算,系统再动态调整检索粒度,以减少每步读取的数据量。
作者在语音识别、翻译与摘要任务中测试四种语音语言模型,报告在有限缓存访问预算下的质量和效率改善。研究同时观察到,早期检索错误可能随生成逐步累积。