11 月 19 日公开的 RoCoKV 预印本研究如何减少语言模型长时间推理占用的键值缓存。方法对相似内容降低保留优先级,并在模型不确定时预留更多缓存。
作者将这一方法接入 vLLM。在 DeepSeek-R1-Distill-Llama-8B 的 AIME25 测试中,论文报告相较于完整缓存方案取得 1.27 倍加速,吞吐量高 38%。
实验涵盖两种推理模型、三个基准。文中的性能数字对应指定模型、推理框架及测试负载。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
GETAI EDITORIAL DISPATCH新闻报道
研究在推理过程中优先压缩重复内容,根据模型的不确定程度调整缓存,并在 vLLM 上测试吞吐。