跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

RoCoKV 压缩推理模型的缓存

研究在推理过程中优先压缩重复内容,根据模型的不确定程度调整缓存,并在 vLLM 上测试吞吐。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 19 日公开的 RoCoKV 预印本研究如何减少语言模型长时间推理占用的键值缓存。方法对相似内容降低保留优先级,并在模型不确定时预留更多缓存。

AI 生成主题插画

作者将这一方法接入 vLLM。在 DeepSeek-R1-Distill-Llama-8B 的 AIME25 测试中,论文报告相较于完整缓存方案取得 1.27 倍加速,吞吐量高 38%。

实验涵盖两种推理模型、三个基准。文中的性能数字对应指定模型、推理框架及测试负载。

arXiv · 原文 · arXiv · 全文

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。