跳转到正文
开发动态arXivGETAI.APP查看原文

模型升级后能否继续复用旧 KV 缓存

DeepSeek 案例显示部分任务可以加快首字响应,但保留有用信息不代表行为完全一致。

模型升级后能否继续复用旧 KV 缓存:论文原图

一项预印本研究了跨模型更新直接复用 KV 缓存的问题,详细案例覆盖 DeepSeek-V4-Flash 到 Flash-0731 的变化。目标是减少共享长上下文的重复计算。

在已有旧缓存的条件下,三项较长前缀问答测试的首 Token 耗时中位数取得 2.10 至 5.08 倍加速,但不同版本更新后的检索准确率差异明显。

研究者提出功能缓存散度衡量复用缓存与新版原生推理的差别,并指出即使首个 Token 相同,后续答案及停止行为仍可能不同。任务可用性和行为一致性需要分别检查。

来源:arXiv 原文。

图片来源:论文作者 / arXiv。

  • AI 研究

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?