跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

Gemma 4 缓存实验让键和值共用一份存储

一项 vLLM 原型实验复用 Gemma 4 31B 的全局注意力缓存,在保留原注意力内核的条件下减少长上下文占用。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 19 日更新的一项预印本测试了 Gemma 4 31B 的一项内存优化。模型的全局注意力层中,键和值共享一部分计算结果,但作者检查的开源推理引擎仍分别保存两份完整数据。长上下文推理要为每个词元保留这些缓存,重复内容会逐步占用 GPU 空间。

AI 生成主题插画

作者在 vLLM 原型里让两份缓存共用底层存储。每个键值头、每个词元原来保存 1,024 个数值,现在保存 640 个,再通过两个有重叠的视图交给原有的分页注意力内核读取。用 16 位模型测试时,432 个最终答案中有两个与原引擎不同。作者报告,这一差异在原引擎重复运行的波动范围内。

在 32K 至 64K 词元上下文下,原实现的单请求稳态解码缓存占用为原型的 1.34 至 1.40 倍。另一次双 A100 测试让预填充与解码分别运行,在 15 GiB 解码缓存池已满时,16K 提示对应的每步解码词元量为原引擎的 1.38 倍,8K 提示下为 1.24 倍。这里衡量的是每步解码量。

arXiv · 摘要与提交记录 · arXiv · 论文全文

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。