11 月 19 日更新的一项预印本测试了 Gemma 4 31B 的一项内存优化。模型的全局注意力层中,键和值共享一部分计算结果,但作者检查的开源推理引擎仍分别保存两份完整数据。长上下文推理要为每个词元保留这些缓存,重复内容会逐步占用 GPU 空间。
作者在 vLLM 原型里让两份缓存共用底层存储。每个键值头、每个词元原来保存 1,024 个数值,现在保存 640 个,再通过两个有重叠的视图交给原有的分页注意力内核读取。用 16 位模型测试时,432 个最终答案中有两个与原引擎不同。作者报告,这一差异在原引擎重复运行的波动范围内。
在 32K 至 64K 词元上下文下,原实现的单请求稳态解码缓存占用为原型的 1.34 至 1.40 倍。另一次双 A100 测试让预填充与解码分别运行,在 15 GiB 解码缓存池已满时,16K 提示对应的每步解码词元量为原引擎的 1.38 倍,8K 提示下为 1.24 倍。这里衡量的是每步解码量。
arXiv · 摘要与提交记录 · arXiv · 论文全文
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
