PagedAttention 借鉴操作系统的虚拟内存分页方式，管理推理请求不断增长的 KV 缓存，减少碎片和重复副本，并允许请求之间共享适当的数据。vLLM 建立在这类机制之上。
这篇 2023 年论文再次进入趋势列表。作者当时在指定基线和负载上报告了吞吐提升；对于今天选择推理服务的开发者，它更重要的价值是解释缓存利用率为什么会限制批处理能力。
研究回顾：vLLM 如何减少推理缓存浪费
PagedAttention 借鉴操作系统的虚拟内存分页方式，管理推理请求不断增长的 KV 缓存，减少碎片和重复副本，并允许请求之间共享适当的数据。vLLM 建立在这类机制之上。