LoopCache 预印本提出面向循环 Transformer 的自推测解码方法,试图减少长上下文下重复读取缓存的开销。
方法按新旧候选 token 的置信差更新草稿,并让推测路径按周期共享特定循环的 KV 缓存。另一路径重新使用正确的逐循环缓存进行验证;部分浅层保留独立读取,以维持草稿质量。
作者在六种循环模型和八张 NVIDIA A100 上评估,较长上下文使用上下文并行。收益取决于循环模型、缓存和比较基线,不能直接套用为所有大模型的加速倍数。
该工作以预印本公开,方法和实验范围见arXiv 论文。
配图由 GETAI.APP 使用内置 imagegen 生成,非新闻现场、产品界面或实测结果。
