跳转到正文
GETAI.APP
开发动态arXivGETAI.APP查看原文

LoopCache 研究循环模型长上下文解码

动态更新草稿,并按循环调度 KV 缓存读取,保留单独的精确验证路径。

AI 生成主题插画,非实拍

LoopCache 预印本提出面向循环 Transformer 的自推测解码方法,试图减少长上下文下重复读取缓存的开销。

主题插画,AI 生成、非实拍

方法按新旧候选 token 的置信差更新草稿,并让推测路径按周期共享特定循环的 KV 缓存。另一路径重新使用正确的逐循环缓存进行验证;部分浅层保留独立读取,以维持草稿质量。

作者在六种循环模型和八张 NVIDIA A100 上评估,较长上下文使用上下文并行。收益取决于循环模型、缓存和比较基线,不能直接套用为所有大模型的加速倍数。

该工作以预印本公开,方法和实验范围见arXiv 论文。

配图由 GETAI.APP 使用内置 imagegen 生成,非新闻现场、产品界面或实测结果。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?