跳转到正文
GETAI.APP
开发动态arXivGETAI.APP查看原文

Late Entry 研究从后段循环开始解码

新 token 跳过部分前段计算,历史 token 的深层缓存继续参与后续生成。

AI 生成主题插画,非实拍

Late Entry 预印本研究循环语言模型的另一种省计算方式:让新 token 从较后的循环进入,同时保留历史上下文的深层 KV 状态。

主题插画,AI 生成、非实拍

作者发现直接使用原模型会产生输入状态不匹配,因此通过微调让后段循环适应新的入口。解码时,新输出与此前 token 的缓存补全并行推进,再由 Wake 验证控制回退或容许的近似程度。

严格验证和有损模式分别使用不同容差;论文在 Ouro、Huginn 等循环模型上测试,报告的速度与循环深度、任务、批处理和核验模式相关。

该工作以预印本公开,方法和实验范围见arXiv 论文。

配图由 GETAI.APP 使用内置 imagegen 生成,非新闻现场、产品界面或实测结果。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?