Late Entry 预印本研究循环语言模型的另一种省计算方式:让新 token 从较后的循环进入,同时保留历史上下文的深层 KV 状态。
作者发现直接使用原模型会产生输入状态不匹配,因此通过微调让后段循环适应新的入口。解码时,新输出与此前 token 的缓存补全并行推进,再由 Wake 验证控制回退或容许的近似程度。
严格验证和有损模式分别使用不同容差;论文在 Ouro、Huginn 等循环模型上测试,报告的速度与循环深度、任务、批处理和核验模式相关。
该工作以预印本公开,方法和实验范围见arXiv 论文。
配图由 GETAI.APP 使用内置 imagegen 生成,非新闻现场、产品界面或实测结果。
