STAIR 把先前回答时计算的注意力键和值放入只读存储。新问题到来时,控制器可以引用它们;基础模型和已保存条目都保持固定。
团队将该方案与直接给原模型提供历史文本对照,在连续任务上报告后续轮次平均准确率最多提升 11.67 个百分点。
11 月 19 日修订版补充了跨任务测试。数学训练得到的控制器直接用于 HumanEval+,没有为代码任务再次训练。这个对照检验的是早先计算能否在另一类任务中派上用场。
配图为 GETAI 原创 AI 主题插画。
GETAI EDITORIAL DISPATCH新闻报道
作者在第二版中报告,仅在数学题上训练的 Qwen3.5-9B 控制器也改善了 HumanEval+ 的代码生成表现。