BOS Summary 预印本研究如何利用语言模型序列开头常获关注的位置,保存与当前输入有关的信息。 方法在预填充的指定层,仅放宽 BOS 查询的因果限制,使其读取视觉及文本提示,其他位置的注意力规则保持原样。形成的输入相关状态继续留在缓存中,供随后生成的 token 访问。 该工作以预印本公开,结果和实验范围以arXiv 论文为准。 配图由 GETAI.APP 使用内置 imagegen 生成,非新闻现场、产品界面或实测结果。