跳转到正文
GETAI.APP
开发动态arXivGETAI.APP查看原文

MoE-Context 研究按需显示上下文

内容分块留在缓存中,通过选择和注意力掩码改变回答时可见的信息。

AI 生成主题插画,非实拍

MoE-Context 预印本提出上下文分块方案:模型先判断哪些块与当前问题有关,再以选中内容及其他块的简短笔记作答。

主题插画,AI 生成、非实拍

实现使用同一模型和 KV 缓存,隐藏块仅被注意力掩码遮住,内容仍可重新启用。实验在 Qwen3-1.7B 和合成查找任务上进行,监督线性探针改善了选择结果。

作者同时报告,简单关键词检索在该任务上选得更好,探针未迁移到另一类问题。论文并未因此证明通用相关性选择或缓存内存同步减少。

该工作以预印本公开,方法和实验范围见arXiv 论文。

配图由 GETAI.APP 使用内置 imagegen 生成,非新闻现场、产品界面或实测结果。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?