MoE-Context 预印本提出上下文分块方案:模型先判断哪些块与当前问题有关,再以选中内容及其他块的简短笔记作答。
实现使用同一模型和 KV 缓存,隐藏块仅被注意力掩码遮住,内容仍可重新启用。实验在 Qwen3-1.7B 和合成查找任务上进行,监督线性探针改善了选择结果。
作者同时报告,简单关键词检索在该任务上选得更好,探针未迁移到另一类问题。论文并未因此证明通用相关性选择或缓存内存同步减少。
该工作以预印本公开,方法和实验范围见arXiv 论文。
配图由 GETAI.APP 使用内置 imagegen 生成,非新闻现场、产品界面或实测结果。
