11 月 19 日上传的 DTS 预印本研究长上下文的稀疏注意力。作者根据向量变化选择代表点,变化小的部分用较少代表,差异大的部分保留更多信息。
作者在 LLaMA-3.1-8B-Instruct 上测试,RULER 与 LongBench 的平均分与完整注意力相差不超过 0.10 个百分点。论文另报告了在 4 张 H100 上、51.2 万 token 时的预填充比较。
这套做法无需重新训练该模型。论文将注意力块评分环节的用时与整体预填充阶段分开衡量。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
