跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

DTS 按内容挑选长文本的注意力块

研究用文本向量的局部变化选择计算块,在长文本任务中测量准确率和预填充用时。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 19 日上传的 DTS 预印本研究长上下文的稀疏注意力。作者根据向量变化选择代表点,变化小的部分用较少代表,差异大的部分保留更多信息。

AI 生成主题插画

作者在 LLaMA-3.1-8B-Instruct 上测试,RULER 与 LongBench 的平均分与完整注意力相差不超过 0.10 个百分点。论文另报告了在 4 张 H100 上、51.2 万 token 时的预填充比较。

这套做法无需重新训练该模型。论文将注意力块评分环节的用时与整体预填充阶段分开衡量。

arXiv · 原文 · arXiv · 全文

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。