Chorus 预印本提出在语言模型输入及中间层共享一组 n-gram 嵌入表,用短 token 序列的查表结果补充表示。 不同层通过自己的隐藏状态对共享表示进行缩放和投影,再加入注意力计算。作者在多种模型规模和训练数据上评估该设计,目标是在复用短语知识时减少各层分别保存表的内存开销。 该工作以预印本公开,结果和实验范围以arXiv 论文为准。 配图由 GETAI.APP 使用内置 imagegen 生成,非新闻现场、产品界面或实测结果。