跳转到正文
GETAI.APP
开发动态arXivGETAI.APP查看原文

Chorus 研究跨层共享 n-gram 嵌入

多层复用同一组短语表,再按各层状态单独适配,减少重复存储。

AI 生成主题插画,非实拍

Chorus 预印本提出在语言模型输入及中间层共享一组 n-gram 嵌入表,用短 token 序列的查表结果补充表示。

主题插画,AI 生成、非实拍

不同层通过自己的隐藏状态对共享表示进行缩放和投影,再加入注意力计算。作者在多种模型规模和训练数据上评估该设计,目标是在复用短语知识时减少各层分别保存表的内存开销。

该工作以预印本公开,结果和实验范围以arXiv 论文为准。

配图由 GETAI.APP 使用内置 imagegen 生成,非新闻现场、产品界面或实测结果。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?