跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

周期位置编码修订实验将长文本检索测试扩至 1.6 万词元

在作者的口令检索实验中,两种周期编码在 1.6 万词元时取得 99% 至 100% 的正确率。

返回资讯研究arXiv作者 · GETAI.APP查看原文

研究者让旋转位置编码按滑动窗口循环使用,减少模型在训练长度之外遇到全新角度的情况。另一变体选择能在窗口内转完整圈的频率,减轻边界处的不连续。

GETAI 原创主题插画

第二版报告了训练长度为 768 个词元时向 1.6 万词元外推的结果。在不要求固定回答格式的口令检索上,两种方法为 99% 至 100%,所测 RoPE 插值方案为 11% 至 37%。

口令检索检验模型能否在长输入中找回特定内容。修订版还报告了困惑度,两个测试均限定于论文采用的模型和窗口设置。

原始来源 · 核对材料

配图为 GETAI 原创 AI 主题插画。