研究者让旋转位置编码按滑动窗口循环使用,减少模型在训练长度之外遇到全新角度的情况。另一变体选择能在窗口内转完整圈的频率,减轻边界处的不连续。
第二版报告了训练长度为 768 个词元时向 1.6 万词元外推的结果。在不要求固定回答格式的口令检索上,两种方法为 99% 至 100%,所测 RoPE 插值方案为 11% 至 37%。
口令检索检验模型能否在长输入中找回特定内容。修订版还报告了困惑度,两个测试均限定于论文采用的模型和窗口设置。
配图为 GETAI 原创 AI 主题插画。
GETAI EDITORIAL DISPATCH新闻报道
在作者的口令检索实验中,两种周期编码在 1.6 万词元时取得 99% 至 100% 的正确率。