11 月 19 日更新的一篇语言模型强化学习预印本,补充了对 Top-k KL 估计方法的数学推导。KL 散度用于衡量训练中两个词元概率分布的差异;把整个词表逐项算完,与只看最高概率的几项,计算开销不同。
作者的方法对选中的高概率词元逐项精算,再从剩余的尾部单独抽取一个词元,按尾部概率质量加权。这个抽样与模型实际生成的下一个词元分开。
新增附录 K 分别讨论估计值和梯度,给出了论文设定下的无偏性证明,并比较不同抽样方式的方差。无偏描述的是反复抽样后的平均结果;一次更新仍会受抽到哪个尾部词元影响。
配图为 GETAI 原创主题插画。
