跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

EMA 策略梯度论文补上证明,解释只精算高概率词元时如何处理长尾

修订版将最常见词元的精确计算与其余词元的抽样分开,说明估计值和梯度何时能保持无偏。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 19 日更新的一篇语言模型强化学习预印本,补充了对 Top-k KL 估计方法的数学推导。KL 散度用于衡量训练中两个词元概率分布的差异;把整个词表逐项算完,与只看最高概率的几项,计算开销不同。

GETAI 原创主题插画

作者的方法对选中的高概率词元逐项精算,再从剩余的尾部单独抽取一个词元,按尾部概率质量加权。这个抽样与模型实际生成的下一个词元分开。

新增附录 K 分别讨论估计值和梯度,给出了论文设定下的无偏性证明,并比较不同抽样方式的方差。无偏描述的是反复抽样后的平均结果;一次更新仍会受抽到哪个尾部词元影响。

原文 · 核对材料

配图为 GETAI 原创主题插画。