跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

七种优化器的对照研究,区分训练步数与最优数据规模律

修订版扩展了对两类学习误差相互影响的分析,明确单次训练的下降速度和调参后的数据规模律是两种量。

返回资讯研究arXiv作者 · GETAI.APP查看原文

在可分析的教师—学生模型中,团队把损失拆成与表示长度、方向对齐有关的两个部分。不同优化器可以让其中一部分下降得较快、另一部分较慢;同一次训练曲线的斜率因此不能直接替代数据规模律。

SGD 与 Adam 的最优学习率随数据量和批量变化的比较

研究者在不同数据量下分别调整学习率,比较七种优化器能够达到的最优损失。包括 SGD、Adam 和 Muon 在内的结果与约为负三分之一次方的数据关系相符;适合各优化器的学习率却不相同。

修订分析讨论了偏离两部分完全独立这一近似后会怎样。结论依赖这里的模型、训练条件和调参过程,不能从中推出大型生产模型都具有同一指数。

原始报道或公告 · 延伸核对

配图取自Lee, Hyunseok 等的论文图 3,按 CC BY 4.0 使用,等比缩放。