跳转到正文
GETAI.APP
开发动态arXivGETAI.APP查看原文

FOAM 优化器尝试保留 SOAP 效果并降低状态开销

在所测预训练规模中减少 SOAP 状态开销,保持相近验证损失。

曲线主题插画

研究团队提出 FOAM,一种轻量化 SOAP 变体,通过单侧预条件处理和分解的 Adam 矩估计,减少优化器状态与特征分解开销。

作者在 1.24 亿至 7.6 亿参数的语言模型预训练中报告,验证损失可与强 SOAP、Muon 基线相当,优化器状态约为 SOAP 的一半,耗时接近 Muon。结论对应论文所测规模与条件,不能直接当作超大规模训练已经得到验证的统一加速比例。

来源:arXiv。

配图:GETAI.APP 原创主题插画,非新闻现场实拍或官方产品界面。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?