研究团队提出 FOAM,一种轻量化 SOAP 变体,通过单侧预条件处理和分解的 Adam 矩估计,减少优化器状态与特征分解开销。 作者在 1.24 亿至 7.6 亿参数的语言模型预训练中报告,验证损失可与强 SOAP、Muon 基线相当,优化器状态约为 SOAP 的一半,耗时接近 Muon。结论对应论文所测规模与条件,不能直接当作超大规模训练已经得到验证的统一加速比例。 来源:arXiv。 配图:GETAI.APP 原创主题插画,非新闻现场实拍或官方产品界面。