Muon 预训练优势未必延续到微调

11 月 2 日的预印本比较了 Muon 与 AdamW 在预训练后微调阶段的表现。作者发现，当预训练数据预算足够大时，AdamW 在其下游实验中反而超过 Muon，模型规模也会影响这一转折点。

研究用正确输出与错误输出之间的间隔和分布解释差异，并在简化模型中作分析。结论限定于文中的模型、数据和微调设置，不等于任何任务都应统一更换优化器。

来源：arXiv · 2611.03633。