一项预印本在同一小语言模型训练框架内,比较注意力门控、Muon 优化、额外归一化、MoE 和混合注意力等五类改动。
研究采用约 5150 万激活参数、FineWeb 语料及每次约 3 亿 token 的预算,对 16 个选定组合各运行两个随机种子。作者观察到 MoE、Muon 和 Gated DeltaNet 混合方案的主要收益在重复中保持,但也存在组合交互。
MoE 版本的总参数量更大;实验未匹配训练时间、能耗和推理速度,且最终指标来自开发用验证语料。结论限于该小模型和训练设置。
该工作以预印本公开,方法和实验范围见arXiv 论文。
配图由 GETAI.APP 使用内置 imagegen 生成,非新闻现场、产品界面或实测结果。
