跳转到正文
GETAI.APP
开发动态arXivGETAI.APP查看原文

研究比较小语言模型训练组件组合

在相同数据和预算下重复部分组件组合,同时保留模型容量和实验范围限制。

AI 生成主题插画,非实拍

一项预印本在同一小语言模型训练框架内,比较注意力门控、Muon 优化、额外归一化、MoE 和混合注意力等五类改动。

主题插画,AI 生成、非实拍

研究采用约 5150 万激活参数、FineWeb 语料及每次约 3 亿 token 的预算,对 16 个选定组合各运行两个随机种子。作者观察到 MoE、Muon 和 Gated DeltaNet 混合方案的主要收益在重复中保持,但也存在组合交互。

MoE 版本的总参数量更大;实验未匹配训练时间、能耗和推理速度,且最终指标来自开发用验证语料。结论限于该小模型和训练设置。

该工作以预印本公开,方法和实验范围见arXiv 论文。

配图由 GETAI.APP 使用内置 imagegen 生成,非新闻现场、产品界面或实测结果。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?