11 月 10 日提交的 Mobile AI Factory 预印本介绍一套为移动设备构建专用小语言模型的系统。它根据任务和目标手机,选择模型规模、量化配置及训练策略。
编排模型可以调整超参数、挖掘真实数据或生成样本;固定规则会回退降低准确率的修改。研究同时测量手机上的运行表现,而非仅从硬件规格推断。
作者在十项任务和四款安卓手机上测试,部分任务优于所比较的少样本前沿模型设置。论文研究的是为特定任务定制模型,并未证明小模型能普遍替代大型通用模型。
来源:arXiv 原文。
图片来源:论文作者 / arXiv。
