把语言模型的一块大权重矩阵拆成较小的低秩矩阵,可以缩减表示规模。一层权重近似得好,最终的词预测却仍可能发生变化。Alper Kalle 等人于 11 月 19 日发布 Complete-SVD 预印本,直接以压缩前后模型输出分数的差距指导矩阵分解。
Complete-SVD 对词表中各个输出分数的变化等权处理。作者用随机探测近似其中难以直接计算的部分,并另做一组对照,用更强调概率分布差异的目标替代平方距离,以观察选择压缩标准带来的影响。
作者报告,在统一秩、WikiText-2 校准等相同设置下,Complete-SVD 在 C4 和 PTB 测试语料上获得比较组中最低的困惑度。替换目标后,一些下游准确率上升,跨语料困惑度却变差。实际部署仍需分别测量内存、吞吐量与所需任务的质量。
配图为 GETAI 原创 AI 主题插画。
