跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

Complete-SVD 用模型最终输出选择低秩近似,比较压缩后的跨语料误差

作者比较了两种压缩目标,并观察到校准语料、跨语料困惑度和指令遵循表现并不总是同步改善。

返回资讯研究arXiv作者 · GETAI.APP查看原文

把语言模型的一块大权重矩阵拆成较小的低秩矩阵,可以缩减表示规模。一层权重近似得好,最终的词预测却仍可能发生变化。Alper Kalle 等人于 11 月 19 日发布 Complete-SVD 预印本,直接以压缩前后模型输出分数的差距指导矩阵分解。

GETAI 原创主题插画

Complete-SVD 对词表中各个输出分数的变化等权处理。作者用随机探测近似其中难以直接计算的部分,并另做一组对照,用更强调概率分布差异的目标替代平方距离,以观察选择压缩标准带来的影响。

作者报告,在统一秩、WikiText-2 校准等相同设置下,Complete-SVD 在 C4 和 PTB 测试语料上获得比较组中最低的困惑度。替换目标后,一些下游准确率上升,跨语料困惑度却变差。实际部署仍需分别测量内存、吞吐量与所需任务的质量。

原始来源 · 核对材料

配图为 GETAI 原创 AI 主题插画。