跳转到正文
登录
← 开发动态

量化研究用低秩与稀疏补偿保留模型信息

一项模型压缩研究把权重拆为量化矩阵、低秩部分和处理离群行的稀疏部分,尝试用少量额外存储补偿低比特转换损失。

GETAI.APParXiv查看原文 ↗

一项模型压缩研究把权重拆为量化矩阵、低秩部分和处理离群行的稀疏部分,尝试用少量额外存储补偿低比特转换损失。

团队通过模拟退火搜索候选分解,在多款 Llama 与 Qwen 模型上比较 4 位量化表现。论文报告优于直接量化的结果,实际开销取决于所选补偿结构。

来源:arXiv · 2611.00286

登录

还没有账号?