一项模型压缩研究把权重拆为量化矩阵、低秩部分和处理离群行的稀疏部分,尝试用少量额外存储补偿低比特转换损失。
团队通过模拟退火搜索候选分解,在多款 Llama 与 Qwen 模型上比较 4 位量化表现。论文报告优于直接量化的结果,实际开销取决于所选补偿结构。
一项模型压缩研究把权重拆为量化矩阵、低秩部分和处理离群行的稀疏部分,尝试用少量额外存储补偿低比特转换损失。
团队通过模拟退火搜索候选分解,在多款 Llama 与 Qwen 模型上比较 4 位量化表现。论文报告优于直接量化的结果,实际开销取决于所选补偿结构。