DictLLM 让模型多层共享压缩字典

DictLLM 预印本于 11 月 5 日提交。该方法把一组模型层的权重分解为共享字典与各层稀疏系数，再分别量化。实验以已有权重为输入，无需重新训练整个模型。

作者报告，在原始 LLaMA-7B 实验中，模型压缩约 5.1 倍，WikiText-2 困惑度增加 2.9 点。这组结果衡量的是指定模型及数据集上的压缩与质量取舍。

来源：arXiv · 论文全文。

封面为 AI 生成的编辑插图。