MaLoRA 尝试更稳地合并多个微调适配器

MaLoRA 预印本分析了 LoRA 微调中两个常见现象，即旧能力的保留，以及分别训练的适配器能否合并使用。

研究者在带有特定假设的多分类模型中，用分类间隔描述预训练任务与新任务的权衡，并据此推导适配器混合系数，提出无需额外训练的合并规则。

论文在视觉和语言分类任务上进行了实验，报告其表现达到或超过部分合并基线。理论结论依赖所设分析条件，实验范围也主要是指定分类任务。

来源：arXiv 原文。

图片来源：论文作者 / arXiv。