SHIFT 研究先把微调模型向微调前的权重收缩，再短暂学习需要保留的数据，据此估计删除特定数据影响的方向。方法将变化转为蒸馏目标并迭代调整。
团队在统一协议下比较了 11 个基线，报告在遗忘效果和保留知识之间取得更好平衡。研究的目标是接近不使用指定数据重新训练的模型，而不是无限压低相关文本的概率。
SHIFT 用“收缩再修复”改进模型遗忘学习
SHIFT 研究先把微调模型向微调前的权重收缩，再短暂学习需要保留的数据，据此估计删除特定数据影响的方向。方法将变化转为蒸馏目标并迭代调整。
SHIFT 研究先把微调模型向微调前的权重收缩，再短暂学习需要保留的数据，据此估计删除特定数据影响的方向。方法将变化转为蒸馏目标并迭代调整。
SHIFT 研究先把微调模型向微调前的权重收缩，再短暂学习需要保留的数据，据此估计删除特定数据影响的方向。方法将变化转为蒸馏目标并迭代调整。
团队在统一协议下比较了 11 个基线，报告在遗忘效果和保留知识之间取得更好平衡。研究的目标是接近不使用指定数据重新训练的模型，而不是无限压低相关文本的概率。