11 月 18 日上传的 CurvDelta 预印本研究语言模型适配。作者根据原模型在保留任务上的表现,选择对既有能力影响较小的参数更新方向。
论文在数学推理、代码生成和知识选择性遗忘基准上做对照。作者报告,在部分适配任务中,模型保持了与比较方法相近的新任务表现,对通用任务的影响较小。
作者也给出低秩版本,尝试降低适配开销。结果以论文选择的模型、保留任务和评测范围为限。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
GETAI EDITORIAL DISPATCH新闻报道
研究限制参数更新的方向,并在数学推理和代码生成等任务上衡量新技能与原有表现。