跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

CurvDelta 测试模型适配时如何保留通用能力

研究限制参数更新的方向,并在数学推理和代码生成等任务上衡量新技能与原有表现。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 18 日上传的 CurvDelta 预印本研究语言模型适配。作者根据原模型在保留任务上的表现,选择对既有能力影响较小的参数更新方向。

AI 生成主题插画

论文在数学推理、代码生成和知识选择性遗忘基准上做对照。作者报告,在部分适配任务中,模型保持了与比较方法相近的新任务表现,对通用任务的影响较小。

作者也给出低秩版本,尝试降低适配开销。结果以论文选择的模型、保留任务和评测范围为限。

arXiv · 原文 · arXiv · 全文

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。