跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

CoLiR 挑选值得重练的旧题,测试视觉语言模型学新任务后能保留多少旧能力

CoLiR 比较微调前后正确与错误答案的概率变化,把有限的回放空间留给对既有能力影响较大的题目。

返回资讯研究arXiv作者 · GETAI.APP查看原文

连续强化学习中,一个模型按顺序学习不同任务,后面的训练可能冲淡此前的进步。11 月 19 日发布的 CoLiR 预印本研究了一个预算问题:只能留下少量旧题时,该把哪些题留给下一轮训练?

不同训练阶段作答结果组合对应的提示回放选择率

作者分别观察一项任务开始和结束时的模型,比较正确作答的概率提高了多少、错误作答的概率下降了多少,据此挑选值得回放的提示。后续训练从保留的提示中均匀抽样。筛选重用训练过程中已有的候选回答,仍需做额外评分,但无需为建立记忆库再生成一轮回答。

在 MRCL 的连续任务测试中,作者对三个规模的 Qwen3-VL 模型进行了比较。CoLiR 在所比较的方法中取得最高的平均最终准确率和平均任务准确率。其优势是否能延伸到架构不同的模型或更长的任务序列,还有待测试。

原始来源 · 核对材料

配图为 Qin-Wen Luo 等 的图 4。封面等比缩放并留白。CC BY 4.0 许可。