跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

CaRR 从修改轨迹中找回答案,改善低预算扩散生成

在原定模型前向计算次数的八分之一预算下,CaRR 在代码和数学任务的六项指标上平均提高 7.44 个百分点。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 19 日,Hao Wu 等人公开 CaRR,研究可编辑的扩散语言模型怎样利用已有草稿。模型可以并行修改多个位置,减少顺序生成步数,但在计算预算较紧时,也可能改掉了有用的内容,或在提交时留下格式不合要求的答案。

GETAI 原创主题插画

CaRR 保留模型原有的编辑计划。第一步把选中的替换位置重新遮住,在下一次本来就要执行的计算里,结合已经改过的上下文重新填词。第二步利用这次生成留下的修改轨迹:如果末稿没有满足题目的输出要求,就从轨迹中找出有支持的候选。整个流程无需重新训练模型,也没有追加主干模型的前向计算。

研究在四档推理预算下与原始 ME-DLM 作比较。预算缩至完整前向计划的八分之一时,代码生成与数学推理的六项准确率指标平均提高 7.44 个百分点;单看 MBPP 和 MBPP+,分别提高 11.37 和 10.05 个百分点。这些数字衡量测试任务的准确率,实际部署时的耗时还取决于轨迹处理等开销。

论文与版本记录 · 作者全文

配图为 GETAI 原创 AI 主题插画。