11 月 19 日,Hao Wu 等人公开 CaRR,研究可编辑的扩散语言模型怎样利用已有草稿。模型可以并行修改多个位置,减少顺序生成步数,但在计算预算较紧时,也可能改掉了有用的内容,或在提交时留下格式不合要求的答案。
CaRR 保留模型原有的编辑计划。第一步把选中的替换位置重新遮住,在下一次本来就要执行的计算里,结合已经改过的上下文重新填词。第二步利用这次生成留下的修改轨迹:如果末稿没有满足题目的输出要求,就从轨迹中找出有支持的候选。整个流程无需重新训练模型,也没有追加主干模型的前向计算。
研究在四档推理预算下与原始 ME-DLM 作比较。预算缩至完整前向计划的八分之一时,代码生成与数学推理的六项准确率指标平均提高 7.44 个百分点;单看 MBPP 和 MBPP+,分别提高 11.37 和 10.05 个百分点。这些数字衡量测试任务的准确率,实际部署时的耗时还取决于轨迹处理等开销。
配图为 GETAI 原创 AI 主题插画。
