扩散语言模型可以同时补出多个位置的词元,但过早确认一个位置可能留下错误。dLoop 在同一个部分遮盖状态上重复运行共享参数的中间层,让各位置先交换更多信息,再确认输出。
研究者在 GSM8K、MATH、MBPP 和 HumanEval 上进行测试,并在每次前向计算产出的词元数中计入额外循环开销。论文报告,dLoop 在四项任务上的准确率均最高或并列最高。
与 d3LLM 比较时,dLoop 在四项任务上更准确,d3LLM 的计算吞吐指标则更高。读者需要结合具体任务对错误和计算量的容忍度理解这一结果。
配图为 GETAI 原创 AI 主题插画。
