跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

dLoop 为扩散语言模型增加内部循环,研究比较准确率与推理开销

研究比较重复内部计算带来的准确率变化,并将额外循环计入吞吐量。

返回资讯研究arXiv作者 · GETAI.APP查看原文

扩散语言模型可以同时补出多个位置的词元,但过早确认一个位置可能留下错误。dLoop 在同一个部分遮盖状态上重复运行共享参数的中间层,让各位置先交换更多信息,再确认输出。

GETAI 原创主题插画

研究者在 GSM8K、MATH、MBPP 和 HumanEval 上进行测试,并在每次前向计算产出的词元数中计入额外循环开销。论文报告,dLoop 在四项任务上的准确率均最高或并列最高。

与 d3LLM 比较时,dLoop 在四项任务上更准确,d3LLM 的计算吞吐指标则更高。读者需要结合具体任务对错误和计算量的容忍度理解这一结果。

原始来源 · 核对材料

配图为 GETAI 原创 AI 主题插画。