11 月 19 日,Rabimba Karanjai 等人提出 TCDA,用于决定部署扩散语言模型时保留多少次去噪计算。同一个模型用来做摘要、翻译或数学题时,过早停止带来的损失可能很不一样,因此一个固定的步数很难覆盖所有任务。
研究者预先列出若干候选方案,例如减少时间网格、复用中间状态或满足阈值后提前结束,然后在配对的校准样本上同时检查任务质量和退化迹象。系统只从通过检验的方案里选取开销最低者;如果没有通过的候选,就维持完整日程。统计约束针对所设条件下错误选用不合格方案的概率。
作者在两个模型家族、七个数据集上测试。ELF-B 用于 XSum 摘要时,通过校准的方案把去噪调用次数降至约原来的 1/3.4;LLaDA-8B 在 WMT14 翻译任务上可降至 1/8。数字衡量的是去噪器调用次数,实际延迟还取决于采样实现、硬件与每次计算的代价。
配图为 GETAI 原创 AI 主题插画。
