跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

扩散语言模型该去噪多少次?TCDA 按任务校准计算预算

研究在校准样本上比较一组候选计算计划,达到质量和退化检验才启用较便宜的方案,否则沿用完整计划。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 19 日,Rabimba Karanjai 等人提出 TCDA,用于决定部署扩散语言模型时保留多少次去噪计算。同一个模型用来做摘要、翻译或数学题时,过早停止带来的损失可能很不一样,因此一个固定的步数很难覆盖所有任务。

GETAI 原创主题插画

研究者预先列出若干候选方案,例如减少时间网格、复用中间状态或满足阈值后提前结束,然后在配对的校准样本上同时检查任务质量和退化迹象。系统只从通过检验的方案里选取开销最低者;如果没有通过的候选,就维持完整日程。统计约束针对所设条件下错误选用不合格方案的概率。

作者在两个模型家族、七个数据集上测试。ELF-B 用于 XSum 摘要时,通过校准的方案把去噪调用次数降至约原来的 1/3.4;LLaDA-8B 在 WMT14 翻译任务上可降至 1/8。数字衡量的是去噪器调用次数,实际延迟还取决于采样实现、硬件与每次计算的代价。

原始来源 · 核对材料

配图为 GETAI 原创 AI 主题插画。