跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

研究让潜在推理按进度调整步数

研究分析在内部表示中加入更多推理步骤会怎样影响解题,并在算术数据集上测试动态停止。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 18 日上传的一篇预印本研究固定步数的潜在推理。作者观察到,内部推理步数增加时,有些题目的正确答案会在后续步骤发生变化,准确率的变化并不始终随步数上升。

AI 生成主题插画

研究者提出根据推理进展调整运行步数,并在 CODI、Coconut、SIM-CoT 等方法和多个算术基准上测试。报告的最大准确率升幅为 7.2 个百分点,最大潜在计算降幅为 29%。

这些数字是各自比较中观察到的最大变化,适用范围限于论文的模型和算术任务。方案在实验中无需重新训练大语言模型。

arXiv · 原文 · arXiv · 全文

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。