跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

研究从推理隐藏状态提取解题线索

作者在两个开源权重模型上比较直接回答与长推理,发现隐藏状态中含有可帮助回答的信号。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 18 日上传至 arXiv 的一项预印本研究,分析了模型在写出推理过程时内部保留的解题信息。作者在 25 项任务上区分有助于得到正确答案的状态,并将这些信息用于比较直接回答的表现。

AI 生成主题插画

在 Llama 3.1 8B 和 Qwen 2.5 7B 的这组实验中,作者报告,利用对应问题的隐藏状态可在减少生成文字的同时改善部分题目的准确率。有的题目仍需要输出中间计算。

实验建立这些信息时依赖同题的推理过程和参考答案。作者对仅凭新问题预测相同信息的初步尝试,准确率仍接近直接回答基线。

arXiv · 原文 · arXiv · 全文

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。