11 月 18 日上传至 arXiv 的一项预印本研究,分析了模型在写出推理过程时内部保留的解题信息。作者在 25 项任务上区分有助于得到正确答案的状态,并将这些信息用于比较直接回答的表现。
在 Llama 3.1 8B 和 Qwen 2.5 7B 的这组实验中,作者报告,利用对应问题的隐藏状态可在减少生成文字的同时改善部分题目的准确率。有的题目仍需要输出中间计算。
实验建立这些信息时依赖同题的推理过程和参考答案。作者对仅凭新问题预测相同信息的初步尝试,准确率仍接近直接回答基线。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
