11 月 19 日更新的一篇多模态推理预印本,在附录中用 DynaMath 第 7231 题分析视觉线索怎样影响最终答案。这道题要求数出图中有几个连通分量:七个顶点通过边相连,另有一个顶点孤立在上方。
基础模型只数了彼此相连的七个顶点,得到一个分量。经过 SRPO 训练的模型在描述图像时先记下孤立的顶点,再把它和其余相连的点分别计数,得出标准答案「两个」。
论文把两段回答按观察、推理和最终答案并排列出。作者说明解码设置相同,但基础模型使用评测的默认提示,SRPO 使用训练时的模板。这一例子揭示了两份回答的具体分歧,单靠它无法估计整体准确率。
配图为 GETAI 原创主题插画。
