跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

多模态推理论文修订:用一枚孤立顶点追查模型为何数错

作者在修订版并列展示两种模型对同一张图的观察与推理,让读者看见答案从哪一步开始分歧。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 19 日更新的一篇多模态推理预印本,在附录中用 DynaMath 第 7231 题分析视觉线索怎样影响最终答案。这道题要求数出图中有几个连通分量:七个顶点通过边相连,另有一个顶点孤立在上方。

GETAI 原创主题插画

基础模型只数了彼此相连的七个顶点,得到一个分量。经过 SRPO 训练的模型在描述图像时先记下孤立的顶点,再把它和其余相连的点分别计数,得出标准答案「两个」。

论文把两段回答按观察、推理和最终答案并排列出。作者说明解码设置相同,但基础模型使用评测的默认提示,SRPO 使用训练时的模板。这一例子揭示了两份回答的具体分歧,单靠它无法估计整体准确率。

原始来源 · 核对材料

配图为 GETAI 原创主题插画。