跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

视觉模型放大图片后,研究者检查它是否真的使用了局部证据

团队根据模型当下的能力挑选需要放大才能回答的问题,也鼓励它在无需放大时直接作答。

返回资讯研究arXiv作者 · GETAI.APP查看原文

团队根据模型当下的能力挑选需要放大才能回答的问题,也鼓励它在无需放大时直接作答。

根据图像细节构造可核实问题的流程

视觉问答中的裁剪或缩放看得见,但模型有时在不看返回图像时也能答对。论文据此调整训练数据,持续筛选局部细节对答案有实际帮助的样例。

研究团队围绕小物体构造答案可核对的问题,在 V* 与 HR-Bench 4K 等视觉搜索测试上报告提升,同时单独检查回答是否依赖被放大的区域。

原始来源 · 延伸材料

配图出自 Zhao, Yu 等 的图 4,等比缩放并留白。CC BY 4.0。