团队根据模型当下的能力挑选需要放大才能回答的问题,也鼓励它在无需放大时直接作答。
视觉问答中的裁剪或缩放看得见,但模型有时在不看返回图像时也能答对。论文据此调整训练数据,持续筛选局部细节对答案有实际帮助的样例。
研究团队围绕小物体构造答案可核对的问题,在 V* 与 HR-Bench 4K 等视觉搜索测试上报告提升,同时单独检查回答是否依赖被放大的区域。
配图出自 Zhao, Yu 等 的图 4,等比缩放并留白。CC BY 4.0。
GETAI EDITORIAL DISPATCH新闻报道
团队根据模型当下的能力挑选需要放大才能回答的问题,也鼓励它在无需放大时直接作答。