武汉大学等机构的研究团队于 11 月 19 日更新了遥感视觉语言评测 VLRS-Bench。题库包含 2,000 组问答,覆盖认知、决策和预测三类能力。此次修订改变了部分结果的展示,直接影响如何阅读模型总分。
新版表 2 明确,总分按模型支持的任务取平均。对于 Llama 3.2 11B,表中六项有成绩,另外八项用叉号标识。对照上一版,这六项分数逐项相同,但表列总分从 0.110 变为 0.266。
这项修订提示读者,总分相近的模型可能完成了不同数量的任务。判断模型能否承担某类遥感分析,需要同时查看对应子任务的得分及缺项。两版中部分其他模型的子任务数值也有变动,整表的变动不能都归因于汇总口径。
配图为 GETAI 原创主题插画。
