跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

VLRS-Bench 更新遥感推理评测,按模型支持的任务计算总分

新版表 2 明确了汇总口径。以 Llama 3.2 11B 为例,六项可用任务的分数相同,两版公布的总分却不同。

返回资讯研究arXiv作者 · GETAI.APP查看原文

武汉大学等机构的研究团队于 11 月 19 日更新了遥感视觉语言评测 VLRS-Bench。题库包含 2,000 组问答,覆盖认知、决策和预测三类能力。此次修订改变了部分结果的展示,直接影响如何阅读模型总分。

GETAI 原创主题插画

新版表 2 明确,总分按模型支持的任务取平均。对于 Llama 3.2 11B,表中六项有成绩,另外八项用叉号标识。对照上一版,这六项分数逐项相同,但表列总分从 0.110 变为 0.266。

这项修订提示读者,总分相近的模型可能完成了不同数量的任务。判断模型能否承担某类遥感分析,需要同时查看对应子任务的得分及缺项。两版中部分其他模型的子任务数值也有变动,整表的变动不能都归因于汇总口径。

修订版全文 · 此前版本

配图为 GETAI 原创主题插画。