跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

把同一个基准列两次,会让模型排名变多少?

BoB 修订研究比较了重复列入基准时的平均名次位移。在完整重复的对照里,加权方案为 0.63,等权方案为 1.95。

返回资讯研究arXiv作者 · GETAI.APP查看原文

BoB 修订研究比较了重复列入基准时的平均名次位移。在完整重复的对照里,加权方案为 0.63,等权方案为 1.95。

GETAI 原创主题插画

如果两个相近测试都被计入总榜,同一种能力可能得到双重权重。研究者尝试保留观测值,同时按基准之间的接近程度分配影响力。

新版还分析了缺项情形。当不同模型只报告一组近似测试中的部分项目时,统一的列权重有时会反向加大偏差。改为依据每个模型实际报告的项目分配权重后,受控对照中的反转消失。

原始来源 · 核对材料

配图为 GETAI 原创 AI 主题插画。