BoB 修订研究比较了重复列入基准时的平均名次位移。在完整重复的对照里,加权方案为 0.63,等权方案为 1.95。
如果两个相近测试都被计入总榜,同一种能力可能得到双重权重。研究者尝试保留观测值,同时按基准之间的接近程度分配影响力。
新版还分析了缺项情形。当不同模型只报告一组近似测试中的部分项目时,统一的列权重有时会反向加大偏差。改为依据每个模型实际报告的项目分配权重后,受控对照中的反转消失。
配图为 GETAI 原创 AI 主题插画。
GETAI EDITORIAL DISPATCH新闻报道
BoB 修订研究比较了重复列入基准时的平均名次位移。在完整重复的对照里,加权方案为 0.63,等权方案为 1.95。