当研究者用另一个模型判断回答是否失败时,最终汇总会混入评审模型自己的误差。该论文用人工核对的少量样本约束误判范围,再估算目标系统的失败率。
作者在合成任务与真实模型评价数据上比较普通估计和分层估计。后者按评审置信度分组,在人工标注稀缺时取得较大改善。
约 30% 衡量的是失败率估计相对参考值的均方误差降幅。研究没有据此推断被测模型的错误率也下降了 30%。
配图为 Shen, Minghe 等 的图 1,等比缩放并留白。CC BY 4.0 许可。
GETAI EDITORIAL DISPATCH新闻报道
修订实验中,按评审置信度分层的估计器,在受测条件下相对最强基线最多降低约 30% 的均方误差。