跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

评审模型也会判断错误,研究用少量人工标签修正失败率估计

修订实验中,按评审置信度分层的估计器,在受测条件下相对最强基线最多降低约 30% 的均方误差。

返回资讯研究arXiv作者 · GETAI.APP查看原文

当研究者用另一个模型判断回答是否失败时,最终汇总会混入评审模型自己的误差。该论文用人工核对的少量样本约束误判范围,再估算目标系统的失败率。

用人工样本检查自动评审偏差的研究流程

作者在合成任务与真实模型评价数据上比较普通估计和分层估计。后者按评审置信度分组,在人工标注稀缺时取得较大改善。

约 30% 衡量的是失败率估计相对参考值的均方误差降幅。研究没有据此推断被测模型的错误率也下降了 30%。

原始来源 · 核对材料

配图为 Shen, Minghe 等 的图 1,等比缩放并留白。CC BY 4.0 许可。