跳转到正文
GETAI.APP
开发动态arXivGETAI.APP查看原文

PREWARN 区分模型出错后的检测与出错前预警

相近的响应级分数可能对应不同提前量,评估需要对齐错误发生的时刻。

PREWARN 论文中区分检测与提前预警的评估示意图

PREWARN 提出按错误发生时间评估模型监控器,区分生成完成后的分类、错误已开始时的检测,以及错误发生前仍来得及干预的预警。

团队以三种开放模型的重复退化为案例发现,响应级 AUROC 相近的探针,实际提前报警能力可能相差很大。方法先按应用容许误差校准阈值,再对照错误起点评分。论文公开带阈值的探针,但尚不能证明这些探针对所有幻觉或安全问题都能提前预警。

来源:arXiv。

图片来源:Marco De Negri、Luca Sartori、Lorenzo Baggi 等,PREWARN 作者,CC-BY-4.0。图片为项目演示或论文原图,并非本站独立测试。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?