PREWARN 提出按错误发生时间评估模型监控器,区分生成完成后的分类、错误已开始时的检测,以及错误发生前仍来得及干预的预警。
团队以三种开放模型的重复退化为案例发现,响应级 AUROC 相近的探针,实际提前报警能力可能相差很大。方法先按应用容许误差校准阈值,再对照错误起点评分。论文公开带阈值的探针,但尚不能证明这些探针对所有幻觉或安全问题都能提前预警。
来源:arXiv。
图片来源:Marco De Negri、Luca Sartori、Lorenzo Baggi 等,PREWARN 作者,CC-BY-4.0。图片为项目演示或论文原图,并非本站独立测试。
