在模拟办公室日志上,即使告警分数相同,研究者对“模型为何告警”的判断也会随对照方式改变。
团队比较了两种干预,一种移除被认为解释告警的内部特征,另一种保留特征但引入相近幅度的变化。两者差多少,取决于怎样定义“相近”。
在七种模型的 34 轮测试里,33 轮只需在两种常用度量之间移动至多 18% 的距离,就达到作者定义的临界点。结果提示审核者,告警系统的解释本身也需要独立检验。
配图为 GETAI 原创 AI 主题插画。
GETAI EDITORIAL DISPATCH新闻报道
在模拟办公室日志上,即使告警分数相同,研究者对“模型为何告警”的判断也会随对照方式改变。