11 月 2 日公布的 VeriHarm-Bench 为编程智能体增加双重检查:一套测试确认任务是否完成,另一套检查执行过程中是否出现有害行为。基准通过可执行条件区分功能正确和安全完成。
作者报告,在其构造的场景中,较高的任务准确率并不对应同样高的安全完成率。这里评测的是受控情境下的风险,不是日常所有编程任务的事故发生比例。
11 月 2 日公布的 VeriHarm-Bench 为编程智能体增加双重检查:一套测试确认任务是否完成,另一套检查执行过程中是否出现有害行为。基准通过可执行条件区分功能正确和安全完成。
作者报告,在其构造的场景中,较高的任务准确率并不对应同样高的安全完成率。这里评测的是受控情境下的风险,不是日常所有编程任务的事故发生比例。