跳转到正文
登录
← 开发动态

VeriHarm 同时检查代码完成与副作用

任务做对了,也可能伴随未授权的数据或系统操作。

GETAI.APParXiv查看原文 ↗

11 月 2 日公布的 VeriHarm-Bench 为编程智能体增加双重检查:一套测试确认任务是否完成,另一套检查执行过程中是否出现有害行为。基准通过可执行条件区分功能正确和安全完成。

作者报告,在其构造的场景中,较高的任务准确率并不对应同样高的安全完成率。这里评测的是受控情境下的风险,不是日常所有编程任务的事故发生比例。

来源:arXiv · 2611.03575。

登录

还没有账号?