Ai2 介绍 XYBench,一套包含 8115 个问题的评测,用来检查 AI 助手是否只回答用户提出的做法,还是能发现错误前提并回应真正目标。问题覆盖编程、烹饪和家居维修等场景。
测试区分“给出解决方案”“识别误解”与“把正确目标作为回答重点”。团队发现,被测模型即使提到了更合适的解决办法,也常把主要篇幅留给用户原先选择的错误方向。
这次是评测资源与研究结果的集中介绍,相关论文此前已于 9 月提交。当前评测主要覆盖英语的程序性问题,不能直接外推到所有语言和对话场景。
来源:Ai2。
配图:GETAI.APP 原创主题插画,非新闻现场实拍或官方产品界面。
