跳转到正文
GETAI.APP
开发动态Ai2GETAI.APP查看原文

XYBench 测试 AI 能否识别提问背后的真实需求

8115 个问题区分字面请求与实际目标,相关论文此前于 9 月提交。

问号主题插画

Ai2 介绍 XYBench,一套包含 8115 个问题的评测,用来检查 AI 助手是否只回答用户提出的做法,还是能发现错误前提并回应真正目标。问题覆盖编程、烹饪和家居维修等场景。

测试区分“给出解决方案”“识别误解”与“把正确目标作为回答重点”。团队发现,被测模型即使提到了更合适的解决办法,也常把主要篇幅留给用户原先选择的错误方向。

这次是评测资源与研究结果的集中介绍,相关论文此前已于 9 月提交。当前评测主要覆盖英语的程序性问题,不能直接外推到所有语言和对话场景。

来源:Ai2。

配图:GETAI.APP 原创主题插画,非新闻现场实拍或官方产品界面。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?