EvalSift 作者于 11 月 21 日公布了一项错误分析案例:让具备订单、库存和政策查询工具的智能体回答 100 个客服问题,再由一名标注者逐条审查。
在这个案例中,88 条通过、12 条失败。七次失败是智能体本可以调用工具查询,却再次向顾客索要信息;另有两次误用了优惠门槛。其余三个问题分别涉及商品名歧义、日期计算和超范围作答。
公开仓库给出了问题清单、错误分类和部分实例,可用于重跑相同问题。作者将完整的逐条轨迹和标注另列入 Solo 套件。样本来自一个虚构商店场景,数字描述的是这一次评测。
配图为 GETAI 原创主题插画。
