跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

EvalSift 公布客服智能体的百条评测案例,七次失败源于没有调用工具

案例设定为一家虚构户外用品店。单名标注者将 100 次运行中的 12 次判为失败,并公开了问题清单和失败分类。

返回资讯开发工具EvalSift作者 · GETAI.APP查看原文

EvalSift 作者于 11 月 21 日公布了一项错误分析案例:让具备订单、库存和政策查询工具的智能体回答 100 个客服问题,再由一名标注者逐条审查。

GETAI 原创主题插画

在这个案例中,88 条通过、12 条失败。七次失败是智能体本可以调用工具查询,却再次向顾客索要信息;另有两次误用了优惠门槛。其余三个问题分别涉及商品名歧义、日期计算和超范围作答。

公开仓库给出了问题清单、错误分类和部分实例,可用于重跑相同问题。作者将完整的逐条轨迹和标注另列入 Solo 套件。样本来自一个虚构商店场景,数字描述的是这一次评测。

发布方原文 · 核对材料

配图为 GETAI 原创主题插画。