Databricks 在 11 月 19 日公布一组以虚构保险公司为背景的 Genie One 测试。作者设计了 125 个问题,分别检验模型能否从数据表、业务口径和文档中找对答案。
只提供数据表时得分为 64%。单独加入整理好的智能体,或单独提供可复用的业务定义,得分都达到 83%,但改善的是不同问题:前者有助于查询 PDF,后者能说明财务和承保团队为何对同名指标使用不同口径。
两类信息同时加入后,得分达到 93% 至 95%。在另一项定义变更测试中,作者只修改了一条指标定义及其说明页面,相关的 12 个回答都跟随更新。结果来自供应商自建案例,尚不能代表其他企业的数据质量或准确率。
配图为 GETAI 原创主题插画。
