跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

Databricks 用 125 道保险业务题测试 Genie One,单给数据表得分 64%

在同一组模拟问题中,同时提供整理好的智能体与业务定义后,Genie One 的得分升至 93% 至 95%。

返回资讯研究Databricks作者 · GETAI.APP查看原文

Databricks 在 11 月 19 日公布一组以虚构保险公司为背景的 Genie One 测试。作者设计了 125 个问题,分别检验模型能否从数据表、业务口径和文档中找对答案。

GETAI 原创主题插画

只提供数据表时得分为 64%。单独加入整理好的智能体,或单独提供可复用的业务定义,得分都达到 83%,但改善的是不同问题:前者有助于查询 PDF,后者能说明财务和承保团队为何对同名指标使用不同口径。

两类信息同时加入后,得分达到 93% 至 95%。在另一项定义变更测试中,作者只修改了一条指标定义及其说明页面,相关的 12 个回答都跟随更新。结果来自供应商自建案例,尚不能代表其他企业的数据质量或准确率。

原文 · 相关资料

配图为 GETAI 原创主题插画。