11 月 19 日公开的预印本介绍 AutoRAGBench。基准包含九项检索增强生成系统的开发任务,测试智能体能否利用数据和实验反馈逐步改进系统。
论文给受测配置每项任务六小时和一张 H800 GPU,并比较九种智能体配置。评估包括最终系统表现以及构建过程。
作者报告的排名和得分依赖任务数据、工具和资源上限。部分实验还以整理后的人类基准成绩作参照。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
GETAI EDITORIAL DISPATCH新闻报道
研究给智能体同样的时间和 GPU 条件,在九项任务中比较它们从头开发检索增强系统的表现。