跳转到正文
GETAI.APP
开发动态arXivGETAI.APP查看原文

新基准在真实论文中植入错误,测试 AI 审稿能力

比较十二种审稿系统的错误发现率与误报,工具收益随学科和任务变化。

文稿批注主题插画

研究团队在两组共 30 篇天体物理与机器学习论文中植入 357 处可定位错误,比较十二种 AI 审稿系统的发现率和误报率。

论文同时提出 Skepthical,用检索核对引用、计算机代数检查数学、运行代码检查数值。结果显示,模型选择影响很大,工具在补足模型缺少的信息时更有帮助;引用检索在两个学科中的收益并不相同。团队公开评测流程和裁决记录,结果不能外推为 AI 已具备完整同行评审资格。

来源:arXiv。

配图:GETAI.APP 原创主题插画,非新闻现场实拍或官方产品界面。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?