跳转到正文
GETAI.APP
开发动态arXivGETAI.APP查看原文

SPU 基准测试 AI 对湿实验结果的预测

SPU 用 100 项公开任务与 16 项私有任务,测试智能体对真实湿实验结果的排序预测。论文 11 月 11 日提交,本篇为近期研究补录。

SPU 论文图 3:116 项任务的学科与实验分布

UniPat AI 等研究者提出 Science Prediction Universe(SPU),用真实湿实验的测量结果评估 AI 智能体的预测。论文于 2026 年 11 月 11 日提交 arXiv;本篇为近期研究补录。

SPU 论文图 3:任务学科、来源与实验数量分布

SPU 包含 100 项公开任务和 16 项来自未发表实验的私有任务,覆盖化学、材料、生物与医学。智能体根据实验条件给候选项排序,评分程序将排序与隐藏的真实测量结果比较。论文规定每次运行最多八小时,并可使用联网检索与计算资源。

作者在十二种模型、十三种配置上的实验显示,公开任务的任务难度调整后平均 Spearman 相关系数介于 0.227 至 0.478。该指标衡量排序与实测结果的相关性,不能当作答题正确率;这些仍是预印本作者报告的结果。

来源:arXiv · Science Prediction Universe、论文全文、UniPat AI · 项目说明。

配图:Zengji Tu 等,Science Prediction Universe 图 3,CC BY 4.0,作者仓库原图,未修改。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?