跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

TwinLab-Bench 用真实实验记录,评估 AI 能否自行设计实验

52 道任务让模型自己选择实验,并用真实记录核对最终报告。

返回资讯研究arXiv作者 · GETAI.APP查看原文

过去许多基准让智能体执行指定流程,或从给定测量选项中做选择。TwinLab-Bench 把选择实验本身也交给模型,再用实验室已有记录检验它最后提交的报告。

GETAI 原创主题插画

研究者编制了横跨物理科学、生命科学和工程的 52 个任务。每道题设置专门的实验环境,根据真实记录和计算工具返回读数,最终报告与预先隐藏的答案比对。

在论文所列测试中,平均分最高的 Claude Fable 5.2 得到 45.0 分。这个分数来自受控的记录驱动环境,实际实验室中的操作能力还需要其他证据。

原始来源 · 核对材料

配图为 GETAI 原创 AI 主题插画。