跳转到正文
GETAI.APP
开发动态arXivGETAI.APP查看原文

Openhagen Worlds 设计科学探索基准

用可生成的隐藏系统和公开评分规则,区分实验选择与分析能力。

AI 生成主题插画,非实拍

Openhagen Worlds 预印本提出用于评估科学探索智能体的环境,将隐藏系统、可执行实验和最后提交的答案连接起来。

主题插画,AI 生成、非实拍

环境公开目标、动作格式、实验预算与评分条件,验证器根据隐藏真值检查答案。构建流程剔除无法由允许实验辨别的实例,再用脚本策略筛选难度,保留开发与最终评估的不同实例。

任务包含模拟系统和形式化规则,旨在检查智能体如何选择实验并解释观察;这些成绩不直接代表真实实验室中的科学发现能力。

该工作以预印本公开,方法和实验范围见arXiv 论文。

配图由 GETAI.APP 使用内置 imagegen 生成,非新闻现场、产品界面或实测结果。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?