研究团队在 11 月 4 日提交了 FrontierPhysics 预印本,论文于 11 月 5 日进入 Hugging Face 每日论文榜。基准中的 56 道任务由 42 位物理学家根据实际研究设计,覆盖理论、计算和实验物理的九个方向。
任务要求智能体查阅文献、制定计划、开展研究或实验,并交付结构化结果和论文式报告。研究团队用可自动执行的检查与专家评分规则共同评估过程及结果。
在论文报告的 22 个模型、26 种配置中,表现最好的配置也只通过 168 次运行中的 46 次。这个数字对应论文设定的任务和实验条件。
配图:Bingran You 等的FrontierPhysics 论文任务示例,按 CC BY 4.0 使用。
来源:arXiv · Hugging Face 论文页。
