跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

MedChemBench 用 99 道研究问题评估 AI 阅读药物化学证据的能力

按研究团队的分项评分,GPT-6.2 Astra 在最高推理设置下取得可得分数的 84.5%。

返回资讯研究OpenAI作者 · GETAI.APP查看原文

OpenAI 发布 MedChemBench,从已发表研究中整理出 99 道问题,考察模型能否读懂研究材料并给出有依据的回答。研究者为答案设置多个得分点,因此一道题可以得到部分分数。

GETAI 原创主题插画

在 xhigh 推理设置下,GPT-6.2 Astra 获得全部可得分数的 84.5%。同一评估中,GPT-6 Astra 为 83.3%,GPT-6.1 Sol 为 82.0%。这些比例衡量评分点的完成程度。

基准使用已有研究记录,检验的是模型能否从给定证据得出与评分要求相符的结论。它没有测试研究建议用于新项目后的实验结果或临床效果。

原始来源 · 延伸材料

配图为 GETAI 原创 AI 主题插画。