跳转到正文
登录
← 开发动态

去掉选择题选项后,医疗 AI 得分明显下降

一项研究对 14 个模型进行了医疗问答比较,测试同一道题在提供选项和不提供选项时的表现。数据涉及四套基准的 3,076 道题。

GETAI.APParXiv查看原文 ↗

一项研究对 14 个模型进行了医疗问答比较,测试同一道题在提供选项和不提供选项时的表现。数据涉及四套基准的 3,076 道题。

作者报告,移除选项后平均准确率从 82.3% 降至 50.9%。研究还检查了模型能否从选项重建原题,以观察可能的记忆影响。结果提示,医学选择题高分与开放式临床能力之间存在距离。

来源:arXiv · 2611.00460

登录

还没有账号?