一项研究对 14 个模型进行了医疗问答比较,测试同一道题在提供选项和不提供选项时的表现。数据涉及四套基准的 3,076 道题。
作者报告,移除选项后平均准确率从 82.3% 降至 50.9%。研究还检查了模型能否从选项重建原题,以观察可能的记忆影响。结果提示,医学选择题高分与开放式临床能力之间存在距离。
一项研究对 14 个模型进行了医疗问答比较,测试同一道题在提供选项和不提供选项时的表现。数据涉及四套基准的 3,076 道题。
一项研究对 14 个模型进行了医疗问答比较,测试同一道题在提供选项和不提供选项时的表现。数据涉及四套基准的 3,076 道题。
作者报告,移除选项后平均准确率从 82.3% 降至 50.9%。研究还检查了模型能否从选项重建原题,以观察可能的记忆影响。结果提示,医学选择题高分与开放式临床能力之间存在距离。