跳转到正文
GETAI.APP
开发动态arXivGETAI.APP查看原文

研究发现医学问答模型准确率之外仍需校准置信度

校准与保形预测补充准确率之外的风险信息,低准确率时答案集合仍很大。

医疗符号主题插画

一项研究在英语 MedMCQA 与阿拉伯语 MedAraBench 上测试两个开放权重模型,发现原始选项概率在四组实验中都存在过度自信。

温度校准降低了误差,保形预测可以提供覆盖率控制,但当模型准确率较低时,候选答案集合会变大。两个数据集的主题、难度和选项数不同,因此不能把差异直接归因于语言。研究是考试题评估,不是临床诊断表现。

来源:arXiv。

配图:GETAI.APP 原创主题插画,非新闻现场实拍或官方产品界面。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?