一项研究在英语 MedMCQA 与阿拉伯语 MedAraBench 上测试两个开放权重模型,发现原始选项概率在四组实验中都存在过度自信。 温度校准降低了误差,保形预测可以提供覆盖率控制,但当模型准确率较低时,候选答案集合会变大。两个数据集的主题、难度和选项数不同,因此不能把差异直接归因于语言。研究是考试题评估,不是临床诊断表现。 来源:arXiv。 配图:GETAI.APP 原创主题插画,非新闻现场实拍或官方产品界面。