11 月 18 日上传的一篇预印本测试,语言模型只读取预测结果时,能否发现临床预测模型的已知问题。研究者用历史试验数据训练四类预测模型,构造 24 个带已知问题的版本,并混入 8 个对照模型。
作者报告,语言模型在 72 次针对含已知问题模型的测试中,有 69 次找到了预设问题。专用脚本也找全了 24 个预设问题。语言模型另外提出的许多问题未通过预先设定的检查。
研究考察的是离线审计。论文将模型输出复核和对后续患者数据的独立验证分开记录。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
