跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

盲测比较语言模型审计临床预测的表现

研究把设有已知问题的模型混入对照组,比较语言模型和专用脚本发现问题的情况。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 18 日上传的一篇预印本测试,语言模型只读取预测结果时,能否发现临床预测模型的已知问题。研究者用历史试验数据训练四类预测模型,构造 24 个带已知问题的版本,并混入 8 个对照模型。

AI 生成主题插画

作者报告,语言模型在 72 次针对含已知问题模型的测试中,有 69 次找到了预设问题。专用脚本也找全了 24 个预设问题。语言模型另外提出的许多问题未通过预先设定的检查。

研究考察的是离线审计。论文将模型输出复核和对后续患者数据的独立验证分开记录。

arXiv · 原文 · arXiv · 全文

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。