研究智能体做了很多轮观察,结论却不一定随新证据改变。11 月 18 日公开的 EpiCompass 预印本针对两种常见失误:一是写下观察没有支持的判断,二是已经发现反例,后续推理却仍沿着原来的方向走。
作者设计了一棵可以随调查更新的树,把某个假设、支持或质疑它的证据、系统当前的判断,以及后来做过的修订联系起来。选择下一步时,框架同时考虑两件事:继续调查能否缩小既有假设的不确定性,以及是否还有另一种解释从未被检验。完成时,它再把最后的结论与积累的观察逐项对照。
团队在三个科学探索基准、三种底层语言模型上与基线比较,报告该方法改善了任务表现。进一步分析显示,无依据的主张和遇到矛盾仍不修订的情形减少。对读者而言,这些实验检验的是模型如何使用给定观察;在模拟任务中记录充分的推断,仍需独立证据才能用于现实研究。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
