11 月 19 日公开的 ChronoDossier 预印本研究,语言模型依据一份长档案回答人物问题时,错误究竟出在记录、检索还是作答。研究先确定虚构人物的身份和带日期的经历,再由七个生成器写出 311 份档案,每份约一千至一万词。研究者因此事先知道某个阶段的事实应当是什么。
团队抽取 32 个人物建立评测组,让五种模型读取资料,在每种条件下评判 520 轮回答。相同的已知事实可以写成一次生成的档案,也可以分阶段写入。作者发现,为一种写法设计并固定下来的问题,换到另一种写法后,评测结果并不总能稳定复现。
对已经判作证据组织有问题的失败案例,把短摘录换成完整章节后,GPT-5.1 修复了 32 例中的 29 例,Sonnet 4.6 修复了 30 例中的 25 例。对证据已到位、出错发生在组织答案阶段的案例,分别只修复 8 例中的 2 例和 1 例。测试采用合成记录,没有涉及真实用户档案。
arXiv · 论文摘要及版本 · arXiv · 论文全文
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
