跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

ChronoDossier 检验模型能否从长档案找回事实

研究用已知时间线生成 311 份虚构人物档案,区分事实没被交给模型和模型看过证据却答错两种情形。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 19 日公开的 ChronoDossier 预印本研究,语言模型依据一份长档案回答人物问题时,错误究竟出在记录、检索还是作答。研究先确定虚构人物的身份和带日期的经历,再由七个生成器写出 311 份档案,每份约一千至一万词。研究者因此事先知道某个阶段的事实应当是什么。

AI 生成主题插画

团队抽取 32 个人物建立评测组,让五种模型读取资料,在每种条件下评判 520 轮回答。相同的已知事实可以写成一次生成的档案,也可以分阶段写入。作者发现,为一种写法设计并固定下来的问题,换到另一种写法后,评测结果并不总能稳定复现。

对已经判作证据组织有问题的失败案例,把短摘录换成完整章节后,GPT-5.1 修复了 32 例中的 29 例,Sonnet 4.6 修复了 30 例中的 25 例。对证据已到位、出错发生在组织答案阶段的案例,分别只修复 8 例中的 2 例和 1 例。测试采用合成记录,没有涉及真实用户档案。

arXiv · 论文摘要及版本 · arXiv · 论文全文

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。