跳转到正文
GETAI.APP
开发动态arXivGETAI.APP查看原文

FutureBench 研究模型如何处理证据冲突

用真实、虚假和信息不足的同题材料,区分检查指令与来源优先级的影响。

AI 生成主题插画,非实拍

FutureBench 预印本提出可随事件更新的评估框架,用于研究模型内部知识与检索材料冲突时的回答。

主题插画,AI 生成、非实拍

每道带时间戳的问题配有支持正确答案、支持植入错误答案及不含答案的材料,并先测试模型不读材料时能否回答。不同提示分别控制材料优先级与检查要求,记录采纳错误、坚持正确答案、拒答等行为。

作者指出,把“核验”与“优先相信材料”合并在同一指令中,会混合两种影响;不同时间范围和模型的结果存在差异。

该工作以预印本公开,方法和实验范围见arXiv 论文。

配图由 GETAI.APP 使用内置 imagegen 生成,非新闻现场、产品界面或实测结果。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?