FutureBench 预印本提出可随事件更新的评估框架,用于研究模型内部知识与检索材料冲突时的回答。
每道带时间戳的问题配有支持正确答案、支持植入错误答案及不含答案的材料,并先测试模型不读材料时能否回答。不同提示分别控制材料优先级与检查要求,记录采纳错误、坚持正确答案、拒答等行为。
作者指出,把“核验”与“优先相信材料”合并在同一指令中,会混合两种影响;不同时间范围和模型的结果存在差异。
该工作以预印本公开,方法和实验范围见arXiv 论文。
配图由 GETAI.APP 使用内置 imagegen 生成,非新闻现场、产品界面或实测结果。
