资料没有写明某件事时,答案可能是“未知”,也可能按题设视为“否”。ClosureBench 为同一组基础场景分别提供开放世界、封闭世界和局部封闭世界规则,让模型在事实不变时重新回答。
评测不仅统计每题答对的比例,还检查同一场景下各规则变体是否全部答对。研究者另设切换指标,专门考察正确答案会随规则改变的样本。
在 960 个实例及重复测试中,总体准确率介于 71.18% 和 99.86%,核心切换准确率的跨度却达到 18.23% 至 99.31%。差异在只有部分范围须按封闭规则处理时尤其明显。
配图为 GETAI 原创 AI 主题插画。
