跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

ClosureBench 检验模型面对缺失信息时能否遵守题设

同一个场景只改变对缺失信息的处理规则,研究者据此检验模型会不会跟着切换判断。

返回资讯研究arXiv作者 · GETAI.APP查看原文

资料没有写明某件事时,答案可能是“未知”,也可能按题设视为“否”。ClosureBench 为同一组基础场景分别提供开放世界、封闭世界和局部封闭世界规则,让模型在事实不变时重新回答。

GETAI 原创主题插画

评测不仅统计每题答对的比例,还检查同一场景下各规则变体是否全部答对。研究者另设切换指标,专门考察正确答案会随规则改变的样本。

在 960 个实例及重复测试中,总体准确率介于 71.18% 和 99.86%,核心切换准确率的跨度却达到 18.23% 至 99.31%。差异在只有部分范围须按封闭规则处理时尤其明显。

原始来源 · 核对材料

配图为 GETAI 原创 AI 主题插画。