跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

开放世界推理研究扩充测试,区分“错误”和“证据不足”

修订版在含 17036 个查询的 ProofWriter 评估中检验了模型如何处理规则变化和未知结论。

返回资讯研究arXiv作者 · GETAI.APP查看原文

修订版在含 17036 个查询的 ProofWriter 评估中检验了模型如何处理规则变化和未知结论。

GETAI 原创主题插画

在开放世界设定中,材料既没有证明也没有反驳的命题应标为未知。团队把语言材料转换成事实与关系,再比较多种推导规则,并在改变部分事实后测试结论是否随之改变。

在包含多个事实的自然语言测试中,作者报告,使用联合事实对齐后,指定设置下的成绩从零样本的 1.33% 提高到 34.11%。这个结果表明,能执行规则并不意味着系统已能从文本中可靠识别输入事实。

原始来源 · 核对材料

配图为 GETAI 原创 AI 主题插画。