跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

辩论判定与事实核查,需要不同的论证方法

研究将形式化论证和语言模型结合,比较争论双方的观点与检索材料相互矛盾时该怎样处理。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 19 日公开的一项预印本比较两类容易混淆的任务。评判辩论时,要保留哪位发言人提出了什么理由,以及理由之间如何支撑或反驳。核查事实时,首要问题往往是检索回来的几条材料互相冲突,哪几条证据还值得用于最后判断。

AI 生成主题插画

作者先把已有方法拆成四个阶段,检查如何构造论点、估计关系和把推理结果交还给模型。随后分别为两个任务设计方法。辩论方法 Qnt-Arg 按原发言人组织论点,把模型估计的论证强度与候选答案的初始权重结合起来。事实核查方法 Qlt-Arg 则先判断冲突材料的可信程度,筛出可接受的证据后再让模型作答。

在论文所测的相同配置下,Qnt-Arg 在辩论判定中稳定优于其他加入论证结构的方法,Qlt-Arg 在检索式事实核查中也优于相应对照。作者发现,给模型加上一层形式化结构并不会自动带来收益,结果与所选任务、论点如何构造,以及模型负责哪个环节有关。

arXiv · 论文摘要及版本 · arXiv · 论文全文

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。