11 月 19 日公开的一项预印本比较两类容易混淆的任务。评判辩论时,要保留哪位发言人提出了什么理由,以及理由之间如何支撑或反驳。核查事实时,首要问题往往是检索回来的几条材料互相冲突,哪几条证据还值得用于最后判断。
作者先把已有方法拆成四个阶段,检查如何构造论点、估计关系和把推理结果交还给模型。随后分别为两个任务设计方法。辩论方法 Qnt-Arg 按原发言人组织论点,把模型估计的论证强度与候选答案的初始权重结合起来。事实核查方法 Qlt-Arg 则先判断冲突材料的可信程度,筛出可接受的证据后再让模型作答。
在论文所测的相同配置下,Qnt-Arg 在辩论判定中稳定优于其他加入论证结构的方法,Qlt-Arg 在检索式事实核查中也优于相应对照。作者发现,给模型加上一层形式化结构并不会自动带来收益,结果与所选任务、论点如何构造,以及模型负责哪个环节有关。
arXiv · 论文摘要及版本 · arXiv · 论文全文
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
