跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

COVERAGE-TRACE 用改动原文来查摘要遗漏

研究固定同一份摘要,只替换会议记录里的一项事实,观察模型反应。换一种说法时,检测能力会明显下降。

返回资讯研究arXiv作者 · GETAI.APP查看原文

检查摘要时,写错的信息容易被发现,完全没有提到的内容却很难从摘要本身找出来。11 月 19 日公开的 COVERAGE-TRACE 预印本从原文一侧做实验:先选定会议记录中的一项事实,用类型相同的其他事实替换它,同时让待查摘要保持原样。

AI 生成主题插画

研究者随后比较模型在不同版本原文下赋给同一摘要的概率。如果摘要确实依赖这项事实,替换它通常会带来更明显的变化。团队在 QMSum 会议数据中构造了 80 对分别包含或遗漏目标事实的样本。在四个开放权重模型上,多次替换后的区分指标 AUROC 为 0.764 至 0.825,所比较的最佳纯文本基线为 0.640。

作者又做了一次更苛刻的检查:原文有时只是换一种说法,意思并没有变。校正这部分影响后,AUROC 降至 0.591 至 0.624。这说明它能帮助编辑找出值得回查的段落,但单个分数还不能用来断定摘要遗漏了哪一项事实。

原始来源 · 核对材料

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。