跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

SPARK 更新检索问答评测,测试外部材料与模型内部知识冲突时如何作答

修订版列出多个问答集的对照结果,并将冲突知识测试中的问答和选择题分开报告。

返回资讯研究arXiv作者 · GETAI.APP查看原文

检索增强生成系统把检索到的材料放进上下文,但模型已有的知识可能与材料不一致。SPARK 团队研究了一种可学习的调节方式,在生成回答时改变内部知识参与的程度。

SPARK 调节内部知识参与程度的框架

作者在模型各层引入轻量策略,按当前任务调节前馈网络的信息贡献。修订版补充了多个问答数据集的并列结果,并报告 ConFiQA 在开放问答与选择题两种形式下的比较,便于读者判断题型对表现的影响。

研究区分了遵循给定证据与独立判断证据真伪。即便模型能更稳定地依照上下文作答,检索材料的可靠性仍需另行检查。

原始报道或公告 · 延伸核对

配图取自Li, Ruochang 等的论文图 2,按 CC BY 4.0 使用,等比缩放。