跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

Tokengeist 向前追溯多轮对话,寻找信息最初出现的位置

在四个开放权重模型上,论文报告递归追溯的来源召回率为 82% 至 94%,一次性归因为 11% 至 38%。

返回资讯研究arXiv作者 · GETAI.APP查看原文

在四个开放权重模型上,论文报告递归追溯的来源召回率为 82% 至 94%,一次性归因为 11% 至 38%。

不同对话依赖类型的归因评测结果

智能体在回答中重复用户提供的事实,后续模型容易把这次转述误认作信息源。Tokengeist 将对话轮次之间的依赖表示成图,沿途检查一次引用还依赖哪些更早的内容。

修订版在 685 段对话中评估 3970 段目标文本,人工参考链最长 17 层。论文用不同依赖类型分别计算指标,区分找到最近一次复述和找到原始事件。

原始来源 · 核对材料

配图为 Tang, Jessica 等 的图 4,等比缩放并留白。CC BY 4.0 许可。