MINTEval 团队在新版论文中补充了与既有记忆基准的系统比较。测试把常见的独立事实问答换成相互关联、会被后续消息更新的记录,检查智能体能否在许多信息彼此干扰时找回正确状态。
材料涵盖状态追踪、多轮对话、维基百科修订及 GitHub 提交。题目有时要求取回同一事实的旧版本,有时必须汇总多份分散证据。团队观察到,间隔的更新越多,取回较早事实越容易出错。
作者的误差分析将问题定位到两个环节:记忆写入时可能遗漏细节,检索时也可能没能凑齐材料。27.9% 是这个基准上的平均值,不能直接用作实际产品的记忆准确率。
配图为 GETAI 原创主题插画。
