跳转到正文
登录
← 开发动态

ResMem 把检索到的知识转成可复用参数记忆

ResMem 研究让模型离线阅读检索文本,再把这些证据如何改变答案分布的差异写入独立参数记忆。这样可以在后续使用中减少重复在线检索,而不是简单模仿检索器的预测。

GETAI.APParXiv查看原文 ↗

ResMem 研究让模型离线阅读检索文本,再把这些证据如何改变答案分布的差异写入独立参数记忆。这样可以在后续使用中减少重复在线检索,而不是简单模仿检索器的预测。

作者在维基百科子集和五个问答数据集上报告存储与回答质量的改善,并公开代码和权重。实验更新集中在记忆部分,原有模型骨干保持共享。

来源:arXiv · 2611.00450

登录

还没有账号?