跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

事实记忆研究加入 T-REx 复核,追踪 Transformer 如何从实体表示中取出属性

新增对照用独立事实数据重复探测实验,另分析容量不足时哪些关系更容易相互干扰。

返回资讯研究arXiv作者 · GETAI.APP查看原文

研究团队用可控制的关系查询任务区分两个角色:实体表示中保存了哪些信息,以及网络如何根据问题选出其中相关的属性。作者构造了单跳和多跳任务,并将理论判断与训练得到的模型进行比较。

实体嵌入中每种关系的线性读出准确率

在受控设置中,研究者重新初始化实体表示,保持多层感知机冻结,观察相同的选择机制是否能迁移到新的对应关系。修订版还在 T-REx 上重复探测,以减少结论依赖单个整理数据集的可能。

新增的容量不足实验关注错误怎样随关系间的几何干扰而变化。这些结果解释了论文设置中可能形成的一种机制,不能据此定位任意大模型里一条事实的唯一存储位置。

原始报道或公告 · 延伸核对

配图取自Ravfogel, Shauli 等的论文图 2,按 CC BY 4.0 使用,等比缩放。