研究团队用可控制的关系查询任务区分两个角色:实体表示中保存了哪些信息,以及网络如何根据问题选出其中相关的属性。作者构造了单跳和多跳任务,并将理论判断与训练得到的模型进行比较。
在受控设置中,研究者重新初始化实体表示,保持多层感知机冻结,观察相同的选择机制是否能迁移到新的对应关系。修订版还在 T-REx 上重复探测,以减少结论依赖单个整理数据集的可能。
新增的容量不足实验关注错误怎样随关系间的几何干扰而变化。这些结果解释了论文设置中可能形成的一种机制,不能据此定位任意大模型里一条事实的唯一存储位置。
配图取自Ravfogel, Shauli 等的论文图 2,按 CC BY 4.0 使用,等比缩放。
