一项研究区分了两种推断方式:把熟悉关系逐渐写入内部表示,以便快速调用;或在遇到新关系时,通过注意力在上下文中现场推理。
团队在人类、从头训练的神经网络与语言模型中观察这些策略,并用干预实验分析内部机制。研究认为两种方式各有计算代价与适用条件,不能简单用一种方式解释所有推理。
一项研究区分了两种推断方式:把熟悉关系逐渐写入内部表示,以便快速调用;或在遇到新关系时,通过注意力在上下文中现场推理。
团队在人类、从头训练的神经网络与语言模型中观察这些策略,并用干预实验分析内部机制。研究认为两种方式各有计算代价与适用条件,不能简单用一种方式解释所有推理。