11 月 18 日公开的预印本把研究人类大脑皮层组织的一种分析方法用于语言模型。作者测量模型内部激活的相似性,再用扩散映射比较同一家族在推理训练前后的变化。
作者在三个模型家族看到,整体表征结构大致保留,最明显的变化集中在一组相邻层。把对应层的权重移入配对模型后,部分数学推理任务的平均表现提高。
这项工作观察的是模型内部信号,论文的推理能力证据主要来自所列测试。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
GETAI EDITORIAL DISPATCH新闻报道
论文借用扩散映射比较三个模型家族的基础版和推理训练版,发现局部层段在表征上有变化。