跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

研究用皮层分析方法观察语言模型推理层

论文借用扩散映射比较三个模型家族的基础版和推理训练版,发现局部层段在表征上有变化。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 18 日公开的预印本把研究人类大脑皮层组织的一种分析方法用于语言模型。作者测量模型内部激活的相似性,再用扩散映射比较同一家族在推理训练前后的变化。

AI 生成主题插画

作者在三个模型家族看到,整体表征结构大致保留,最明显的变化集中在一组相邻层。把对应层的权重移入配对模型后,部分数学推理任务的平均表现提高。

这项工作观察的是模型内部信号,论文的推理能力证据主要来自所列测试。

arXiv · 原文 · arXiv · 全文

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。