跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

语言模型能识别一个概念,能否也用同一特征改变输出?

帕绍大学研究者在修订稿中加入 HYBRIEND,在五个模型上分别比较特征检测与干预效果。

返回资讯研究arXiv作者 · GETAI.APP查看原文

识别模型是否正在处理某个概念,与调整同一特征能否改变模型行为,是两种不同的检验。帕绍大学的 Jonathan Drechsel 和 Steffen Herbold 在 11 月 19 日更新的预印本中,加入了同时利用两类内部信号的估计方法 HYBRIEND。

GETAI 原创主题插画

原有方法用同一类信号训练编码器和解码器。HYBRIEND 把神经网络的激活值送入编码器,让解码器学习参数梯度的变化。研究者想知道,激活值在检测上的优势能否与梯度在干预上的优势结合。

修订稿附录 C.8 的图 15 和表 10 给出五个模型的逐任务比较。作者报告,HYBRIEND 在两类指标上通常优于其他 IEND 变体,但与更简单的对比均值方法相比,优势并不稳定。

修订版全文 · 此前版本

配图为 GETAI 原创主题插画。