识别模型是否正在处理某个概念,与调整同一特征能否改变模型行为,是两种不同的检验。帕绍大学的 Jonathan Drechsel 和 Steffen Herbold 在 11 月 19 日更新的预印本中,加入了同时利用两类内部信号的估计方法 HYBRIEND。
原有方法用同一类信号训练编码器和解码器。HYBRIEND 把神经网络的激活值送入编码器,让解码器学习参数梯度的变化。研究者想知道,激活值在检测上的优势能否与梯度在干预上的优势结合。
修订稿附录 C.8 的图 15 和表 10 给出五个模型的逐任务比较。作者报告,HYBRIEND 在两类指标上通常优于其他 IEND 变体,但与更简单的对比均值方法相比,优势并不稳定。
配图为 GETAI 原创主题插画。
