11 月 19 日,持久稀疏自编码器研究更新了 Gemma-2-2B 上的对照实验。问题是,如果模型已经学完逐词特征,再给每个特征补上跨词记忆,能否达到联合训练的效果。
修订版固定 BatchTopK 编码器,尝试给所有特征相同的平滑系数,也尝试为每个特征单独学习系数。论文表 9 分开记录了对原始表示的重建质量,以及只读取部分特征时判断文本所属主题的表现。
在作者的测试中,固定系数的做法会损失重建质量;改为学习各自的系数后,重建可以保住,但变化最慢的少数特征携带的主题信息仍有限。这组对照说明,事后延长记忆与训练时改变特征本身,可能产生不同结果。
配图来自 Haoyan Luo、Mateo Espinosa Zarlenga、Mateja Jamnik,图 2。封面等比缩放并加留白,沿用 CC BY 4.0 许可。
