跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

持久稀疏自编码器补做对照:事后平滑能否保留同样的信息

作者固定已有编码器,再用不同的时间尺度平滑特征,将结果与从训练开始就联合学习特征和时间尺度的方法比较。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 19 日,持久稀疏自编码器研究更新了 Gemma-2-2B 上的对照实验。问题是,如果模型已经学完逐词特征,再给每个特征补上跨词记忆,能否达到联合训练的效果。

持久稀疏自编码器将逐词激活累积为特征状态的示意图

修订版固定 BatchTopK 编码器,尝试给所有特征相同的平滑系数,也尝试为每个特征单独学习系数。论文表 9 分开记录了对原始表示的重建质量,以及只读取部分特征时判断文本所属主题的表现。

在作者的测试中,固定系数的做法会损失重建质量;改为学习各自的系数后,重建可以保住,但变化最慢的少数特征携带的主题信息仍有限。这组对照说明,事后延长记忆与训练时改变特征本身,可能产生不同结果。

原文 · 核对材料

配图来自 Haoyan Luo、Mateo Espinosa Zarlenga、Mateja Jamnik,图 2。封面等比缩放并加留白,沿用 CC BY 4.0 许可。