研究团队对照六个开放权重基础模型及其后训练版本,发现内部可区分的信息未必反映在回答中。
在德语人写与 AI 生成文本的判断任务里,简单探针能区分两类材料,但模型自己的回答常给出不同排序。作者另用公开的否定陈述任务做复核。
在否定陈述上,多个基础模型没有利用内部已有的真假信号,后训练反而改善了这些回答。同一训练阶段在不同题目上可产生相反变化,因此需同时看内部测量和最终输出。
配图出自 Laubrock, Jochen 的图 7,等比缩放并留白。CC BY 4.0。
GETAI EDITORIAL DISPATCH新闻报道
研究团队对照六个开放权重基础模型及其后训练版本,发现内部可区分的信息未必反映在回答中。