跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

后训练改变了什么?研究对比模型内部信号和它最终给出的答案

研究团队对照六个开放权重基础模型及其后训练版本,发现内部可区分的信息未必反映在回答中。

返回资讯研究arXiv作者 · GETAI.APP查看原文

研究团队对照六个开放权重基础模型及其后训练版本,发现内部可区分的信息未必反映在回答中。

模型内部判断与最终回答在否定陈述上的对比

在德语人写与 AI 生成文本的判断任务里,简单探针能区分两类材料,但模型自己的回答常给出不同排序。作者另用公开的否定陈述任务做复核。

在否定陈述上,多个基础模型没有利用内部已有的真假信号,后训练反而改善了这些回答。同一训练阶段在不同题目上可产生相反变化,因此需同时看内部测量和最终输出。

原始来源 · 延伸材料

配图出自 Laubrock, Jochen 的图 7,等比缩放并留白。CC BY 4.0。