跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

同一句“我不知道”,模型内部信号能区分诚实与隐瞒吗?

在四个模型上,作者发现探针对措辞和模型选择都敏感,部分结果与随机对照难以区分。

返回资讯研究arXiv作者 · GETAI.APP查看原文

在四个模型上,作者发现探针对措辞和模型选择都敏感,部分结果与随机对照难以区分。

探针在不同测试集之间的迁移表现

研究者让模型对知道和不知道的问题给出同样的否定回答,避免评测只识别句子的表面差别。他们还比较了角色扮演形成的方向和更直接的知识信号。

知识信号在两个模型上区分了相同措辞背后的不同情况,第三个模型仅有微弱区分,第四个未能区分。论文建议用同措辞样例和随机方向作对照来解释检测结果。

原始来源 · 延伸材料

配图出自 Zami, Md. Abdullah Al 等 的图 2,等比缩放并留白。CC BY 4.0。