在四个模型上,作者发现探针对措辞和模型选择都敏感,部分结果与随机对照难以区分。
研究者让模型对知道和不知道的问题给出同样的否定回答,避免评测只识别句子的表面差别。他们还比较了角色扮演形成的方向和更直接的知识信号。
知识信号在两个模型上区分了相同措辞背后的不同情况,第三个模型仅有微弱区分,第四个未能区分。论文建议用同措辞样例和随机方向作对照来解释检测结果。
配图出自 Zami, Md. Abdullah Al 等 的图 2,等比缩放并留白。CC BY 4.0。
GETAI EDITORIAL DISPATCH新闻报道
在四个模型上,作者发现探针对措辞和模型选择都敏感,部分结果与随机对照难以区分。