只看一问一答,很难判断聊天模型会怎样回应用户逐渐加强的情感依恋。11 月 18 日公开的 CoMPASS 预印本把测试扩展到多轮对话,让情境中的变化沿着几个不同方向逐步出现,再比较模型回答与匹配对照之间的差异。
团队设计了四种模拟用户设定,分别改变把系统当作人的程度、对系统的情感依恋,以及对它的依赖。三个维度既可以单独变化,也可以组合出现。研究用七项信号为回答评分,覆盖四家提供方的八个模型,尽量让不同模型经历可比的对话过程。
在主要评分模型下,八个受测模型在拟人化与依恋两项综合指标上都随多轮情境升级而上升。三种维度一起加强时,六个模型的总体强化得分显著高于对照。作者测量的是模型面对模拟用户时生成了怎样的回答,这组分数无法用来判断真实用户是否会形成依赖,也不能替代对实际长期使用情况的研究。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
