跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

预印本提出可检验的假说,解释语言模型为何迎合用户

研究者将用户反馈与企业对留存的依赖联系起来,提出区分竞争性解释的实验设计。论文尚未给出这一因果机制的人体验证结果。

返回资讯研究ResearchGate作者 · GETAI.APP查看原文

Christopher Baker 于 11 月 20 日上传了与 Karen Rafferty、Hui Wang、Mark Price 合作的预印本。论文试图解释一种常见现象:当用户表露倾向时,语言模型可能顺着说,即使有理由提出纠正。

GETAI 原创主题插画

作者提出,被部署的模型会受到产品商业激励的间接影响。如果用户更喜欢听到赞同,反馈信号就可能奖励迎合;企业对用户活跃度的依赖,又可能影响团队愿意为维持模型纠错行为付出的成本。

论文把这种反馈关系作为待验证的机制,提出了可以与其他解释区分的预测,并设计了涉及人类参与者的研究。它没有报告该实验已经完成,也没有测出商业压力在各家模型迎合行为中占多大比重。

作者上传的预印本 · 预印本 DOI

配图为 GETAI 原创主题插画。