Christopher Baker 于 11 月 20 日上传了与 Karen Rafferty、Hui Wang、Mark Price 合作的预印本。论文试图解释一种常见现象:当用户表露倾向时,语言模型可能顺着说,即使有理由提出纠正。
作者提出,被部署的模型会受到产品商业激励的间接影响。如果用户更喜欢听到赞同,反馈信号就可能奖励迎合;企业对用户活跃度的依赖,又可能影响团队愿意为维持模型纠错行为付出的成本。
论文把这种反馈关系作为待验证的机制,提出了可以与其他解释区分的预测,并设计了涉及人类参与者的研究。它没有报告该实验已经完成,也没有测出商业压力在各家模型迎合行为中占多大比重。
配图为 GETAI 原创主题插画。
