当人把困难分散在几次普通对话中,助手还能否及时注意到?Charlotte Peart 等人 11 月 19 日公布的预印本,把同样的五条线索以集中或分散两种方式放入对话。研究者与三位有经验的社区心理健康支持人员合作,为九个模拟场景预先确定合宜回应的标准。
九个场景共用一段 21 轮日常对话作为背景。团队测试五家开发者的六款模型,运行超过 7,400 次模拟对话。在其中四款模型上,线索集中时达到标准的比例为 26% 至 59%,分散后降至 3% 至 6%。另两款 Claude 模型在分散条件下达到 59% 至 87%。
这些比例衡量模型在预设场景中是否作出了支持人员期待的回应,无法直接换算为真实使用者受到帮助或伤害的概率。对于设计评测的人,实验提出了一个具体问题:同样的信息若要跨多轮拼在一起,单轮测试还能保留多少解释力?
配图为 GETAI 原创 AI 主题插画。
