跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

同样五条求助线索分散在多轮对话中,六款助手的回应出现差距

研究把相同线索集中呈现或分散在 21 轮日常对话中,用社区支持人员预先制定的标准评价六款助手。

返回资讯研究arXiv作者 · GETAI.APP查看原文

当人把困难分散在几次普通对话中,助手还能否及时注意到?Charlotte Peart 等人 11 月 19 日公布的预印本,把同样的五条线索以集中或分散两种方式放入对话。研究者与三位有经验的社区心理健康支持人员合作,为九个模拟场景预先确定合宜回应的标准。

GETAI 原创主题插画

九个场景共用一段 21 轮日常对话作为背景。团队测试五家开发者的六款模型,运行超过 7,400 次模拟对话。在其中四款模型上,线索集中时达到标准的比例为 26% 至 59%,分散后降至 3% 至 6%。另两款 Claude 模型在分散条件下达到 59% 至 87%。

这些比例衡量模型在预设场景中是否作出了支持人员期待的回应,无法直接换算为真实使用者受到帮助或伤害的概率。对于设计评测的人,实验提出了一个具体问题:同样的信息若要跨多轮拼在一起,单轮测试还能保留多少解释力?

原始来源 · 核对材料

配图为 GETAI 原创 AI 主题插画。