跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

问总体与分组再加权,语言模型会给出一致的估计吗?

修订版把一致性检查扩展到不同预测任务,比较直接回答与分组汇总能否满足同一条概率恒等式。

返回资讯研究arXiv作者 · GETAI.APP查看原文

用户可以直接问一个总体的情况,也可以把总体拆成若干互不重叠的子群,分别提问,再按相应比例加权。两条路径如果都描述同一个分布,按全概率公式应当得到一致的估计。论文用这一点检验语言模型。

GETAI 原创主题插画

研究者在固定分组结构下改变问题类型,还复查了部分模型在世界价值观调查任务上的表现。作者发现,最细分群体的回答加权后,有时比直接让模型概括整个群体更接近调查数据。

这项检查可以在没有标准答案时发现模型前后矛盾。但两条路径即使一致,也不代表它们已经复现真实人群分布;与调查数据的外部比较是另一项评估。

原始报道或公告 · 延伸核对

配图为 GETAI 原创主题插画。