用户可以直接问一个总体的情况,也可以把总体拆成若干互不重叠的子群,分别提问,再按相应比例加权。两条路径如果都描述同一个分布,按全概率公式应当得到一致的估计。论文用这一点检验语言模型。
研究者在固定分组结构下改变问题类型,还复查了部分模型在世界价值观调查任务上的表现。作者发现,最细分群体的回答加权后,有时比直接让模型概括整个群体更接近调查数据。
这项检查可以在没有标准答案时发现模型前后矛盾。但两条路径即使一致,也不代表它们已经复现真实人群分布;与调查数据的外部比较是另一项评估。
配图为 GETAI 原创主题插画。
