同一个模型独立回答多次,每一条看起来都不错,放在一起却可能只是同一个想法的几种说法。11 月 18 日公开的一项预印本把评估对象从单个答案改成整组选项,提出 PoolDPP,研究怎样在保留好答案的同时,让不同答案提供更多信息。
作者把一次输出定义为由若干完整文本组成的集合。一项分数衡量每个答案本身的质量,另一项依据文本的向量表示,降低近似答案同时入选的机会。由于没法把所有可能的文本列出来,实际做法是先生成有限的候选池,再校正候选的权重,最后从中抽取约定数量的答案。
研究用三类任务检查这种选择是否有用。在开放生成中,作者比较答案质量与多样性。在 Ambrosia 数据集上,同一句自然语言问题可能对应不同 SQL 查询,实验检查返回结果能覆盖几种合理解释。在 GSM8K 数学题上,答案更多样,而一组尝试中至少有一次答对的比例与对照大致相当。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
