跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

PoolDPP 让模型的多个答案少一些重复

研究者先生成候选答案,再根据单条质量和答案之间的相似度选择一组输出。

返回资讯研究arXiv作者 · GETAI.APP查看原文

同一个模型独立回答多次,每一条看起来都不错,放在一起却可能只是同一个想法的几种说法。11 月 18 日公开的一项预印本把评估对象从单个答案改成整组选项,提出 PoolDPP,研究怎样在保留好答案的同时,让不同答案提供更多信息。

AI 生成主题插画

作者把一次输出定义为由若干完整文本组成的集合。一项分数衡量每个答案本身的质量,另一项依据文本的向量表示,降低近似答案同时入选的机会。由于没法把所有可能的文本列出来,实际做法是先生成有限的候选池,再校正候选的权重,最后从中抽取约定数量的答案。

研究用三类任务检查这种选择是否有用。在开放生成中,作者比较答案质量与多样性。在 Ambrosia 数据集上,同一句自然语言问题可能对应不同 SQL 查询,实验检查返回结果能覆盖几种合理解释。在 GSM8K 数学题上,答案更多样,而一组尝试中至少有一次答对的比例与对照大致相当。

arXiv · 原文 · arXiv · 论文全文

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。