跳转到正文
GETAI.APP
开发动态arXivGETAI.APP查看原文

同等预算研究比较人工与合成偏好数据的训练收益

以美元而非样本数对齐预算,比较帮助性和摘要任务的后训练收益。

天平主题插画

研究者把人工标注与合成偏好数据按相同美元预算比较,而不是只固定样本数量,观察它们在后训练中的性价比。

在所测帮助性和摘要任务中,合成数据在低至中等预算下更划算;人工数据的不同来源之间也存在明显质量差异。部分任务中,高得多的人工预算才缩小差距。作者没有把结论外推到所有任务,实验提示“人工”或“合成”这一标签本身不足以决定数据价值。

来源:arXiv。

配图:GETAI.APP 原创主题插画,非新闻现场实拍或官方产品界面。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?