Marc Jansen 的预印本研究一个具体问题:能否训练模型在回答决策题时,先拆出问题、列出备选项,再按明确标准作出选择。论文把这个结构称为 QOC。
研究分三代推进。最早的版本直接输出选定的答案,后续版本加入把决策结果整理成自然语言的步骤,并丰富了推理过程。评估分别检查内部计算是否一致,以及最终答复的质量。
实验中,较小模型容易在选项计算环节出错,规模提高后,完成整套结构的可靠性随之改善。结果来自文中训练过的模型与决策题,迁移到其他决策场景仍有待检验。
配图取自 Marc Jansen 的论文图 1,封面等比缩放并留白。CC BY 4.0 许可。
