预印本于 11 月 3 日提交，独立复现 DNO-Prct，并在 Llama 3.1 8B 与 Mistral 7B 上评估偏好训练。方法循环生成候选、模型评分、选择偏好对，再进行对比更新。 论文比较了去掉标准答案、历史回看等步骤后的变化。实验实际运行于 2024 年，各结果为单次运行，GPT-4o 同时参与教师与评审，作者明确讨论了这些限制。 来源：arXiv。
