11 月 18 日公开的一项预印本研究了一个训练难题:有标准答案时可以直接核分,缺少答案时,另一个模型给出的高分究竟有多可信?作者提出 RLCDR,让评判模型回答范围明确的问题,例如最终答案是否正确、哪一步最先出错,再把经过校准的概率用作训练奖励。
团队先调整评判时选项排列带来的偏差,再用约一百个带标注的例子校准概率。之后在数学题上训练 Qwen3-1.7B。以 MATH500 衡量,模型准确率由 72.2% 升至 76.8%,与训练时按标准答案给分得到的 76.9% 接近。在难度最高的一组题中,准确率由 44.8% 升至 51.7%。
研究还检查了训练过程中模型自己不断变化的答案,以观察评判给出的信心是否与真实正确率对应。使用同一 27B 基础模型时,校准方法的预期校准误差为 0.074,对照评判方法为 0.141。这些结果来自论文中的数学任务,其他领域仍需要相应的标注和独立检验。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
