跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

把跨模型核查做成固定流程,自动放行的答案仍会出错

Anchor and Check 先固定主模型答案,再用另一提示或另一模型复核。6,000 道题的实验同时测量能自动处理多少,以及会放过多少原始错误。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 19 日,Sivakameswara Reddy Chejarla 公布一套用于离散决策的核查流程。系统先用确定性解码固定主模型的原始答案,再换一种提示方法,或换另一个模型家族,进行一到两次核查。最后按明确规则归入五种结果,只有得到“一致”的项目才自动放行。

原论文图 1 显示主答案、复核输入以及一致放行或交给复核的流程

作者在 6,000 道问题上完成 48,000 次模型与题目的组合评估,并把流程同基于多次采样的方法比较。把不同模型家族的输出放在一起,能提高对错误的区分能力。在可比的少量调用预算下,有些完整流程的指标点估计相差不到一个点,给定区间也覆盖了零差异。

严格采用“一致才放行”时,流程自动处理了 70% 的项目,但原来答错的项目中仍有 16% 被放行。这两个百分数的分母不同,不能把 16% 当作自动处理结果的错误率。方法的另一个产出是可复核的记录:主答案、核查输入及判定结果固定下来后,可以重新运行规则,查看某一项为何获准自动处理。

原始来源 · 核对材料

配图为 Sivakameswara Reddy Chejarla 的图 1。封面等比缩放并留白。CC BY 4.0 许可。