跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

RouteVerify 检验混合专家模型:能从路由读出错误,不等于路由决定判错

九个模型的对照实验发现,替换路由状态会改变模型对推理步骤的评分,但变化方向很少取决于替换进来的步骤是否正确。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 19 日,Yucheng Du 等人公开 RouteVerify,研究混合专家模型怎样判断一道题中的某一步推理是否正确。路由器决定把信息交给哪些专家处理。研究者从路由器的数值中能读出“这一步可能错了”,但这个可读信号在多大程度上影响模型最后的判断,需要单独检验。

RouteVerify 作者用图 1 对照三种内部状态替换与两种判断变化量

作者在九个模型检查点上保持待评题目不变,分别换入来自正确或错误步骤的内部状态,比较模型对“错误”和“正确”两个标签的相对偏好。他们既替换路由器的分数,也替换专家层的输出或其后的残差状态,并改变替换的层数和位置。这样可以把“换了内部状态后判断有变化”和“变化确实跟着原步骤的对错走”分开测量。

八个检查点能从路由分数区分正确与错误步骤,AUROC 为 0.80 至 0.88。替换所有路由层后,九个检查点的判断都发生变化,但只有一个显示出可分辨、方向为正的来源对错差异。改为局部替换残差状态,九个中有八个呈现这样的正差异。作者据此提醒,解释模型判断时,干预发生在什么位置会影响结论。

论文与版本记录 · 作者全文

配图为 Yucheng Du 等所著论文图 1,等比缩放并留白。CC BY 4.0 授权。