11 月 19 日,Yucheng Du 等人公开 RouteVerify,研究混合专家模型怎样判断一道题中的某一步推理是否正确。路由器决定把信息交给哪些专家处理。研究者从路由器的数值中能读出“这一步可能错了”,但这个可读信号在多大程度上影响模型最后的判断,需要单独检验。
作者在九个模型检查点上保持待评题目不变,分别换入来自正确或错误步骤的内部状态,比较模型对“错误”和“正确”两个标签的相对偏好。他们既替换路由器的分数,也替换专家层的输出或其后的残差状态,并改变替换的层数和位置。这样可以把“换了内部状态后判断有变化”和“变化确实跟着原步骤的对错走”分开测量。
八个检查点能从路由分数区分正确与错误步骤,AUROC 为 0.80 至 0.88。替换所有路由层后,九个检查点的判断都发生变化,但只有一个显示出可分辨、方向为正的来源对错差异。改为局部替换残差状态,九个中有八个呈现这样的正差异。作者据此提醒,解释模型判断时,干预发生在什么位置会影响结论。
配图为 Yucheng Du 等所著论文图 1,等比缩放并留白。CC BY 4.0 授权。
