解释混合专家模型为何倾向某个答案,一种办法是替换某层的专家,看不同答案的分数会怎样变化。11 月 19 日提交的研究指出,替换专家也会影响后续层把输入交给谁。只在原来的计算路线附近求导,可能漏掉这一步。
作者利用模型已有的专家输出和选择规则,估算后来哪些专家会被换入或换出,再把这部分影响加到二阶预测上。这个设计可以对照两种情形:后续专家保持原样,以及后续专家随前面干预发生变化。
在来自三个基准的问题上,与使用梯度和二阶导数的多步基线相比,作者报告 Qwen3.6 的预测误差下降 60%,Gemma 4 下降 47%。这些数字衡量的是对干预效果的估计精度,不能当作模型答题准确率的提升。
配图为 Zhen Xu 等 的图 1。封面等比缩放并留白。CC BY 4.0 许可。
