11 月 19 日修订的 ReBA 预印本补充了八专家实验。测试对象是 Split-Qwen3VL-4B 的一种配置,每个词元会被路由到四个专家。作者想知道,当同一条请求中的图片变多时,工作量是否集中到少数专家。
第二版表 2 将请求中的文本和每张图片的预处理方式固定,在 500 个请求上分别测试一张、两张和四张图片。以越低越均衡的 RMS-CV 指标衡量,常规辅助损失方法在三种设置下为 0.312、0.359、0.390;ReBA 则为 0.101、0.109、0.136。
图片变多时,两种方法的负载差异都扩大了,但幅度不同。论文还把任务得分与负载指标并排列出,读者可单独查看识图和问答质量,避免把负载更均衡直接当作每项任务都更准确。
配图为 GETAI 原创主题插画。
