AVSD 的研究对象是自蒸馏:训练时给教师额外信息,再让学生在没有这些提示时完成任务。多份提示可能相互印证,也可能只是重复同一种偏差。研究者在修订版中加入了针对这两种情况的对照。
该方法先从教师视角中提取共同的更新方向,再检查单一视角贡献的额外信号。只有方向一致、幅度合适时才将其加入更新,以减少某个异常提示对训练的影响。
论文分别报告 Qwen3-4B 和 8B 在竞赛数学任务上的结果,并用 8B 模型测试代码生成。新增实验调整了教师所见的信息;这些收益取决于具体训练任务与教师提示。
配图为 GETAI 原创主题插画。
