跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

AVSD 增补实验:教师提示重复或误导时,多视角自蒸馏怎样变化?

新版比较错误与高度相关的教师视角,检验增加提示数量是否真的给学生模型带来新信息。

返回资讯研究arXiv作者 · GETAI.APP查看原文

AVSD 的研究对象是自蒸馏:训练时给教师额外信息,再让学生在没有这些提示时完成任务。多份提示可能相互印证,也可能只是重复同一种偏差。研究者在修订版中加入了针对这两种情况的对照。

GETAI 原创主题插画

该方法先从教师视角中提取共同的更新方向,再检查单一视角贡献的额外信号。只有方向一致、幅度合适时才将其加入更新,以减少某个异常提示对训练的影响。

论文分别报告 Qwen3-4B 和 8B 在竞赛数学任务上的结果,并用 8B 模型测试代码生成。新增实验调整了教师所见的信息;这些收益取决于具体训练任务与教师提示。

原始报道或公告 · 延伸核对

配图为 GETAI 原创主题插画。