固定教师、任务池和训练规模后,研究团队报告目标模型平均表现提高 1.42 至 8.99 个百分点。
完成任务的示范也可能包含无谓重试或过于草率的验证。研究者先分析教师模型的轨迹,用文字指导它改变这些行为,再把得到的轨迹用于微调目标模型。
对照实验涉及终端、搜索和软件工程任务,以及 40 亿、90 亿参数模型。六组设置中,保留示范当时的指导文本均比训练前移除文本表现更好。
配图出自 Chen, Guoxin 等 的图 2,等比缩放并留白。CC BY 4.0。
GETAI EDITORIAL DISPATCH新闻报道
固定教师、任务池和训练规模后,研究团队报告目标模型平均表现提高 1.42 至 8.99 个百分点。