跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

AutoMaster 检查已成功的训练示范,减少无依据假设和重复步骤

固定教师、任务池和训练规模后,研究团队报告目标模型平均表现提高 1.42 至 8.99 个百分点。

返回资讯研究arXiv作者 · GETAI.APP查看原文

固定教师、任务池和训练规模后,研究团队报告目标模型平均表现提高 1.42 至 8.99 个百分点。

从训练轨迹设计指导文本、训练并评估目标模型的流程

完成任务的示范也可能包含无谓重试或过于草率的验证。研究者先分析教师模型的轨迹,用文字指导它改变这些行为,再把得到的轨迹用于微调目标模型。

对照实验涉及终端、搜索和软件工程任务,以及 40 亿、90 亿参数模型。六组设置中,保留示范当时的指导文本均比训练前移除文本表现更好。

原始来源 · 延伸材料

配图出自 Chen, Guoxin 等 的图 2,等比缩放并留白。CC BY 4.0。