AutoScaffold 研究于 11 月 10 日提交，让冻结教师模型定期查看学生模型的训练经历，再生成任务策略或针对难题的提示。提示随着训练进度调整，正式评估时会移除。
团队将同一方法用于 ALFWorld、检索问答、数学和 GPU 内核生成。论文报告，脱离提示后，学生模型在四类任务上都优于对应强化学习基线，其中 ALFWorld 成功率提升 7.2 个百分点，问答平均精确匹配提高 4 个百分点。
教师模型会从详细步骤逐渐转向针对性修正。研究测试的是这种训练辅助方式，而不是让模型在考试时继续携带教师答案；实际训练成本和泛化效果仍取决于任务设置。
来源：arXiv 原文。
图片来源：论文作者 / arXiv。