ENGINE 探索低内存模型微调

11 月 2 日公布的 ENGINE 面向无需保存反向传播梯度的零阶微调。方法以低维空间承担主要更新，再引入高维探测结果修正方向，试图兼顾内存开销与有效信息。

作者提供了理论分析及语言模型实验，报告部分设置中更快收敛、峰值内存不额外增加。它针对特定优化过程，不能直接等同于全部训练成本按相同比例下降。

来源：arXiv · 2611.03293。