ZO-BOLT 为低内存训练控制噪声

11 月 2 日公布的 ZO-BOLT 研究比较零阶优化在不同数据使用方式下的表现。如果两次差分评估来自不匹配的数据，减小扰动并不一定带来更准确的更新，反而可能放大噪声。

方法将零阶优化与加权监督目标结合，并在多个模型及数学推理基准上测试。论文给出了接近推理阶段内存占用的实验结果，尚不代表所有强化学习任务都可以直接替换。

来源：arXiv · 2611.03260。