跳转到正文
登录
← 开发动态

研究让推测解码改善长程推理

在关键决策处调整草稿模型,减少数值噪声的累积。

GETAI.APParXiv查看原文 ↗

11 月 3 日提交的研究发现,推测解码不仅影响速度,低精度环境中的数值噪声也可能影响长程智能体的推理。团队针对关键决策点训练草稿模型,让目标模型在更低噪声条件下处理这些位置。

论文报告在编程任务上的端到端成功率改善,训练参数仅占所托管参数的一小部分。结果对应论文测试的模型与运行环境,仍属于预印本研究。

来源:arXiv。

登录

还没有账号?