研究比较拆分模型解码阶段的成本

11 月 5 日提交的一篇预印本介绍了 SiliconForge，用模型比较不同的大语言模型推理部署。研究在预填充和解码已拆分的基础上，进一步比较是否将解码中的注意力计算与前馈网络分配到不同资源池。

作者报告，在其功耗和服务目标设定中，进一步拆分没有稳定提升每千瓦的有效吞吐。某些模型和互联条件下能取得收益，但资源池大小及如何分配硬件会改变结果。

来源：arXiv · 论文全文。

封面为 AI 生成的编辑插图。