ServerBench 让编程智能体搭建模型推理服务

11 月 4 日提交的 ServerBench 预印本，用模型推理服务考察编程智能体设计完整系统的能力。智能体可以调试实现并选择运行方案；基准通过有状态的请求回放保留会话之间的依赖，并对最终提交做独立校验。

评价关注单位 GPU 成本换来多少符合延迟要求的输出。作者报告，对 11 种编程智能体模型和三类部署进行的 33 次运行中，22 次交付了通过校验的系统。

配图：Xinrui Zhong 等的ServerBench 基准流程原图，按 CC BY 4.0 使用。

来源：arXiv · 论文全文。