rigtune 开发者 11 月 19 日在 Hacker News 展示这一开源工具。它让使用者用自己的 GPU 和提示词比较大模型服务配置,测试结束后可以在同一个兼容 OpenAI 的接口上运行选定配置。
项目文档涉及 vLLM、SGLang 和 llama.cpp,并将权重精度、KV 缓存类型和推测解码等纳入比较。作者在多款 GPU 和模型上发布了测试,实际跑出的最优设置因模型和场景而异。
该代码库此前名为 PolyServe,9 月已建立。这里的时间是这次开发者公开展示,文中测试结果来自项目维护者。
GitHub · 原文 · Hacker News · 开发展示
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
