
rigtune 用本机测试挑选推理配置
开发者展示了一个本地基准工具,可比较不同推理引擎和设置,再用胜出的配置提供模型服务。 rigtune 开发者 11 月 19 日在 Hacker News 展示这一开源工具。它让使用者用自己的 GPU 和提示词比较大模型服务配置,测试结束后可以在同一个兼容 OpenAI 的接口上运行选定配置。 项目文档涉及 vLLM、SGLang 和 llama.cpp,并将权重精度、KV 缓存类型和推测解码等纳入比较。作者在多款 GPU 和模型上发布了测试,实际跑出的最优设置因模型和场景而异。



























