跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

rigtune 用本机测试挑选推理配置

开发者展示了一个本地基准工具,可比较不同推理引擎和设置,再用胜出的配置提供模型服务。

返回资讯开发工具GitHub作者 · GETAI.APP查看原文

rigtune 开发者 11 月 19 日在 Hacker News 展示这一开源工具。它让使用者用自己的 GPU 和提示词比较大模型服务配置,测试结束后可以在同一个兼容 OpenAI 的接口上运行选定配置。

AI 生成主题插画

项目文档涉及 vLLM、SGLang 和 llama.cpp,并将权重精度、KV 缓存类型和推测解码等纳入比较。作者在多款 GPU 和模型上发布了测试,实际跑出的最优设置因模型和场景而异。

该代码库此前名为 PolyServe,9 月已建立。这里的时间是这次开发者公开展示,文中测试结果来自项目维护者。

GitHub · 原文 · Hacker News · 开发展示

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。