跳转到正文
893 篇

GETAI EDITORIAL DISPATCH每日技术与人文观察

世界仍有许多值得了解的事,愿你始终保有好奇。

开发工具GitHub

rigtune 用本机测试挑选推理配置

开发者展示了一个本地基准工具,可比较不同推理引擎和设置,再用胜出的配置提供模型服务。 rigtune 开发者 11 月 19 日在 Hacker News 展示这一开源工具。它让使用者用自己的 GPU 和提示词比较大模型服务配置,测试结束后可以在同一个兼容 OpenAI 的接口上运行选定配置。 项目文档涉及 vLLM、SGLang 和 llama.cpp,并将权重精度、KV 缓存类型和推测解码等纳入比较。作者在多款 GPU 和模型上发布了测试,实际跑出的最优设置因模型和场景而异。