kvdiff 作者于 11 月 21 日公开项目,针对开发者常遇到的一个问题:两次请求看起来使用了相同的系统提示词和工具列表,第二次请求却没有复用预期的前缀缓存。
项目在本机运行代理,比较请求前缀,标出第一个发生变化的 UTF-8 字节。动态插入的字段或顺序不同的工具说明因而有了可检查的位置,开发者可以回到生成请求的代码确认原因。
按维护者说明,默认配置透传请求;自动修复前缀属于可选行为。维护者列出的适配对象包括主流云端模型接口以及 llama.cpp、vLLM 的本地推理场景。具体缓存命中和费用仍取决于实际服务。
配图为 GETAI 原创主题插画。
