跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

kvdiff 用本地代理定位提示词缓存从哪个字节开始失配

开发者可以查看连续请求的公共前缀,并定位第一个不同的 UTF-8 字节。默认模式只观察流量,前缀修复需要主动开启。

返回资讯开发工具kvdiff作者 · GETAI.APP查看原文

kvdiff 作者于 11 月 21 日公开项目,针对开发者常遇到的一个问题:两次请求看起来使用了相同的系统提示词和工具列表,第二次请求却没有复用预期的前缀缓存。

GETAI 原创主题插画

项目在本机运行代理,比较请求前缀,标出第一个发生变化的 UTF-8 字节。动态插入的字段或顺序不同的工具说明因而有了可检查的位置,开发者可以回到生成请求的代码确认原因。

按维护者说明,默认配置透传请求;自动修复前缀属于可选行为。维护者列出的适配对象包括主流云端模型接口以及 llama.cpp、vLLM 的本地推理场景。具体缓存命中和费用仍取决于实际服务。

发布方原文 · 核对材料

配图为 GETAI 原创主题插画。