跳转到正文
GETAI.APP
开源项目GitHubGETAI.APP查看原文

Prefixwise 帮开发者定位提示词缓存浪费

开源项目 Prefixwise 针对编程智能体的提示词缓存开销,记录请求之间最先发生变化的位置,帮助区分正常缓存失效和可以避免的重复消耗。仓库提供代理与日志分析两种接入方式。

开源项目 Prefixwise 针对编程智能体的提示词缓存开销,记录请求之间最先发生变化的位置,帮助区分正常缓存失效和可以避免的重复消耗。仓库提供代理与日志分析两种接入方式。

工具可以放在智能体与模型接口之间,也可以导入本地已有日志。维护者展示了工具列表顺序变化导致缓存前缀不一致的案例,并提供按会话查看原因、费用和候选修正的报告。

报告会把成本、缓存命中和上下文变化放在一起,方便开发者检查工具列表或提示词前缀的改动。它关注可追溯的缓存浪费,不承诺固定比例的费用节省。

来源:GitHub 原文。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?