开源项目 Prefixwise 针对编程智能体的提示词缓存开销,记录请求之间最先发生变化的位置,帮助区分正常缓存失效和可以避免的重复消耗。仓库提供代理与日志分析两种接入方式。
工具可以放在智能体与模型接口之间,也可以导入本地已有日志。维护者展示了工具列表顺序变化导致缓存前缀不一致的案例,并提供按会话查看原因、费用和候选修正的报告。
报告会把成本、缓存命中和上下文变化放在一起,方便开发者检查工具列表或提示词前缀的改动。它关注可追溯的缓存浪费,不承诺固定比例的费用节省。
来源:GitHub 原文。
开源项目 Prefixwise 针对编程智能体的提示词缓存开销,记录请求之间最先发生变化的位置,帮助区分正常缓存失效和可以避免的重复消耗。仓库提供代理与日志分析两种接入方式。
工具可以放在智能体与模型接口之间,也可以导入本地已有日志。维护者展示了工具列表顺序变化导致缓存前缀不一致的案例,并提供按会话查看原因、费用和候选修正的报告。
报告会把成本、缓存命中和上下文变化放在一起,方便开发者检查工具列表或提示词前缀的改动。它关注可追溯的缓存浪费,不承诺固定比例的费用节省。
来源:GitHub 原文。