11 月 18 日提交的一篇 arXiv 预印本研究长对话历史上下文怎样影响回答、推理成本与账单。作者通过替换文本来衡量其作用,并在小模型和消费级显卡上测量重复前缀的计算成本。
在长文档测试中,回答所需文本是否相关,比文本距离更能解释质量变化。长度为 65536 个词元的重复前缀在命中缓存时,测得的处理成本比冷启动低两个数量级以上。
按论文的假设模拟,折扣方案使会话费用的第 99 百分位下降 31% 至 42%,中位数却增加。其他匹配收入的方案也能产生类似变化。这些是小规模测量和计费模拟,尚无供应商提供论文提出的可移植折扣规则。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
