跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

研究模拟长对话历史上下文计费

论文分别测试上下文贡献、缓存计算成本和计费方案。模拟中高额账单减少,中位数账单仍上升。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 18 日提交的一篇 arXiv 预印本研究长对话历史上下文怎样影响回答、推理成本与账单。作者通过替换文本来衡量其作用,并在小模型和消费级显卡上测量重复前缀的计算成本。

AI 生成主题插画

在长文档测试中,回答所需文本是否相关,比文本距离更能解释质量变化。长度为 65536 个词元的重复前缀在命中缓存时,测得的处理成本比冷启动低两个数量级以上。

按论文的假设模拟,折扣方案使会话费用的第 99 百分位下降 31% 至 42%,中位数却增加。其他匹配收入的方案也能产生类似变化。这些是小规模测量和计费模拟,尚无供应商提供论文提出的可移植折扣规则。

arXiv · 原文 · arXiv · 全文

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。