AWS 于 11 月 17 日为 Amazon SageMaker AI 实时端点增加 KV 缓存感知路由。该策略根据模型容器上报的实际缓存状态,把请求分配给已缓存匹配提示词前缀、且负载合适的实例。官方公告
根据实际缓存选择实例
大语言模型可复用 GPU 内存中已经计算过的提示词上下文。新策略会跟踪缓存写入和淘汰,按 token 匹配缓存前缀长度,并结合实例繁忙程度选择目标;找不到有用匹配或匹配实例都很忙时,回退到负载感知路由。它针对多轮对话、长共享提示词等场景,首次出现的新上下文仍需正常计算。API 定义
需要受支持的容器
AWS 表示,首发支持指定版本的 SageMaker AI vLLM 深度学习容器,需启用前缀缓存和 KV 缓存事件,并将路由策略设为 KV_AWARE。实际分流至少需要两个实例,或同一推理组件的两个副本;请求需使用受支持的 OpenAI 兼容 Completions 或 Chat Completions 格式。
按发布说明,这项功能已在支持 SageMaker AI 实时推理的全部 AWS 商业区域开放,不另收路由功能费用,端点所用实例仍正常计费。
配图为 GETAI.APP 使用内置 imagegen 生成的主题插画,非真实产品界面。
