跳转到正文
GETAI.APP
开发动态AWSGETAI.APP查看原文

SageMaker 新增 KV 缓存感知路由

新路由根据容器上报的实际缓存状态分配推理请求,面向长上下文与多轮对话;需受支持的容器并启用缓存事件,实例费用仍照常计收。

AI 生成主题插画,非实拍

AWS 于 11 月 17 日为 Amazon SageMaker AI 实时端点增加 KV 缓存感知路由。该策略根据模型容器上报的实际缓存状态,把请求分配给已缓存匹配提示词前缀、且负载合适的实例。官方公告

复用资料主题插画,AI 生成、非实拍

根据实际缓存选择实例

大语言模型可复用 GPU 内存中已经计算过的提示词上下文。新策略会跟踪缓存写入和淘汰,按 token 匹配缓存前缀长度,并结合实例繁忙程度选择目标;找不到有用匹配或匹配实例都很忙时,回退到负载感知路由。它针对多轮对话、长共享提示词等场景,首次出现的新上下文仍需正常计算。API 定义

需要受支持的容器

AWS 表示,首发支持指定版本的 SageMaker AI vLLM 深度学习容器,需启用前缀缓存和 KV 缓存事件,并将路由策略设为 KV_AWARE。实际分流至少需要两个实例,或同一推理组件的两个副本;请求需使用受支持的 OpenAI 兼容 Completions 或 Chat Completions 格式。

按发布说明,这项功能已在支持 SageMaker AI 实时推理的全部 AWS 商业区域开放,不另收路由功能费用,端点所用实例仍正常计费。

配图为 GETAI.APP 使用内置 imagegen 生成的主题插画,非真实产品界面。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?