AWS 于 11 月 17 日宣布,Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo,将分布式大模型推理与 HyperPod 的集群管理结合。AWS 公告
Dynamo 可组织跨节点部署,将提示词处理的预填充阶段与逐个生成 token 的解码阶段分开,并按缓存前缀和工作负载路由请求。HyperPod 则提供 GPU 调度、EFA 高速网络支持,以及节点健康监控和替换。
托管插件安装 Dynamo 及相关编排组件。已有 Dynamo 用户可沿用自己的部署图配置;已有 HyperPod Inference 用户可通过 InferenceEndpointConfig 的 dynamoSpec 配置端点,选择 vLLM、SGLang 或 TensorRT-LLM,默认使用 vLLM。
预填充和解码既可在同一工作节点中运行,也可分成独立资源池扩缩容。按 AWS 说明,在分离部署中,两类资源池都需加载完整模型权重,并通过 EFA 传递 KV 缓存。
配图为 GETAI.APP 使用内置 imagegen 生成的主题插画,非真实集群界面。
