跳转到正文
GETAI.APP
开发动态AWSGETAI.APP查看原文

SageMaker HyperPod 接入 NVIDIA Dynamo

HyperPod Inference 通过托管插件集成 Dynamo,支持跨节点推理、预填充与解码分离及缓存感知路由,可选择 vLLM、SGLang 和 TensorRT-LLM。

AI 生成主题插画,非实拍

AWS 于 11 月 17 日宣布,Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo,将分布式大模型推理与 HyperPod 的集群管理结合。AWS 公告

模型推理基础设施主题插画,AI 生成、非实拍

Dynamo 可组织跨节点部署,将提示词处理的预填充阶段与逐个生成 token 的解码阶段分开,并按缓存前缀和工作负载路由请求。HyperPod 则提供 GPU 调度、EFA 高速网络支持,以及节点健康监控和替换。

托管插件安装 Dynamo 及相关编排组件。已有 Dynamo 用户可沿用自己的部署图配置;已有 HyperPod Inference 用户可通过 InferenceEndpointConfig 的 dynamoSpec 配置端点,选择 vLLM、SGLang 或 TensorRT-LLM,默认使用 vLLM。

预填充和解码既可在同一工作节点中运行,也可分成独立资源池扩缩容。按 AWS 说明,在分离部署中,两类资源池都需加载完整模型权重,并通过 EFA 传递 KV 缓存。

配图为 GETAI.APP 使用内置 imagegen 生成的主题插画,非真实集群界面。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?