跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

SageMaker HyperPod 开放跨区域推理网关,一个端点可连多个集群

网关在 13 个 AWS 区域可用,按缓存余量、队列深度、区域距离和错误率分配模型请求。

返回资讯开发工具AWS作者 · GETAI.APP查看原文

AWS 于 11 月 20 日公布 SageMaker HyperPod Global Inference Gateway。部署同一模型的团队可以把多个 HyperPod 集群接到一个托管端点,应用只需调用这个端点。集群可以位于同一区域,也可以分布在不同区域。

GETAI 原创主题插画

网关按模型寻找可服务的集群,再综合 KV 缓存余量、队列深度、区域距离和错误率选择目的地。集群失效时,尚未开始流式输出的失败请求可以在另一个集群重试一次。所有集群都不可用时,网关返回 503。

需要把推理留在指定区域的团队可以只把当地集群加入网关。启用跨区溢出则需要两侧都留出可用容量。AWS 列出的首批 13 个区域包括东京、新加坡、悉尼、法兰克福及美国东西海岸多个区域。

原始报道或公告 · 延伸核对

配图为 GETAI 原创主题插画。