跳转到正文
GETAI.APP
开发动态arXivGETAI.APP查看原文

OBM 提出用光广播共享推理权重的架构方案

分层光纤架构研究减少跨节点权重复制,尚非商用机房部署公告。

光纤线稿主题插画

研究团队提出 Optical Broadcast Memory,通过分层光纤广播让多个推理节点读取同一份模型权重,减少在大量加速器本地重复存放只读参数。

方案用可调整的缓冲时间适配不同上下文与混合专家模型。论文给出数据中心规模的架构评估,比较吞吐和每 Token 能耗;这属于研究方案与建模结果,并非已有商用数据中心全面移除 HBM。

来源:arXiv。

配图:GETAI.APP 原创主题插画,非新闻现场实拍或官方产品界面。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?