跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

高带宽闪存推理研究修订了能耗和写入寿命估计

第三版按工作负载重新报告结果,所测最快的闪存扩容方案比仅用 HBM 的系统缩短 21.1% 至 86.9% 的完成时间。

返回资讯研究arXiv作者 · GETAI.APP查看原文

大型模型服务的权重和缓存都占用内存。研究团队在基于访问轨迹的模拟中,将高带宽内存、高带宽闪存和主机内存分层,比较放置权重和安排缓存的方式。

GETAI 原创主题插画

修订版将最高模拟节能幅度由 59.1% 调整为 62.4%。在指定配置中,缓存感知调度将估算的闪存写入寿命从 0.99 年延长至 13.63 年。

这些值来自模拟的访问模式及写入模型。实际设备的耐久性还取决于写入强度与硬件实现,因此不能把寿命估计当作厂商保证。

原始来源 · 核对材料

配图为 GETAI 原创 AI 主题插画。