大型模型服务的权重和缓存都占用内存。研究团队在基于访问轨迹的模拟中,将高带宽内存、高带宽闪存和主机内存分层,比较放置权重和安排缓存的方式。
修订版将最高模拟节能幅度由 59.1% 调整为 62.4%。在指定配置中,缓存感知调度将估算的闪存写入寿命从 0.99 年延长至 13.63 年。
这些值来自模拟的访问模式及写入模型。实际设备的耐久性还取决于写入强度与硬件实现,因此不能把寿命估计当作厂商保证。
配图为 GETAI 原创 AI 主题插画。
GETAI EDITORIAL DISPATCH新闻报道
第三版按工作负载重新报告结果,所测最快的闪存扩容方案比仅用 HBM 的系统缩短 21.1% 至 86.9% 的完成时间。