跳转到正文
GETAI.APP
开发动态PR NewswireGETAI.APP查看原文

TRUSTA 将推理缓存扩展到固态硬盘

ADATA 旗下 TRUSTA 在 SC26 展示升级版 AI Scaler Toolkit,将模型推理缓存分层放到显存、内存与企业级 SSD。

企业级固态硬盘主题插画,AI 生成

ADATA 旗下企业存储品牌 TRUSTA 于 11 月 18 日宣布,在 SC26 展示升级版 AI Scaler Toolkit。工具包通过 vLLM 的缓存卸载机制,把大语言模型处理过的输入所产生的 KV 缓存,分层保存在 GPU 显存、主机内存与企业级固态硬盘上。

企业级固态硬盘主题插画,AI 生成

按 TRUSTA 的方案,活跃请求使用显存,内存用于快速缓存,SSD 则保存容量更大的可持久化缓存。厂商称,在其测试配置下,系统重启后仍能从固态硬盘读取已经保存的缓存,从而减少重复处理长输入的开销。

工具包也集成了可使用 Intel AMX 加速的 Strata 推理引擎。厂商公布的加速数字只衡量提示词预填充,且随输入长度而变化。

来源:PR Newswire · ADATA 公告、vLLM · 缓存卸载文档。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?