ADATA 旗下企业存储品牌 TRUSTA 于 11 月 18 日宣布,在 SC26 展示升级版 AI Scaler Toolkit。工具包通过 vLLM 的缓存卸载机制,把大语言模型处理过的输入所产生的 KV 缓存,分层保存在 GPU 显存、主机内存与企业级固态硬盘上。
按 TRUSTA 的方案,活跃请求使用显存,内存用于快速缓存,SSD 则保存容量更大的可持久化缓存。厂商称,在其测试配置下,系统重启后仍能从固态硬盘读取已经保存的缓存,从而减少重复处理长输入的开销。
工具包也集成了可使用 Intel AMX 加速的 Strata 推理引擎。厂商公布的加速数字只衡量提示词预填充,且随输入长度而变化。
